Intégrations pour le monitoring de tout votre stack d'IA

Alors que les organisations intègrent l'IA dans leurs stacks technologiques pour améliorer l'efficacité et fournir une meilleure expérience à leurs clients, toute une série d'outils de développement et de déploiement d'applications d'IA voit le jour. Mais la transition de ces applications du prototype à la production ne se fait pas sans un certain nombre de difficultés. Bien que puissants, les composants d'IA comme les gros modèles de langage et les bases de données vectorielles peuvent s'avérer obscurs et entraîner des problèmes pouvant comprendre des résultats inexacts et biaisés, des vulnérabilités de sécurité et une quantité accablante de nouveaux types de données télémétriques à analyser.

Pour vous aider à résoudre ce problème, nous avons annoncé New Relic AI Monitoring (AIM). Cette solution innovante propose une visibilité de bout en bout sur toutes vos applications alimentées par l'IA et booste l'optimisation des performances, de la qualité et des coûts de développement des applications d'IA. Avec New Relic AI Monitoring, l'adoption de l'IA est plus simple et vous permet de maîtriser le plein potentiel de l'IA tout en dynamisant la croissance et l'efficacité de votre activité.

Pour étendre l'observabilité aux outils et technologies spécialisés, nous avons développé plus de 50 intégrations quickstart pour offrir la visibilité prête à l'emploi sur chaque couche de votre stack technologique d'IA, dont :

• Les modèles fondamentaux (les gros modèles de langage ou LLM, par exemple)
• Les frameworks d'orchestration
• Les bibliothèques ML
• La mise en service de modèles
• Le stockage et les registres
• L'infrastructure

Framework d'orchestration : LangChain

Les frameworks d'orchestration comme LangChain permettent aux développeurs d'enchaîner différents composants d'une application d'IA, comme le traitement des données, l'invocation des modèles et le post-traitement. Ils facilitent le développement et le déploiement d'applications d'IA qui sont modulaires, extensibles et évolutives. 

LangChain est un framework d'orchestration populaire en raison de sa flexibilité et de sa simplicité d'utilisation. Il fournit une bibliothèque de composants prédéveloppés qui peuvent être combinés pour créer des applications d'IA.

L'intégration du quickstart New Relic LangChain fournit une vue unique sur tous les composants de votre application d'IA, y compris les modèles, les chaînes et les outils. Le dashboard de quickstart prédéveloppés visualise les temps de prédiction, l'usage de jetons et sépare même le contenu des prompts et des réponses. Vous pouvez ainsi faire le suivi des performances et du débit, identifier les goulots d’étranglement et optimiser l'efficacité de votre application. En outre, l'intégration peut automatiquement détecter différents modèles tels qu'OpenAI et Hugging Face ce qui vous permet de comparer et d'optimiser vos LLM.

Modèles d'IA de fondation : OpenAI, Amazon Bedrock, PaLM 2, Hugging Face

Les modèles d'IA sont des algorithmes qui ont été « entraînés » avec des données spécifiques pour effectuer des tâches spécifiques, comme la reconnaissance d'objets dans les images, la traduction de différentes langues ou la génération de texte. OpenAI offre divers modèles d'IA générative populaire, ainsi que des API que vous pouvez utiliser pour intégrer cette fonctionnalité à vos applications. New Relic a présenté la première intégration d'observabilité OpenAI du secteur, qui vous aide à faire le monitoring de l'utilisation, à analyser les performances des modèles et à optimiser les coûts pour vos applications OpenAI. En ajoutant simplement deux lignes de code, vous pouvez obtenir l'accès aux métriques de performances clés telles que les coûts, les requêtes, le temps de réponse et l'échantillonnage des intrants et extrants.

En outre, New Relic est également intégré à Amazon Bedrock, un service entièrement géré par AWS qui rend le développement et l'évolutivité des applications d'IA générative plus accessibles en fournissant un accès API aux modèles de fondation d'entreprises d'IA de pointe, dont AI21 Labs, Anthropic, Cohere et Stability AI. Avec l'intégration Amazon Bedrock, vous pouvez facilement monitorer les performances et l'usage de l'API Amazon Bedrock et des LLM qui lui sont connectés.

Et si vous enchaînez plusieurs modèles à LangChain, vous pouvez comparer les performances des LLM au sein d'un seul dashboard prédéveloppé. Ceci comprend les intégrations avec des modèles populaires et des plateformes d'hébergement de modèles telles que PaLM 2 et Hugging Face.

Bibliothèques ML : PyTorch, Keras, TensorFlow, scikit‑learn

Les bibliothèques d'apprentissage machine sont un élément essentiel du stack d'IA. Elles fournissent les outils et les bibliothèques dont les développeurs ont besoin pour créer et entraîner les modèles d'IA. New Relic est intégré à des bibliothèques ML populaires comme PyTorch, Keras, TensorFlow et scikit-learn pour combattre la dégradation des modèles en effectuant le monitoring des métriques de performances et d'intégrité telles que la latence des inférences, l'usage de la mémoire et la dérive des données. Ceci permet la détection précoce et vous aide à savoir quand optimiser vos bibliothèques ML.

Mise en service des modèles : Amazon SageMaker, Azure Machine Learning

La mise en service des modèles et la couche de déploiement sont chargées de mettre les modèles d'IA à la disposition des utilisateurs. Elle s'occupe du chargement et de l'exécution des modèles d'IA, et elle fournit un API ou une autre interface permettant aux utilisateurs d'interagir avec les modèles. La prise en charge du processus de développement d'applications d'IA est complexe et gourmand en ressources et exige une plateforme centralisée pour gérer tout le cycle de développement de l'IA, de la conception au déploiement. 

Les plateformes d'IA populaires qui offrent cette fonctionnalité comprennent Amazon SageMaker et Azure Machine Learning. Les intégrations quickstart Amazon Sagemaker et Azure Machine Learning fournissent la visibilité sur les projets d'apprentissage, les invocations de point de terminaison et l'efficacité opérationnelle avec des dashboards et alertes prédéveloppés. Le monitoring de métriques clés, comme les exécutions de projets, les déploiements sur un point de terminaison et l'usage du CPU et du GPU, vous permet d'assurer que vos projets d'IA peuvent être correctement pris en charge par votre infrastructure tout en diagnostiquant et améliorant l'expérience utilisateur.

Lisez cet article de blog pour en savoir plus sur l'intégration Azure Machine Learning.

Stockage et registres : Pinecone, Weaviate, Milvus, FAISS

Les applications d'IA doivent pouvoir stocker de grandes quantités de données et y accéder. Les bases de données vectorielles sont des bases de données spécialisées qui sont conçues pour stocker et interroger des données à forte dimensionnalité plus efficacement avec des recherches sur les similarités plutôt que sur des correspondances parfaites. Elles sont souvent utilisées pour les applications d'IA parce qu'elles peuvent réduire le coût et augmenter la vitesse d'apprentissage et de déploiement de modèles d'IA.

Pour aider au monitoring de l'intégrité de la base de données, New Relic fournit des dashboards de quickstart prédéveloppés pour diverses solutions de stockage et de registre de données telles que Pinecone, Weaviate, Milvus, et FAISS. Outre les métriques de bases de données clés telles que la latence d'exécution et de réponse, les requêtes et l'usage de l'espace disque, elles vous permettent aussi de faire le suivi de métriques spécifiques aux bases de données vectorielles telles que l'indexation des performances. Vous pouvez connecter vos données via des chaînes dans LangChain ou par le biais du point de terminaison Prometheus de Pinecone.

Infrastructure : AWS, Azure, Google Cloud Platform, Kubernetes

L'infrastructure d'IA est la base sur laquelle repose le développement et le déploiement des applications d'IA. Elle comprend notamment de puissants GPU et CPU pour entraîner et déployer les modèles d'IA ainsi que les plateformes de calcul dans le cloud telles qu'AWS, Azure et Google Cloud Platform (GCP) qui fournissent une façon évolutive de déployer les applications d'IA. Le développement, la mise en clusters et le déploiement d'applications d'IA exigent des workloads à calcul intensif ; il est donc essentiel de disposer de la visibilité sur l'infrastructure. En d'autres termes, vous devez pouvoir monitorer les ressources de calcul, telles que l'usage du GPU et du CPU, ainsi que vos ressources de stockage réseau.

New Relic fournit un monitoring flexible et dynamique de toute votre infrastructure, des services exécutés dans le cloud ou sur des hôtes dédiés jusqu'aux conteneurs exécutés dans des environnements orchestrés. Vous pouvez connecter l'intégrité et les performances de tous vos hôtes aux contextes de l'application, aux logs et aux modifications apportées à la configuration.

New Relic offre une large gamme de solutions de monitoring d'infrastructure et d'intégrations, dont :

• Un agent d'infrastructure pour les systèmes d'exploitation Linux, macOS et Windows.
• Des intégrations Kubernetes et Pixie.
• Des intégrations cloud pour Amazon, Azure et Google Cloud Platform
• Des intégrations Prometheus.
• Des intégrations sur l'hôte pour les services comme Apache Spark, MySQL, NGINX, Cassandra et Kafka (pour n'en nommer que quelques-uns). La plupart des intégrations sur l'hôte sont installées avec l'agent d'infrastructure et travaillent de concert avec lui pour envoyer les données.

Le fait de travailler avec les toutes dernières technologies d'IA et d'apprentissage machine vous permet de développer d'extraordinaires expériences. Mais comme avec toute autre expérience logicielle, votre stratégie de monitoring est cruciale pour assurer une expérience utilisateur sans accroc. Avec ses intégrations pour l'IA et son monitoring des performances des modèles, New Relic vous aide à obtenir la visibilité sur les performances de chaque couche de votre stack d'IA pour facilement identifier les problèmes de performance, coût et qualité touchant les applications d'IA.