Si l’IA propulse les applications modernes vers de nouveaux sommets, elle place aussi devant des défis uniques les ingénieurs qui développent et exécutent des applications d’IA. Contrairement aux applications classiques, les applications d'IA exigent un nouveau stack technologique qui incorpore des composants avancés comme les gros modèles de langage (LLM) et des datastores vectoriels. En outre, ils génèrent des données télémétriques supplémentaires — sur la qualité et le coût notamment — qui doivent être pris en compte pour garantir que les applications d'IA sont sûres, sécurisées et fiables. Il est donc essentiel de prendre en compte les complexités et l’optimisation de ces nouvelles applications pour le futur de l’IA, surtout si l’on considère le décret présidentiel de l'administration de Joe Biden pour l’établissement de normes qui garantissent le développement et le déploiement de systèmes d’IA sûrs, fiables et éthiques.
Aujourd'hui, nous sommes heureux d’annoncer le lancement de New Relic AI Monitoring (AIM), la première solution APM du secteur qui fournit une visibilité de bout à bout sur toute application alimentée par l’IA. AIM est désormais disponible en avant-première et apporte aux ingénieurs une visibilité sans précédent et des informations précieuses sur tout le stack qui leur permet de développer et d’exécuter en toute confiance des applications d'IA sûres, sécurisées et responsables.
Avant de plonger dans les aspects plus techniques de l’AIM, regardons pourquoi le monitoring de l’IA est important et quels sont les composants du stack qu’il faut monitorer pour assurer le bon fonctionnement des applications d'IA.
Pourquoi faut-il monitorer les applications d'IA ?
Pour plusieurs raisons :
- Qualité et précision : utilisez le monitoring pour les biais, la toxicité et les hallucinations dans les modèles complexes d’IA afin de garantir des résultats justes et fiables.
- Ajustement des performances : identifiez et résolvez les goulots d’étranglement informatiques afin de maintenir la réactivité et l’efficacité des applications d'IA.
- Gestion des coûts : faites le suivi du traitement des jetons pour gérer efficacement les coûts des modèles d'IA et rester dans les limites budgétaires.
- Utilisation responsable : assurez-vous que les réponses de l’IA ne contiennent ni biais ni toxicité qui pourrait causer des effets délétères.
- Sécurité : monitorez les applications d'IA pour trouver les vulnérabilités et prendre les mesures correctives nécessaires afin de remédier aux attaques potentielles de la sécurité.
New Relic AI Monitoring apporte la puissance de l’observabilité aux ingénieurs qui travaillent avec l’IA en leur fournissant des informations détaillées pour déboguer, monitorer et améliorer les applications d'IA, ce qui vous permet de vous assurer qu’elles fonctionnent comme prévu et qu’elles apportent des résultats précis et répondent aux normes émergentes pour une utilisation responsable.
Comment décoder le stack d'IA
Les stacks d'IA sont des jeux d’outils et de technologies complexes utilisés pour développer et déployer les applications d'IA. Comme nous l'avons mentionné plus tôt, les stacks de l'IA apportent non seulement un nouvel ensemble de données télémétriques, mais ils exigent aussi très souvent plus de données, plus de ressources de calcul, et plus d'outils et de technologies spécialisés que les stacks technologiques classiques.
Les composants clés d'un stack technique d'IA comprennent :
- Couche d'infrastructure : elle fournit les bases du développement et du déploiement de l'IA, dont de puissants GPU et CPU pour entraîner les modèles d'IA ainsi que les plateformes de calcul dans le cloud telles qu'AWS, Azure et Google Cloud Platform (GCP) qui fournissent une façon évolutive de déployer les applications d'IA.
- Stockage des données/des datastores vectoriels : les applications d'IA ont besoin de stocker de grandes quantités de données et d'y et accéder. Les bases de données vectorielles sont des bases de données spécialisées qui sont conçues pour stocker et interroger des données à forte dimensionnalité qui est souvent utilisée dans les applications d'IA.
- Couche de modèles : elle contient les modèles d'IA qui sont utilisés pour faire des prédictions ou générer des résultats. Quelques-uns des modèles d'IA populaires pour la génération de contenu comprennent GPT-4, Anthropic, Cohere, LLama 2 et Amazon Bedrock.
- Framework d'orchestration : les frameworks d'orchestration comme LangChain fournissent un moyen d'enchaîner différents maillons d'une application d'IA, comme le traitement des données, l'invocation des modèles et le post-traitement.
- Couche d'application : elle contient les applications du côté de l'utilisateur qui interagissent avec les modèles d'IA.
New Relic AI Monitoring est l'APM de l'IA
New Relic AI Monitoring apporte toute la puissance de l'observabilité à l'ensemble du stack. De même que les ingénieurs monitorent leur stack d'application avec New Relic APM, l'AIM leur apporte une visibilité complète de tous les composants du stack de l'IA afin que vous puissiez facilement monitorer, déboguer et améliorer vos applications d'IA en matière de performances, de qualité, de coût et de conformité.
Un paramétrage rapide et simple
Les agents New Relic fournissent un paramétrage simple du monitoring de l'IA sans nécessiter d'instrumentation supplémentaire. Ils fournissent un soutien intégré pour les modèles populaires tels qu'OpenAI et AWS Bedrock, ainsi que pour les frameworks d'orchestration comme LangChain. Ainsi vous obtenez une visibilité complète de bout en bout et des informations approfondies sur les traces sur tout votre stack d'IA, ce qui vous permet de facilement identifier et analyser les performances de composants individuels, de tracer le flux des données et de repérer précisément les goulots d’étranglement dans vos applications d'IA.
Déboguez plus vite avec une visibilité complète de tout votre stack d'IA
New Relic AI Monitoring s'intègre de manière transparente à New Relic APM 360 afin de fournir une visibilité de bout en bout sur tout votre stack d'IA, de la couche de service jusqu'à l'infrastructure des modèles d'IA. Vous pouvez désormais corréler les performances des applications d'IA avec les tendances en amont et en aval pour comprendre en temps réel comment les problèmes impactent différentes parties de l'application. Cela élimine les approximations et rend le dépannage intuitif et efficace pour tous les ingénieurs.
La capture d'écran ci-dessous représente la synthèse de New Relic APM 360 avec la vue intégrée de l'AIM. Cette vue unifiée vous donne des informations instantanées sur les métriques clés de la couche d'IA, telles que le nombre de requêtes, le temps de réponse moyen, l'usage de jetons, les commentaires des utilisateurs et les taux de réponse aux erreurs ainsi que les signaux dorés de l'APM, les détails sur l'infrastructure et les logs. Imaginez maintenant qu'un pic d'erreurs se produise au niveau des applications, mais aussi au niveau des réponses aux erreurs de l'IA intégrée dans la vue de synthèse New Relic APM 360. Vous pouvez rapidement isoler le problème à la couche d'IA et passer à la vue des réponses de l'IA pour trouver la cause profonde du problème.
Optimisez les performances, la qualité et le coût des applications d'IA avec des informations approfondies
New Relic AI Monitoring fournit les traces profondes de chaque réponse ce qui vous donne la visibilité dont vous avez besoin pour comprendre comment vos applications d'IA fonctionnent et prendre des décisions informées sur la meilleure façon de corriger les performances, ou de résoudre les problèmes de qualité (biais, toxicité et hallucination) et gérer les coûts. Avec l'interface de réponse de New Relic AI Monitoring, vous pouvez :
- Identifier les valeurs hors normes et les tendances : AIM fournit une vue consolidée de toutes les réponses de l'IA. Cela vous permet de facilement identifier les valeurs hors normes et les tendances dans vos réponses.
- Tracer tout le cycle de vie de chaque réponse : New Relic AI Monitoring vous permet de voir le cycle de vie de bout en bout de la réponseen commençant par le prompt et en passant par tous les stades des composants de l'application avec des vues en cascade facilement compréhensibles comme dans l'écran ci-dessous.
En outre, vous pouvez voir les détails, y compris le prompt, les commentaires négatifs et les métadonnées pour chaque réponse afin que vous puissiez rapidement repérer et résoudre les problèmes relatifs aux performances ou à la qualité.
Comparez les différents modèles de performances et de coûts
La comparaison des modèles est un élément clé du monitoring de l'IA qui vous permet d'identifier le meilleur modèle pour vos besoins, de suivre les performances dans le temps et d'optimiser les coûts. New Relic AI Monitoring fournit une seule vue simple à utiliser pour le dépannage, les comparaisons et l'optimisation de différents prompts et réponses LLM aux problèmes de performances, coûts et qualité, tels que les hallucinations, biais, et toxicité entre tous les modèles.
L'optimisation du coût des applications d'IA est l'un des cas d'utilisation les plus courants de la comparaison des modèles d'AIM. En faisant le suivi de l'usage des jetons, sur différents modèles d'IA, vous pouvez identifier ceux dont l'exécution coûte le plus. Vous pouvez ensuite choisir des modèles moins chers pour optimiser l'architecture de votre application d'IA.
Monitorez instantanément tout écosystème d'IA avec le plus grand ensemble d'intégrations qui soit
New Relic AI Monitoring fournit plus de 50 intégrations pour l'écosystème de l'IA. Il inclut les LLM populaires, les bibliothèques d'apprentissage machine, les bases de données vectorielles, ainsi que les frameworks qui ne sont pas actuellement pris en charge par les agents New Relic. Ces intégrations comprennent les dashboards, les alertes et les autres modules qui vous donnent une visibilité instantanée sur les performances et la santé de votre application d'IA.
New Relic ouvre la voie du monitoring de l'IA
New Relic est le pionnier de l'observabilité avec New Relic AI Monitoring : Le monitoring de l'IA vous apporte une visibilité sans précédent, une intégration transparente et des informations détaillées sur tout le stack de l'IA. Grâce à son intégration à New Relic APM 360, vous pouvez facilement identifier les problèmes de performances, coût et qualité touchant les applications d'IA. New Relic AI Monitoring permet aux organisations de faire un grand pas en avant vers l'observabilité de l'IA, mais aussi les encourage à adopter l'IA dans leurs applications en toute confiance, à développer la confiance de leurs clients et partenaires et à prendre une longueur d'avance dans le monde en constante évolution de l'intelligence artificielle.
Étapes suivantes
Démarrez avec le monitoring de l'IA New Relic
New Relic AI Monitoring est désormais disponible en avant-première dans le cadre de la plateforme d’observabilité tout-en-un New Relic. S'inscrire à l'accès en avant-première
Vous ne vous êtes pas encore inscrit à New Relic pour obtenir un compte Full Platform ? Créez un compte gratuit et obtenez 100 Go/mois d'ingestion de données gratuite et l'accès aux plus de 30 capacités de notre plateforme, y compris des outils populaires comme l'APM, le monitoring d'infrastructure, la gestion des logs, les dashboards personnalisés, Errors Inbox, le tracing, le suivi des changements, et plus encore.
Les opinions exprimées sur ce blog sont celles de l'auteur et ne reflètent pas nécessairement celles de New Relic. Toutes les solutions proposées par l'auteur sont spécifiques à l'environnement et ne font pas partie des solutions commerciales ou du support proposés par New Relic. Veuillez nous rejoindre exclusivement sur l'Explorers Hub (discuss.newrelic.com) pour toute question et assistance concernant cet article de blog. Ce blog peut contenir des liens vers du contenu de sites tiers. En fournissant de tels liens, New Relic n'adopte, ne garantit, n'approuve ou n'approuve pas les informations, vues ou produits disponibles sur ces sites.
Cet article de blog contient des déclarations prospectives, telles que définies par la législation de la commission fédérale des opérations sur titre, y compris, mais sans s'y limiter, les déclarations relatives à la disponibilité de New Relic AI Monitoring et de ses fonctions, ainsi que les avantages anticipés, les résultats et les opportunités futures qui y sont liées. La réalisation ou les performances des points couverts par lesdites déclarations prospectives sont basées sur les hypothèses, attentes, et convictions actuelles de New Relic, et sont soumises à d'importants risques, incertitudes, conjectures et changements de circonstances, à la suite desquels les performances, réalisations ou résultats réels de New Relic peuvent être considérablement différents matériellement de ceux exprimés ou suggérés dans la déclaration prospective, quelle qu'elle soit. De plus amples informations sur les facteurs qui pourraient avoir un effet sur les résultats financiers ou autres de New Relic et les déclarations prospectives incluses dans cet article sont déposées auprès de la SEC de temps en temps, notamment dans le formulaire intitulé « Form 1 -Q » le plus récent de New Relic, et en particulier dans ses sections « Risk Factors » et « Management’s Discussion and Analysis of Financial Condition and Results of Operations ». Des copies de ces documents peuvent être obtenues sur le site web des relations aux investisseurs de New Relic (http://ir.newrelic.com) ou sur celui de la SEC (www.sec.gov). New Relic n'assume aucune obligation et n'entend pas mettre à jour ces déclarations prospectives, sauf si la loi l'exige.
