New Relic, la plateforme d’observabilité tout-en-un pour tous les ingénieurs, a lancé le monitoring New Relic AI Monitoring (AIM)​, la première solution APM du secteur pour les applications alimentées par l'IA. New Relic est le pionnier de l'observabilité de l'IA et fournit aux ingénieurs une visibilité sans précédent et des informations sur le stack d'applications d'IA, facilitant ainsi leur dépannage et leur optimisation en matière de performances, qualité, coûts et utilisation responsable de l'IA. Avec plus de 50 intégrations et fonctionnalités pour le tracing des réponses des LLM et la comparaison des modèles, le monitoring de l'IA aide les équipes à développer et exécuter les applications basées sur les LLM en toute confiance. 

Les applications alimentées par l'IA présentent de nouvelles complexités pour les organisations. Les composants de l'IA comme les grands modèles de langage (LLM) et les bases de données vectorielles sont souvent la boîte noire des ingénieurs, mais ils présentent aussi le potentiel de fournir des résultats inexacts et biaisés, de créer des problèmes de sécurité et de générer de gros volumes de données télémétriques qui doivent être suivies et analysées. Le monitoring de l'IA résout cela avec l'observabilité de bout en bout de toutes les applications d'IA. Les ingénieurs peuvent, dans une seule vue, dépanner, comparer et optimiser différents prompts et réponses de LLM concernant les problèmes de performance, coûts, sécurité et qualité, y compris les hallucinations, les biais, la toxicité et l'équité. Ils ont ainsi une visibilité sur tous les composants du stack d'IA mais aussi sur les services et l'infrastructure. Et ils disposent également des données dont ils ont besoin pour l'utilisation responsable de l'IA et pour prouver la conformité à la réglementation émergente de l'IA.

« Quasiment toutes les organisations intègrent des applications d'IA dans leurs stacks technologiques pour fournir une meilleure expérience à leurs clients et améliorer l'efficience dans l'espoir d'améliorer leurs résultats. En contrepartie, l'IA crée plus de complexité dans leur stack technologique et doit être adoptée de manière responsable en gardant à l'esprit la sécurité, la qualité, la conformité et les coûts. L'application de l'observabilité aux applications IA est une façon intelligente et efficace de prendre ces complexités en compte afin que les entreprises puissent évoluer et constamment innover. Toute entreprise qui fournit ces solutions permet aux organisations de livrer de meilleurs produits et une expérience utilisateur améliorée. » -Stephen Elliot, Vice-président, IDC Group

« Dans chaque organisation qui intègre l'IA dans ses produits et processus, les workloads d'IA font désormais partie de l'architecture des applications de ces organisations modernes. Avec le monitoring de l'IA, nous avons appliqué notre grande expertise tirée de l'invention de l'APM dans le cloud à la création de la visibilité de bout en bout sur les applications alimentées par l'IA dans le but d'aider les entreprises à gérer les performances, les coûts et l'utilisation responsable de l'IA. » -Manav Khurana, Directeur des produits, New Relic Chief.

Les fonctionnalités et cas d'utilisation clés comprennent :

• Instrumentation automatisée : les agents New Relic sont équipés avec les capacités AIM, y compris la visibilité intégrale du stack d'IA, tracing des réponses, comparaison des modèles et plus encore pour un paramétrage rapide et simple.

• Visibilité de tout le stack d'IA : une vue holistique de l'application, l'infrastructure et la couche d'IA, y compris les métriques d'IA comme la qualité des réponses et les jetons parallèlement aux signaux dorés de l'APM.

• Informations approfondies sur les traces pour chaque réponse LLM : le suivi du cycle des réponses complexes LLM développé avec des outils comme LangChain pour résoudre des problèmes de performance et de qualité tels que les biais, la toxicité et les hallucinations. 

• Comparaison des performances et des coûts : le suivi de l'usage, des performances, de la qualité et des coûts sur tous les modèles dans une seule vue ; l'optimisation de l'utilisation avec des informations détaillées sur les prompts fréquemment demandés, la chaîne de pensée et les modèles de prompts et les caches.

• Activation de l'utilisation responsable de l'IA : utilisation de l'IA sûre et responsable en vérifiant que les réponses reçoivent les tags corrects pour indiquer qu'elles sont générées par l'IA et ne présentent pas de biais, de toxicité, ni d'hallucinations en utilisant les informations des traces des réponses.

• Monitoring instantané de votre écosystème :  la solution de monitoring la plus complète pour tout le stack d'un écosystème d'IA comprenant plus de 50 intégrations et quickstarts, dont :
  • Framework d'orchestration : LangChain
  • LLM : OpenAI, PaLM2, HuggingFace
  • Bibliothèques d'apprentissage machine : Pytorch, TensorFlow
  • Modèle servant : Amazon SageMaker, AzureML
  • Bases de données vectorielles : Pinecone, Weaviate, Milvus, FAISS
  • Infrastructure d'IA : Azure, AWS, GCP

« En intégrant la base de données vectorielle de Pinecone au monitoring de l'IA de New Relic, nous fournissons la transparence et les informations exploitables dont les développeurs ont besoin pour créer de meilleures recherches et des applications d'IA générative dans l'entreprise. Actuellement, les entreprises développent et déploient des applications d'IA, et nous avons vu une incroyable demande pour les bases de données vectorielles, car il s'agit d'un élément clé du stack d'IA. Les développeurs peuvent désormais créer de meilleures recherches et solutions d'IA générative en assurant des réponses pertinentes et rapides dans le cadre de leur pratique d'observabilité de l'IA. » -Edo Liberty, Fondateur et CEO de Pinecone

New Relic AIM est désormais proposé en avant-première aux utilisateurs de New Relic du monde entier. Les utilisateurs peuvent s'inscrire ici pour demander un accès en avant-première, qui est inclus dans le cadre de la tarification à la consommation simplifiée de New Relic. Pour plus d'informations, consultez notre :

• Page web
• Blog
• Communiqué de presse sur le monitoring de l'IA de New Relic et l'intégration d'Amazon Bedrock