New Relic intègre sa plateforme d’observabilité à NVIDIA NIM pour accélérer l'adoption de l'IA et le retour sur investissement
L'intégration de New Relic aux microservices d'inférence NVIDIA NIM vise la fourniture de modèles hautement performants optimisés pour les GPU de NVIDIA.
Le monitoring de l'IA de New Relic fournit des informations très détaillées sur tout le stack d'IA pour les applications développées avec NVIDIA NIM.
La plateforme de New Relic centralise les données de plus de 60 intégrations d'IA pour assurer une observabilité complète.
SAN FRANCISCO — 24 juin 2024—New Relic, la société à la plateforme d’observabilité tout-en-un pour tous les ingénieurs, a annoncé qu'elle intégrait sa plateforme aux microservices d'inférence NVIDIA NIM afin de réduire la complexité et les coûts de développement, de déploiement et de monitoring des applications d'IA générative (GenAI). Ses clients peuvent désormais utiliser New Relic AI Monitoring pour obtenir une visibilité complète sur tout le stack d'IA pour les applications développées avec NVIDIA NIM, le tout avec un paramétrage simplifié et en assurant la sécurité des données. Cette solution vient s'ajouter aux fonctionnalités de sécurité robustes et à la simplicité d'utilisation des modèles autohébergés de NVIDIA NIM, et accélère la livraison d'applications d'IA générative. L'intégration de New Relic à NVIDIA NIM aide les clients à adopter l'IA et à atteindre un RSI plus rapidement.
L'observabilité est critique au déploiement de modèles hautes performances rentables
Les organisations adoptent rapidement l'IA générative pour améliorer les expériences numériques, booster la productivité et stimuler le chiffre d'affaires. Gartner prévoit que plus de 80 % des entreprises utiliseront GenAI ou déploieront des applications GenAI d'ici 2026. Pour gagner un avantage commercial, les organisations doivent assurer un déploiement efficace et un retour sur leurs investissements (RSI) plus rapide. L'observabilité est la clé qui le leur permet. En effet, elle offre une vue holistique en temps réel du stack d'applications d'IA, sur tous les services, l'infrastructure et la couche d'IA, pour assurer des opérations efficaces, fiables et rentables.
« Dans le monde hyper compétitif d'aujourd'hui, les organisations ne peuvent pas se permettre d'attendre des années pour bénéficier du RSI de l'IA. L'observabilité résout cette difficulté en leur apportant la visibilité nécessaire sur tout le stack d'IA. Nous sommes à l'avant-garde de l'observabilité de l'IA en étendant la portée de notre plateforme aux applications d'IA développées avec NVIDIA NIM. La combinaison de la technologie d'IA de NVIDIA à notre expertise en matière d'observabilité et d'APM apporte aux entreprises un avantage concurrentiel dans la course à l'IA. » ‑Ashan Willy, CEO, New Relic
« Alors que les entreprises font la course à l'adoption de L'IA, NVIDIA NIM peut aider rapidement les entreprises à déployer les applications en production. L'intégration de New Relic à NVIDIA NIM permet aux équipes IT et de développement à optimiser leurs applications d'IA en observant et répondant rapidement aux informations détaillées opérationnelles. » ‑Amanda Saunders, Directrice Logiciels IA, NVIDIA
New Relic déverrouille le RSI plus rapidement pour les applications d'IA développées avec NVIDIA NIM
Les applications d'IA peuvent compliquer les stacks technologiques, augmenter les soucis de sécurité et présenter un coût prohibitif. New Relic AI Monitoring fournit une vue complète du stack d'IA, ainsi que les métriques clés sur le débit, la latence et les coûts tout en assurant la confidentialité des données. La solution trace également les flux de requêtes sur tous les services et les modèles pour aider à comprendre les mécanismes internes des applications d'IA. New Relic étend la portée de son monitoring approfondi à NVIDIA NIM et soutient une large gamme de modèles d'IA y compris – DBRX de Databricks, Gemma de Google, Llama 3 de Meta, Phi-3 de Microsoft, Mistral Large et Mixtral 8x22B, et Arctic de Snowflake. Cela aide les organisations à déployer les applications d'IA développées avec NVIDIA NIM en toute confiance, à accélérer la commercialisation et à améliorer le RSI.
Les fonctionnalités et cas d'utilisation clés de l'IA comprennent :
- Visibilité sur tout le stack d'IA : détectez les problèmes plus rapidement avec une vue holistique de toutes les applications, l'infrastructure basée sur le GPU NVIDIA, la couche d'IA, la qualité des réponses, le décompte des jetons et les signaux dorés de l'APM.
- Informations approfondies pour toutes les réponses : résolvez les problèmes de performance et de qualité comme les biais, la toxicité et les hallucinations en traçant tout le cycle de vie des réponses de l'IA.
- Inventaire des modèles : isolez les problèmes de performances, erreurs et coûts associés aux modèles en faisant le suivi des métriques clés sur tous les microservices d'inférence NVIDIA NIM, en un seul et même endroit.
- Comparaison des modèles : comparez les performances des microservices d'inférence de NVIDIA NIM en production dans une vue unique pour optimiser le choix des modèles en fonction de l'infrastructure et des besoins de l'utilisateur.
- Informations approfondies sur le GPU : analysez les métriques de calcul accélérées critiques telles que l'utilisation du GPU, la température et les états de performances, comprenez le contexte et résolvez les problèmes plus rapidement.
- Sécurité des données améliorées : outre l'avantage en termes de sécurité des modèles autohébergés de NVIDIA, New Relic vous permet d'exclure le monitoring des renseignements personnels (PII) dans vos requêtes et réponses d'IA.
New Relic renforce son écosystème de plus de 60 intégrations d'IA avec NVIDIA
Cette intégration suit l'ajout récent de New Relic à l'écosystème de partenaires AIOps de NVIDIA. En utilisant le computing accéléré de l'IA par NVIDIA, New Relic combine l'observabilité et l'IA pour rationaliser les opérations IT et accélérer l'innovation par le biais de son apprentissage machine, et l'assistant d'IA générative, New Relic AI. New Relic offre la solution d'observabilité la plus complète avec plus de 60 intégrations d'IA y compris NVIDIA GPU et le logiciel du serveur d'inférence NVIDIA Triton.
New Relic AI Monitoring est disponible pour tous dans le cadre de sa plateforme d’observabilité tout-en-un et offert via son modèle de tarification à l'utilisation. Pour bien démarrer avec cette solution, contactez le représentant de votre compte New Relic ou inscrivez-vous pour obtenir un compte gratuit.
Pour en savoir plus, consultez :
À propos de New Relic
Après avoir inventé le monitoring des performances des applications (APM), New Relic se trouve sur le devant de la scène de l'observabilité avec la plateforme la plus avancée qui soit pour l'élimination des interruptions numériques. Des entreprises du monde entier — dont adidas Runtastic, la Croix-Rouge américaine, Domino’s, GoTo Group, Ryanair, Topgolf, et William Hill — tournent sur New Relic pour créer de meilleures expériences numériques, optimiser leur chiffre d'affaires et être à la pointe de l'innovation.www.newrelic.com.