New Relic intègre sa plateforme d’observabilité à NVIDIA NIM pour accélérer l'adoption de l'IA et le retour sur investissement
L'intégration de New Relic aux microservices d'inférence NVIDIA NIM vise la fourniture de modèles hautement performants optimisés pour les GPU de NVIDIA.
Le monitoring de l'IA de New Relic fournit des informations très détaillées sur tout le stack d'IA pour les applications développées avec NVIDIA NIM.
La plateforme de New Relic centralise les données de plus de 60 intégrations d'IA pour assurer une observabilité complète.
SAN FRANCISCO — 24 juin 2024—New Relic, la société à la plateforme d’observabilité tout-en-un pour tous les ingénieurs, a annoncé qu'elle intégrait sa plateforme aux microservices d'inférence NVIDIA NIM afin de réduire la complexité et les coûts de développement, de déploiement et de monitoring des applications d'IA générative (GenAI). Ses clients peuvent désormais utiliser New Relic AI Monitoring pour obtenir une visibilité complète sur tout le stack d'IA pour les applications développées avec NVIDIA NIM, le tout avec un paramétrage simplifié et en assurant la sécurité des données. Cette solution vient s'ajouter aux fonctionnalités de sécurité robustes et à la simplicité d'utilisation des modèles autohébergés de NVIDIA NIM, et accélère la livraison d'applications d'IA générative. L'intégration de New Relic à NVIDIA NIM aide les clients à adopter l'IA et à atteindre un RSI plus rapidement.
L'observabilité est critique au déploiement de modèles hautes performances rentables
Les organisations adoptent rapidement l'IA générative pour améliorer les expériences numériques, booster la productivité et stimuler le chiffre d'affaires. Gartner prévoit que plus de 80 % des entreprises utiliseront GenAI ou déploieront des applications GenAI d'ici 2026. Pour gagner un avantage commercial, les organisations doivent assurer un déploiement efficace et un retour sur leurs investissements (RSI) plus rapide. L'observabilité est la clé qui le leur permet. En effet, elle offre une vue holistique en temps réel du stack d'applications d'IA, sur tous les services, l'infrastructure et la couche d'IA, pour assurer des opérations efficaces, fiables et rentables.
« Dans le monde hyper compétitif d'aujourd'hui, les organisations ne peuvent pas se permettre d'attendre des années pour bénéficier du RSI de l'IA. L'observabilité résout cette difficulté en leur apportant la visibilité nécessaire sur tout le stack d'IA. Nous sommes à l'avant-garde de l'observabilité de l'IA en étendant la portée de notre plateforme aux applications d'IA développées avec NVIDIA NIM. La combinaison de la technologie d'IA de NVIDIA à notre expertise en matière d'observabilité et d'APM apporte aux entreprises un avantage concurrentiel dans la course à l'IA. » ‑Ashan Willy, CEO, New Relic
« Alors que les entreprises font la course à l'adoption de L'IA, NVIDIA NIM peut aider rapidement les entreprises à déployer les applications en production. L'intégration de New Relic à NVIDIA NIM permet aux équipes IT et de développement à optimiser leurs applications d'IA en observant et répondant rapidement aux informations détaillées opérationnelles. » ‑Amanda Saunders, Directrice Logiciels IA, NVIDIA
New Relic déverrouille le RSI plus rapidement pour les applications d'IA développées avec NVIDIA NIM
Les applications d'IA peuvent compliquer les stacks technologiques, augmenter les soucis de sécurité et présenter un coût prohibitif. New Relic AI Monitoring fournit une vue complète du stack d'IA, ainsi que les métriques clés sur le débit, la latence et les coûts tout en assurant la confidentialité des données. La solution trace également les flux de requêtes sur tous les services et les modèles pour aider à comprendre les mécanismes internes des applications d'IA. New Relic étend la portée de son monitoring approfondi à NVIDIA NIM et soutient une large gamme de modèles d'IA y compris – DBRX de Databricks, Gemma de Google, Llama 3 de Meta, Phi-3 de Microsoft, Mistral Large et Mixtral 8x22B, et Arctic de Snowflake. Cela aide les organisations à déployer les applications d'IA développées avec NVIDIA NIM en toute confiance, à accélérer la commercialisation et à améliorer le RSI.
Les fonctionnalités et cas d'utilisation clés de l'IA comprennent :
- Visibilité sur tout le stack d'IA : détectez les problèmes plus rapidement avec une vue holistique de toutes les applications, l'infrastructure basée sur le GPU NVIDIA, la couche d'IA, la qualité des réponses, le décompte des jetons et les signaux dorés de l'APM.
- Informations approfondies pour toutes les réponses : résolvez les problèmes de performance et de qualité comme les biais, la toxicité et les hallucinations en traçant tout le cycle de vie des réponses de l'IA.
- Inventaire des modèles : isolez les problèmes de performances, erreurs et coûts associés aux modèles en faisant le suivi des métriques clés sur tous les microservices d'inférence NVIDIA NIM, en un seul et même endroit.
- Comparaison des modèles : comparez les performances des microservices d'inférence de NVIDIA NIM en production dans une vue unique pour optimiser le choix des modèles en fonction de l'infrastructure et des besoins de l'utilisateur.
- Informations approfondies sur le GPU : analysez les métriques de calcul accélérées critiques telles que l'utilisation du GPU, la température et les états de performances, comprenez le contexte et résolvez les problèmes plus rapidement.
- Sécurité des données améliorées : outre l'avantage en termes de sécurité des modèles autohébergés de NVIDIA, New Relic vous permet d'exclure le monitoring des renseignements personnels (PII) dans vos requêtes et réponses d'IA.
New Relic renforce son écosystème de plus de 60 intégrations d'IA avec NVIDIA
Cette intégration suit l'ajout récent de New Relic à l'écosystème de partenaires AIOps de NVIDIA. En utilisant le computing accéléré de l'IA par NVIDIA, New Relic combine l'observabilité et l'IA pour rationaliser les opérations IT et accélérer l'innovation par le biais de son apprentissage machine, et l'assistant d'IA générative, New Relic AI. New Relic offre la solution d'observabilité la plus complète avec plus de 60 intégrations d'IA y compris NVIDIA GPU et le logiciel du serveur d'inférence NVIDIA Triton.
New Relic AI Monitoring est disponible pour tous dans le cadre de sa plateforme d’observabilité tout-en-un et offert via son modèle de tarification à l'utilisation. Pour bien démarrer avec cette solution, contactez le représentant de votre compte New Relic ou inscrivez-vous pour obtenir un compte gratuit.
Pour en savoir plus, consultez :
À propos de New Relic
En tant que leader de l'observabilité, New Relic permet aux ingénieurs d'avoir une approche data-driven de la planification, du développement, du déploiement et de l'exécution d'excellents logiciels. New Relic propose la seule plateforme uniformisée qui permet aux ingénieurs d'obtenir toutes les données télémétriques (métriques, événements, logs et traces) avec les puissants outils d'analyse full‑stack pour aider les ingénieurs à donner le meilleur d'eux‑mêmes en s'appuyant sur des données et non sur des opinions. Le modèle de tarification intuitif et prévisible de New Relic est le premier du secteur à être basé sur la consommation, ce qui permet aux ingénieurs d'obtenir plus de leur investissement en les aidant à améliorer la planification des différents cycles, les taux d'échecs des modifications, la fréquence de publication des nouvelles versions et les temps moyens de résolution des problèmes. Tous ces avantages aident les meilleures marques au monde, dont Adidas Runtastic, Australia Post, Banco Inter, Chegg, GoTo Group, La Croix‑Rouge américaine, Ryanair, Sainsbury’s, Signify Health, TopGolf et World Fuel Services (WFS) à améliorer les temps de disponibilité et la fiabilité, à stimuler l'efficacité opérationnelle et à assurer une expérience client exceptionnelle, ce qui encourage l'innovation et la croissance. www.newrelic.com.