Incluez l'apprentissage machine dans le process d'observabilité full-stack avec le monitoring des performances ML

Publié Lecture : 5 min
Guy Fighel headshot

Auteur : Guy Fighel

Lignes bleues interconnectées

Désormais, New Relic élargit l'expérience d'observabilité avec une nouvelle offre pour les équipes AI et ML qui leur permettra de briser les silos de visibilité. En effet, cette offre propose aux équipes AI/ML et DevOps un seul et même endroit pour monitorer et visualiser les signaux critiques comme le rappel, la précision et l'exactitude des modèles ainsi que les applications et leur infrastructure. 

Commencez à mesurer vos performances ML en quelques minutes. Dans cette vidéo, vous découvrirez comment configurer le monitoring des performances des modèles ML dans New Relic afin d'accélérer le RSI de vos applications AI et ML :

Intégration des données de votre modèle ML dans New Relic One

Les ingénieurs et les scientifiques des données AI/ML peuvent désormais envoyer les données télémétriques sur les performances des modèles vers New Relic One et monitorer de manière proactive les problèmes des modèles ML en production grâce aux intégrations avec les principales plateformes MLOps. Vous pouvez donner à vos équipes de données une visibilité totale, avec des vues et des dashboards personnalisés qui peuvent vous montrer les performances de vos investissements ML en action.

Visibilité complète sur les applications alimentées par l'apprentissage machine

Contrairement aux logiciels classiques, les modèles AI et ML sont basés à la fois sur le code et sur les données sous-jacentes. Le monde réel étant en constante évolution, les modèles développés sur des données statiques peuvent devenir non pertinents ou « dériver » au fil du temps et perdre en précision. Pour cette raison, le monitoring des performances d'un modèle ML en production est essentiel pour continuer à fournir des expériences client pertinentes.

En utilisant New Relic One pour le monitoring des performances de vos modèles ML, vos équipes de développement et de science des données peuvent :

  • Apporter leurs propres données ML ou les intégrer aux plateformes de science des données et monitorer les modèles ML et les interdépendances avec les autres composants des applications (y compris l'infrastructure) pour résoudre les problèmes plus rapidement.
  • Créer des dashboards personnalisés pour gagner en confiance et en connaissances afin d'obtenir des modèles ML plus précis.
  • Appliquer des alertes prédictives aux modèles ML à partir des alertes et d'Applied Intelligence de New Relic pour détecter en amont les changements inhabituels et les inconnues avant qu'ils n'aient un impact sur les clients.
  • Examiner les données télémétriques des modèles ML pour détecter les signaux critiques afin de maintenir des modèles très performants.
  • Collaborer dans un environnement de production et contextualiser les alertes, les notifications et les incidents avant qu'ils n'aient un impact sur l'activité.
  • Accéder aux données qui vous permettent de prendre des décisions data-driven, comme stimuler l'innovation, planifier les décisions, augmenter la fiabilité et améliorer l'expérience client.
NEW RELIC ALGORITHMIA INTEGRATION
Algorithmia logo

Intégration des données de votre modèle ML dans New Relic One

Les ingénieurs et les scientifiques des données AI/ML peuvent désormais envoyer les données télémétriques sur les performances des modèles vers New Relic One et monitorer de manière proactive les problèmes des modèles ML en production grâce aux intégrations avec les principales plateformes MLOps. Vous pouvez donner à vos équipes de données une visibilité totale, avec des vues et des dashboards personnalisés qui peuvent vous montrer les performances de vos investissements ML en action.

Visibilité complète sur les applications alimentées par l'apprentissage machine

Contrairement aux logiciels classiques, les modèles AI et ML sont basés à la fois sur le code et sur les données sous-jacentes. Le monde réel étant en constante évolution, les modèles développés sur des données statiques peuvent devenir non pertinents ou « dériver » au fil du temps et perdre en précision. Pour cette raison, le monitoring des performances d'un modèle ML en production est essentiel pour continuer à fournir des expériences client pertinentes.

En utilisant New Relic One pour le monitoring des performances de vos modèles ML, vos équipes de développement et de science des données peuvent :

  • Apporter leurs propres données ML ou les intégrer aux plateformes de science des données et monitorer les modèles ML et les interdépendances avec les autres composants des applications (y compris l'infrastructure) pour résoudre les problèmes plus rapidement.
  • Créer des dashboards personnalisés pour gagner en confiance et en connaissances afin d'obtenir des modèles ML plus précis.
  • Appliquer des alertes prédictives aux modèles ML à partir des alertes et d'Applied Intelligence de New Relic pour détecter en amont les changements inhabituels et les inconnues avant qu'ils n'aient un impact sur les clients.
  • Examiner les données télémétriques des modèles ML pour détecter les signaux critiques afin de maintenir des modèles très performants.
  • Collaborer dans un environnement de production et contextualiser les alertes, les notifications et les incidents avant qu'ils n'aient un impact sur l'activité.
  • Accéder aux données qui vous permettent de prendre des décisions data-driven, comme stimuler l'innovation, planifier les décisions, augmenter la fiabilité et améliorer l'expérience client.
Le monitoring est rapidement en train de s'imposer comme l'un des aspects les plus importants des MLOps et je suis ravi de voir le lancement de la plateforme AI Observability de New Relic.   À mesure que les entreprises se lancent dans des cas d'utilisation AI/ML plus complexes, l'observabilité des applications ML full-stack doit être une priorité pour toutes les équipes avancées, qui ont aussi besoin des bons outils pour suivre leurs modèles lorsqu'elles prennent des décisions clés en production. Chez AI Infrastructure Alliance, nous nous efforçons de rassembler les modules essentiels aux applications d'intelligence artificielle (AI) d'aujourd'hui et de demain et nous sommes heureux de nous associer à New Relic pour cette mission.

Profitez immédiatement des avantages de la télémétrie des modèles d'apprentissage machine 

Avec 100 Go par mois gratuits et des bibliothèques prêtes à l'emploi, vous pouvez facilement et rapidement transférer les inférences et données de performance de votre propre modèle ML entre un notebook Jupyter ou un service cloud et New Relic afin d'obtenir des métriques telles que les données statistiques et la distribution des fonctionnalités et prédictions. 

En outre, l'écosystème open source de New Relic propose des quickstarts agiles qui vous permettent de commencer à tirer parti des données de vos modèles ML plus rapidement. Un large éventail d'intégrations avec les principales plateformes de science des données comme AWS SageMaker, DataRobot (Algorithmia), Aporia, Superwise, Comet, DAGsHub, Mona et TruEra comprend des dashboards de performance préconfigurés et d'autres modules d'observabilité qui vous donnent une visibilité instantanée sur vos modèles. Avec New Relic One, tirer le maximum de vos données de modèle ML n'a jamais été aussi simple.  

Les recommandations ou prédictions ML inexactes peuvent coûter des millions à une entreprise. New Relic Model Performance Monitoring permet aux équipes de mesurer la performance des modèles ML pour un retour sur investissement maximal.

Bien démarrer avec le monitoring des performances des modèles ML

Chez New Relic, nous nous engageons à faire de l'observabilité une bonne pratique quotidienne pour tous les ingénieurs. Avec le lancement de New Relic ML Model Performance Monitoring, nous proposons une plateforme d'observabilité des données uniformisée et unifiée des données qui donne aux équipes AI/ML et DevOps une visibilité sans précédent sur les performances de leurs applications basées sur l'apprentissage machine. Avec tout ce dont vous avez besoin en un seul et même endroit, New Relic ouvre les portes de l'observabilité du futur.

Toutes les intégrations d'observabilité disponibles de New Relic ML Model Performance Monitoring font partie de l'écosystème New Relic Instant Observability, et d'autres sont en cours de développement. 

Pour en savoir plus sur la façon d'intégrer la télémétrie des modèles ML dans New Relic One, consultez notre bibliothèque Python et l'exemple de notebook d'un modèle XGBoost avec l'explication détaillée de l'intégration.