Full-Stack Observability in Bestform – mit Performance-Monitoring für ML-Modelle

Veröffentlicht 3 Minuten Lesedauer
Blaue miteinander verbundene Linien

New Relic erweitert heute seine Monitoring-Technologien als Lösungskonzept für künstliche Intelligenz und maschinelles Lernen. Eliminiert werden so auch Informationssilos für KI-, ML- und DevOps-Teams, die nun gemeinsam zentral Zugriff auf wichtige Signale rund um Recall, Precision und Accuracy erhalten.

Time-to-Value für Ihr maschinelles Lernen und Ihre KI in Minuten: In diesem Video sehen Sie, wie Sie Performance-Monitoring für ML-Modelle in New Relic aufsetzen.

Ihre ML-Modelldaten in New Relic One

Durch Integration der Telemetriedaten für Ihre Modell-Performance in New Relic One messen Engineering-Teams im Bereich KI und ML pro-aktiv potenzielle Probleme in der Produktion. Unterstützt werden sie dabei durch Integrationen mit führenden MLOps-Plattformen. Ihre Data-Teams erhalten in diesem Zuge lückenlose Transparenz mit Custom-Dashboards und -Visualisierungen für die Performance Ihrer ML-Investitionen.

Umfassende Visibility für ML-Anwendungen

Im Gegensatz zu klassischer Software basieren ML-Modelle und ihre KI-Resultate sowohl auf Code als auch auf zugehörigen Datensets. Und da sich der Kontext unserer Realität stetig verändert, verlieren auf statischen Daten basierende Modelle im Verlauf der Zeit immer mehr an Relevanz. Data Drift und starke Verluste bei der Modell-Performance sind die Folge. Eben die Performance eines Modells in der Produktion will also genau im Auge behalten werden, damit es weiterhin korrekte Ergebnisse liefern und eine überzeugende UX gewährleisten kann.

Die Möglichkeiten für Ihre Dev- und Data-Science-Teams mit New Relic ML Model Performance Monitoring:

  • Integration eigener ML-Daten oder Integration mit Data-Science-Plattformen sowie Monitoring für ML-Modelle und Abhängigkeiten im Zusammenhang mit anderen Anwendungskomponenten und Infrastruktur und somit raschere Problemlösung
  • Custom-Dashboards zur Abbildung relevanter Insights für präzisere ML-Modelle
  • Anwendung von Predictive Alerts für ML-Modelle aus New Relic Alerts und Applied Intelligence zur Erfassung ungewöhnlicher Änderungen und noch unklarer Faktoren, bevor sie sich auf Ihre Kund:innen auswirken können
  • Prüfung von Modell-Telemetriedaten auf wichtige Signale zur Performance-Sicherung
  • Konzertierte Zusammenarbeit in der Produktionsumgebung zu allen Kontextdetails für Alerts, Benachrichtigungen und Incidents, bevor aus ihnen handfeste Business-Probleme erwachsen können
  • Datengestützte Entscheidungsfindung zur Förderung von Innovation, Planung, Stabilität und UX
NEW RELIC ALGORITHMIA INTEGRATION
Algorithmia logo

Ihre ML-Modelldaten in New Relic One

Durch Integration der Telemetriedaten für Ihre Modell-Performance in New Relic One messen Engineering-Teams im Bereich KI und ML pro-aktiv potenzielle Probleme in der Produktion. Unterstützt werden sie dabei durch Integrationen mit führenden MLOps-Plattformen. Ihre Data-Teams erhalten in diesem Zuge lückenlose Transparenz mit Custom-Dashboards und -Visualisierungen für die Performance Ihrer ML-Investitionen.

Umfassende Visibility für ML-Anwendungen

Im Gegensatz zu klassischer Software basieren ML-Modelle und ihre KI-Resultate sowohl auf Code als auch auf zugehörigen Datensets. Und da sich der Kontext unserer Realität stetig verändert, verlieren auf statischen Daten basierende Modelle im Verlauf der Zeit immer mehr an Relevanz. Data Drift und starke Verluste bei der Modell-Performance sind die Folge. Eben die Performance eines Modells in der Produktion will also genau im Auge behalten werden, damit es weiterhin korrekte Ergebnisse liefern und eine überzeugende UX gewährleisten kann.

Die Möglichkeiten für Ihre Dev- und Data-Science-Teams mit New Relic ML Model Performance Monitoring:

  • Integration eigener ML-Daten oder Integration mit Data-Science-Plattformen sowie Monitoring für ML-Modelle und Abhängigkeiten im Zusammenhang mit anderen Anwendungskomponenten und Infrastruktur und somit raschere Problemlösung
  • Custom-Dashboards zur Abbildung relevanter Insights für präzisere ML-Modelle
  • Anwendung von Predictive Alerts für ML-Modelle aus New Relic Alerts und Applied Intelligence zur Erfassung ungewöhnlicher Änderungen und noch unklarer Faktoren, bevor sie sich auf Ihre Kund:innen auswirken können
  • Prüfung von Modell-Telemetriedaten auf wichtige Signale zur Performance-Sicherung
  • Konzertierte Zusammenarbeit in der Produktionsumgebung zu allen Kontextdetails für Alerts, Benachrichtigungen und Incidents, bevor aus ihnen handfeste Business-Probleme erwachsen können
  • Datengestützte Entscheidungsfindung zur Förderung von Innovation, Planung, Stabilität und UX
„Monitoring entwickelt sich rasch zu einem der zentralsten und strategischsten Driver im Bereich MLOps. Mit seiner Observability-Plattform für künstliche Intelligenz und maschinelles Lernen geht New Relic hier einen fantastischen Schritt.   Die Anwendungsbereiche für KI und ML werden immer spannender, immer komplexer. Umso mehr ist Observability dabei eine ganz entscheidende Komponente, denn nur so lassen sich wichtige Entscheidungen in der Produktion mit dem entsprechenden Datenfundament und informiert treffen. Als führendes Technologie-Konsortium hat die AI Infrastructure Alliance das Ziel, die wichtigsten Bausteine für aktuelle und noch in der Entstehung befindliche KI-Use-Cases zu einem großen Ganzen zu vereinen. New Relic ist für uns dabei ein starker Partner.

Nahtlose Wertschöpfung aus ML-Telemetrie

100 GB Datenvolumen pro Monat und direkt einsatzfertige Bibliotheken sorgen dafür, dass Sie Ihre eigenen Inferenz- und Performance-Daten problemlos in New Relic integrieren können. Dies ganz einfach direkt aus einem Jupyter-Notebook oder Cloud-Service, um so Metrics wie Statistikdaten und Feature- sowie Vorhersageverteilung nahtlos abzurufen. 

Dank dem flexiblen Open-Source-Ökosystem von New Relic und seinen Quickstarts lassen sich Ihre Modelle zudem schneller in Geschäftsvorteile ummünzen. Als Teil einer Vielzahl an Integrationen mit führenden Data-Science-Plattformen wie AWS SageMaker, DataRobot (Algorithmia), Aporia, Superwise, Comet, DAGsHub, Mona und TruEra sind außerdem vorkonfigurierte Performance-Dashboards und weitere Observability-Bausteine enthalten, die Ihnen direkt umfassende Visibility für Ihre Modelle verschaffen.

Unpassende ML-Empfehlungen oder -Vorhersagen können Unternehmen Millionen kosten. New Relic macht Performance-Monitoring für ML-Modelle und somit ROI-Quantifizierungen nahtlos möglich.

Performance-Monitoring für Ihre Modelle

Wir möchten Observability als feste Größe in jeder Phase des Software-Lebenszyklus verfügbar machen. Mit dem Launch unserer Monitoring-Technologien für ML-Modelle werden Performance-Daten einfach integrier- und im Kontext quantifizierbar. So erhalten KI- und ML- sowie DevOps-Teams völlig neue Einblicke in die Performance ihrer ML-basierten Anwendungen, komplett zentral.

Schon jetzt sind mehrere Integrationen für New Relic ML Model Performance Monitoring als Teil von New Relic Instant Observability verfügbar, weitere folgen in Kürze.

Wie Sie Ihre ML-Telemetriedaten Schritt für Schritt in New Relic One importieren, sehen Sie am Beispiel unserer Python-Bibliothek und unseres Notebooks für ein XGBoost-Modell.