New Relic erweitert heute seine Monitoring-Technologien als Lösungskonzept für künstliche Intelligenz und maschinelles Lernen. Eliminiert werden so auch Informationssilos für KI-, ML- und DevOps-Teams, die nun gemeinsam zentral Zugriff auf wichtige Signale rund um Recall, Precision und Accuracy erhalten.
Time-to-Value für Ihr maschinelles Lernen und Ihre KI in Minuten: In diesem Video sehen Sie, wie Sie Performance-Monitoring für ML-Modelle in New Relic aufsetzen.
Ihre ML-Modelldaten in New Relic One
Durch Integration der Telemetriedaten für Ihre Modell-Performance in New Relic One messen Engineering-Teams im Bereich KI und ML pro-aktiv potenzielle Probleme in der Produktion. Unterstützt werden sie dabei durch Integrationen mit führenden MLOps-Plattformen. Ihre Data-Teams erhalten in diesem Zuge lückenlose Transparenz mit Custom-Dashboards und -Visualisierungen für die Performance Ihrer ML-Investitionen.
Umfassende Visibility für ML-Anwendungen
Im Gegensatz zu klassischer Software basieren ML-Modelle und ihre KI-Resultate sowohl auf Code als auch auf zugehörigen Datensets. Und da sich der Kontext unserer Realität stetig verändert, verlieren auf statischen Daten basierende Modelle im Verlauf der Zeit immer mehr an Relevanz. Data Drift und starke Verluste bei der Modell-Performance sind die Folge. Eben die Performance eines Modells in der Produktion will also genau im Auge behalten werden, damit es weiterhin korrekte Ergebnisse liefern und eine überzeugende UX gewährleisten kann.
Die Möglichkeiten für Ihre Dev- und Data-Science-Teams mit New Relic ML Model Performance Monitoring:
- Integration eigener ML-Daten oder Integration mit Data-Science-Plattformen sowie Monitoring für ML-Modelle und Abhängigkeiten im Zusammenhang mit anderen Anwendungskomponenten und Infrastruktur und somit raschere Problemlösung
- Custom-Dashboards zur Abbildung relevanter Insights für präzisere ML-Modelle
- Anwendung von Predictive Alerts für ML-Modelle aus New Relic Alerts und Applied Intelligence zur Erfassung ungewöhnlicher Änderungen und noch unklarer Faktoren, bevor sie sich auf Ihre Kund:innen auswirken können
- Prüfung von Modell-Telemetriedaten auf wichtige Signale zur Performance-Sicherung
- Konzertierte Zusammenarbeit in der Produktionsumgebung zu allen Kontextdetails für Alerts, Benachrichtigungen und Incidents, bevor aus ihnen handfeste Business-Probleme erwachsen können
- Datengestützte Entscheidungsfindung zur Förderung von Innovation, Planung, Stabilität und UX
Ihre ML-Modelldaten in New Relic One
Durch Integration der Telemetriedaten für Ihre Modell-Performance in New Relic One messen Engineering-Teams im Bereich KI und ML pro-aktiv potenzielle Probleme in der Produktion. Unterstützt werden sie dabei durch Integrationen mit führenden MLOps-Plattformen. Ihre Data-Teams erhalten in diesem Zuge lückenlose Transparenz mit Custom-Dashboards und -Visualisierungen für die Performance Ihrer ML-Investitionen.
Umfassende Visibility für ML-Anwendungen
Im Gegensatz zu klassischer Software basieren ML-Modelle und ihre KI-Resultate sowohl auf Code als auch auf zugehörigen Datensets. Und da sich der Kontext unserer Realität stetig verändert, verlieren auf statischen Daten basierende Modelle im Verlauf der Zeit immer mehr an Relevanz. Data Drift und starke Verluste bei der Modell-Performance sind die Folge. Eben die Performance eines Modells in der Produktion will also genau im Auge behalten werden, damit es weiterhin korrekte Ergebnisse liefern und eine überzeugende UX gewährleisten kann.
Die Möglichkeiten für Ihre Dev- und Data-Science-Teams mit New Relic ML Model Performance Monitoring:
- Integration eigener ML-Daten oder Integration mit Data-Science-Plattformen sowie Monitoring für ML-Modelle und Abhängigkeiten im Zusammenhang mit anderen Anwendungskomponenten und Infrastruktur und somit raschere Problemlösung
- Custom-Dashboards zur Abbildung relevanter Insights für präzisere ML-Modelle
- Anwendung von Predictive Alerts für ML-Modelle aus New Relic Alerts und Applied Intelligence zur Erfassung ungewöhnlicher Änderungen und noch unklarer Faktoren, bevor sie sich auf Ihre Kund:innen auswirken können
- Prüfung von Modell-Telemetriedaten auf wichtige Signale zur Performance-Sicherung
- Konzertierte Zusammenarbeit in der Produktionsumgebung zu allen Kontextdetails für Alerts, Benachrichtigungen und Incidents, bevor aus ihnen handfeste Business-Probleme erwachsen können
- Datengestützte Entscheidungsfindung zur Förderung von Innovation, Planung, Stabilität und UX
„Monitoring entwickelt sich rasch zu einem der zentralsten und strategischsten Driver im Bereich MLOps. Mit seiner Observability-Plattform für künstliche Intelligenz und maschinelles Lernen geht New Relic hier einen fantastischen Schritt.
Die Anwendungsbereiche für KI und ML werden immer spannender, immer komplexer. Umso mehr ist Observability dabei eine ganz entscheidende Komponente, denn nur so lassen sich wichtige Entscheidungen in der Produktion mit dem entsprechenden Datenfundament und informiert treffen. Als führendes Technologie-Konsortium hat die AI Infrastructure Alliance das Ziel, die wichtigsten Bausteine für aktuelle und noch in der Entstehung befindliche KI-Use-Cases zu einem großen Ganzen zu vereinen. New Relic ist für uns dabei ein starker Partner.
Nahtlose Wertschöpfung aus ML-Telemetrie
100 GB Datenvolumen pro Monat und direkt einsatzfertige Bibliotheken sorgen dafür, dass Sie Ihre eigenen Inferenz- und Performance-Daten problemlos in New Relic integrieren können. Dies ganz einfach direkt aus einem Jupyter-Notebook oder Cloud-Service, um so Metrics wie Statistikdaten und Feature- sowie Vorhersageverteilung nahtlos abzurufen.
Dank dem flexiblen Open-Source-Ökosystem von New Relic und seinen Quickstarts lassen sich Ihre Modelle zudem schneller in Geschäftsvorteile ummünzen. Als Teil einer Vielzahl an Integrationen mit führenden Data-Science-Plattformen wie AWS SageMaker, DataRobot (Algorithmia), Aporia, Superwise, Comet, DAGsHub, Mona und TruEra sind außerdem vorkonfigurierte Performance-Dashboards und weitere Observability-Bausteine enthalten, die Ihnen direkt umfassende Visibility für Ihre Modelle verschaffen.
Unpassende ML-Empfehlungen oder -Vorhersagen können Unternehmen Millionen kosten. New Relic macht Performance-Monitoring für ML-Modelle und somit ROI-Quantifizierungen nahtlos möglich.
Performance-Monitoring für Ihre Modelle
Wir möchten Observability als feste Größe in jeder Phase des Software-Lebenszyklus verfügbar machen. Mit dem Launch unserer Monitoring-Technologien für ML-Modelle werden Performance-Daten einfach integrier- und im Kontext quantifizierbar. So erhalten KI- und ML- sowie DevOps-Teams völlig neue Einblicke in die Performance ihrer ML-basierten Anwendungen, komplett zentral.
Schon jetzt sind mehrere Integrationen für New Relic ML Model Performance Monitoring als Teil von New Relic Instant Observability verfügbar, weitere folgen in Kürze.
Wie Sie Ihre ML-Telemetriedaten Schritt für Schritt in New Relic One importieren, sehen Sie am Beispiel unserer Python-Bibliothek und unseres Notebooks für ein XGBoost-Modell.
Nächste Schritte
Weitere Informationen zur Einrichtung von Performance-Monitoring für Ihre ML-Modelle und zur Integration in Ihre Observability-Infrastruktur finden Sie in unseren MLOps Docs.
Und falls Sie noch kein bestehender New Relic Nutzer sind, sich aber für einige der hier beschriebenen Möglichkeiten interessieren, können Sie New Relic One direkt über ein dauerhaft kostenfreies Konto kennenlernen.
Die in diesem Blog geäußerten Ansichten sind die des Autors und spiegeln nicht unbedingt die Ansichten von New Relic wider. Alle vom Autor angebotenen Lösungen sind umgebungsspezifisch und nicht Teil der kommerziellen Lösungen oder des Supports von New Relic. Bitte besuchen Sie uns exklusiv im Explorers Hub (discuss.newrelic.com) für Fragen und Unterstützung zu diesem Blogbeitrag. Dieser Blog kann Links zu Inhalten auf Websites Dritter enthalten. Durch die Bereitstellung solcher Links übernimmt, garantiert, genehmigt oder billigt New Relic die auf diesen Websites verfügbaren Informationen, Ansichten oder Produkte nicht.
Dieser Blog enthält zukunftsgerichtete Aussagen, wie sie nach den US-Bundeswertpapiergesetzen definiert sind. Hierzu gehören unter anderem Aussagen zur Zukunft von KI und ML sowie damit verbundenen Observability-Anforderungen. Die Erreichung oder der Erfolg der durch solche zukunftsgerichteten Aussagen abgedeckten Sachverhalte basiert auf den gegenwärtigen Annahmen, Erwartungen und Einschätzungen von New Relic und unterliegt erheblichen Risiken, Unwägbarkeiten, Annahmen sowie möglichen Änderungen der Umstände. Dies kann dazu führen, dass die tatsächlichen Ergebnisse, Leistungen oder Möglichkeiten von New Relic wesentlich von denen abweichen, die in einer zukunftsgerichteten Erklärung ausdrücklich oder implizit zum Ausdruck gebracht werden. Weitere Informationen zu den Faktoren, die sich auf die finanziellen und anderweitigen Ergebnisse von New Relic und die zukunftsgerichteten Aussagen in diesem Beitrag auswirken können, sind in den Unterlagen zu finden, die New Relic in bestimmten Abständen bei der US-Börsenaufsichtsbehörde SEC (Securities and Exchange Commission) einreicht. Hierzu gehört unter anderem die aktuellste Version des Formulars 10-K, dabei insbesondere die Inhalte mit den Überschriften „Risk Factors“ und „Management’s Discussion and Analysis of Financial Condition and Results of Operations“. Exemplare dieser Dokumente können auf der Investor Relations Website von New Relic unter http://ir.newrelic.com sowie auf der Website der SEC unter www.sec.gov eingesehen werden. Sofern gesetzlich nicht anders vorgeschrieben übernimmt New Relic keine Verpflichtung und beabsichtigt nicht, diese zukunftsgerichteten Aussagen zu aktualisieren.
