New Relic AI Monitoring bietet detaillierte Stack-weite Einblicke in KI-Apps, die mit NVIDIA NIM entwickelt wurden

Die New Relic Plattform vereint Daten aus über 60 KI-Integrationen an zentraler Stelle und liefert umfassende Observability

SAN FRANCISCO – 24. Juni 2024 – New Relic, die All-in-One-Observability-Plattform für die gesamte Engineering-Community, hat die Veröffentlichung einer New Relic Integration für NVIDIA-NIM-Inferenz-Microservices bekannt gegeben, mit der die Komplexität und die Kosten für Entwicklung, Deployment und Monitoring von Anwendungen mit generativer KI gesenkt werden sollen. Ab sofort lässt sich New Relic AI Monitoring nutzen, um Stack-weit umfassende Einblicke in KI-Anwendungen zu erlangen, die mit NVIDIA NIM entwickelt wurden – und das mit einem vereinfachten Set-up und unter Wahrung der Datensicherheit. Diese Integration ergänzt die soliden Sicherheitsfunktionen und die Benutzerfreundlichkeit der selbstgehosteten NVIDIA-NIM-Modelle, die das Deployment von GenAI-Anwendungen beschleunigen. Dank der Zusammenarbeit von New Relic und NVIDIA NIM können Kund:innen künstliche Intelligenz jetzt schneller gewinnbringend einsetzen und in kürzerer Zeit einen ROI erzielen.

Observability: unverzichtbar für die Bereitstellung kosteneffektiver Hochleistungsmodelle

Unternehmen setzen zunehmend generative KI ein, um das digitale Nutzungserlebnis zu verbessern, die Produktivität zu steigern und den Umsatz anzukurbeln. Laut Gartner werden bereits 2026 über 80 % aller Unternehmen GenAI verwenden bzw. GenAI-Apps bereitstellen. Um sich im Markt zu behaupten, sind Unternehmen auf schnelles Deployment und beschleunigten ROI angewiesen, und Observability ist dabei ein wichtiger Faktor. Observability liefert einen umfassenden Live-Einblick in den KI-Anwendungsstack, und zwar in allen Services, in der gesamten Infrastruktur und der KI-Ebene – und erleichtert damit einen effizienten, zuverlässigen und kostengünstigen Betrieb.

„Im heutigen extrem umkämpften Markt können Unternehmen es sich nicht leisten, jahrelang darauf zu warten, dass sich der Einsatz von KI im ROI niederschlägt“, so Ashan Willy, CEO von New Relic. „Dank Observability ist das aber kein Problem mehr, denn damit ist eine umfassende Transparenz im gesamten KI-Stack gewährleistet. Als Vorreiter in der KI-Observability haben wir unser Angebot um Observability für KI-Apps erweitert, die mit NVIDIA NIM erstellt wurden. Unternehmen können so gleichzeitig von den Vorteilen der KI-Technologie von NVIDIA und von unserer Expertise bei Observability und APM profitieren und sich in Sachen KI einen echten Wettbewerbsvorteil sichern.“

„NVIDIA NIM unterstützt Unternehmen bei der Einführung generativer KI und hilft ihnen, Anwendungen schneller in der Produktion einzusetzen“, erklärt Amanda Saunders, Director of AI Software bei NVIDIA. „Und die New Relic Integration für NVIDIA NIM versetzt IT- und Entwicklungsteams in die Lage, ihre KI-Anwendungen durch Überwachung und gegebenenfalls sofortige Reaktion zu optimieren.“

New Relic ermöglicht schnelleren ROI für KI-Anwendungen auf Basis von NVIDIA NIM

KI-Anwendungen machen den Tech-Stack komplexer, erhöhen das Sicherheitsrisiko und können äußerst kostspielig sein. New Relic AI Monitoring liefert einen detaillierten Einblick in den KI-Stack und zu den wichtigsten Metriken für Throughput, Latenz und Kosten, immer unter Wahrung der Datensicherheit. Zusätzlich verfolgt es die Anfragenverläufe in den Services und Modellen, um die Vorgänge in KI-Apps aufzuzeigen. Nun wurde das umfassende Monitoring-Angebot von New Relic auf NVIDIA NIM erweitert, mit Unterstützung für eine breite Palette von KI-Modellen, darunter Databricks DBRX, Google Gemma, Meta Llama 3, Microsoft Phi-3, Mistral Large und Mixtral 8x22B sowie Snowflake Arctic. So können Unternehmen ruhigen Gewissens KI-Apps auf Basis von NVIDIA NIM bereitstellen, ihre Time-to-Market verkürzen und den ROI verbessern.

Die wichtigsten Features und Use Cases für AI Monitoring:

• Transparenz für den gesamten KI-Stack: Sie haben den kompletten Überblick über Apps, die Infrastruktur auf Basis von NVIDIA-GPUs, die KI-Ebene, die Antwortqualität, die Tokenanzahl und goldene APM-Signale und können Fehler daher schneller erkennen.
• Umfassende Einblicke in Traces für jede Antwort: Anhand von Traces für den gesamten Lebenszyklus der KI-Antworten können Sie Performance- und Qualitätsprobleme wie Bias, Toxizität und Halluzinationen leichter beheben.
• Modellinventar: Durch zentrale Nachverfolgung wichtiger Metriken in allen Inferenz-Microservices von NVIDIA NIM lassen sich modellspezifische Probleme hinsichtlich Performance, Fehlern und Kosten mühelos isolieren.
• Modellvergleich: In der zentralen Ansicht können Sie problemlos einen Leistungsvergleich der Inferenz-Microservices von NVIDIA NIM in der Produktion vornehmen und das je nach Infrastruktur und Benutzeranforderungen optimale Modell auswählen.
• Tiefgreifende Einblicke in die GPU: Sie können kritische Metriken zum beschleunigten Computing analysieren, beispielsweise GPU-Nutzung, -Temperatur und -Leistungsdaten. Zusätzlich sehen Sie den Kontext und sind in der Lage, Probleme schneller zu beheben.
• Erweiterte Datensicherheit: New Relic erweitert die bereits umfassende Sicherheit des selbstgehosteten NVIDIA-NIM-Modells durch die Möglichkeit, vertrauliche personenbezogene Daten in Ihren KI-Anfragen und -Antworten aus dem Monitoring auszuschließen.

New Relic erweitert Palette seiner über 60 KI-Integrationen durch Zusammenarbeit mit NVIDIA

Diese Integration ist der nächste logische Schritt nach der Aufnahme von New Relic in das AIOps-Partnernetzwerk von NVIDIA. New Relic nutzt das beschleunigte KI-Computing von NVIDIA und kombiniert Observability und KI zur Straffung von IT-Abläufen und Beschleunigung der Innovation – mithilfe des ML- und GenAI-Assistenten New Relic AI. New Relic bietet mit über 60 KI-Integrationen, unter anderem für NVIDIA-GPUs und die Inferenz-Serversoftware NVIDIA Triton, die umfassendste Observability-Lösung der Branche.

New Relic AI Monitoring ist als Teil der New Relic All-in-One-Plattform für Observability im Rahmen des nutzungsbasierten Preismodells erhältlich. Wenden Sie sich zum Einstieg am besten an Ihren New Relic Account-Manager oder richten Sie ein kostenloses Konto ein.

Weitere Informationen finden Sie hier:

• Blogpost und Video von New Relic
• Blogpost von NVIDIA
• Pressemitteilung zur allgemeinen Verfügbarkeit (GA) von New Relic AI Monitoring
• Webseite zu New Relic AI Monitoring
• New Relic AI Webseite