New Relic integriert seine Observability-Plattform mit NVIDIA NIM, um KI-Einführung und ROI zu beschleunigen
Integration von New Relic und NVIDIA-NIM-Inferenz-Microservices erleichtert die Bereitstellung hochleistungsfähiger und für NVIDIA-GPUs optimierter Modelle
New Relic AI Monitoring bietet detaillierte Stack-weite Einblicke in KI-Apps, die mit NVIDIA NIM entwickelt wurden
Die New Relic Plattform vereint Daten aus über 60 KI-Integrationen an zentraler Stelle und liefert umfassende Observability
SAN FRANCISCO – 24. Juni 2024 – New Relic, die All-in-One-Observability-Plattform für die gesamte Engineering-Community, hat die Veröffentlichung einer New Relic Integration für NVIDIA-NIM-Inferenz-Microservices bekannt gegeben, mit der die Komplexität und die Kosten für Entwicklung, Deployment und Monitoring von Anwendungen mit generativer KI gesenkt werden sollen. Ab sofort lässt sich New Relic AI Monitoring nutzen, um Stack-weit umfassende Einblicke in KI-Anwendungen zu erlangen, die mit NVIDIA NIM entwickelt wurden – und das mit einem vereinfachten Set-up und unter Wahrung der Datensicherheit. Diese Integration ergänzt die soliden Sicherheitsfunktionen und die Benutzerfreundlichkeit der selbstgehosteten NVIDIA-NIM-Modelle, die das Deployment von GenAI-Anwendungen beschleunigen. Dank der Zusammenarbeit von New Relic und NVIDIA NIM können Kund:innen künstliche Intelligenz jetzt schneller gewinnbringend einsetzen und in kürzerer Zeit einen ROI erzielen.
Observability: unverzichtbar für die Bereitstellung kosteneffektiver Hochleistungsmodelle
Unternehmen setzen zunehmend generative KI ein, um das digitale Nutzungserlebnis zu verbessern, die Produktivität zu steigern und den Umsatz anzukurbeln. Laut Gartner werden bereits 2026 über 80 % aller Unternehmen GenAI verwenden bzw. GenAI-Apps bereitstellen. Um sich im Markt zu behaupten, sind Unternehmen auf schnelles Deployment und beschleunigten ROI angewiesen, und Observability ist dabei ein wichtiger Faktor. Observability liefert einen umfassenden Live-Einblick in den KI-Anwendungsstack, und zwar in allen Services, in der gesamten Infrastruktur und der KI-Ebene – und erleichtert damit einen effizienten, zuverlässigen und kostengünstigen Betrieb.
„Im heutigen extrem umkämpften Markt können Unternehmen es sich nicht leisten, jahrelang darauf zu warten, dass sich der Einsatz von KI im ROI niederschlägt“, so Ashan Willy, CEO von New Relic. „Dank Observability ist das aber kein Problem mehr, denn damit ist eine umfassende Transparenz im gesamten KI-Stack gewährleistet. Als Vorreiter in der KI-Observability haben wir unser Angebot um Observability für KI-Apps erweitert, die mit NVIDIA NIM erstellt wurden. Unternehmen können so gleichzeitig von den Vorteilen der KI-Technologie von NVIDIA und von unserer Expertise bei Observability und APM profitieren und sich in Sachen KI einen echten Wettbewerbsvorteil sichern.“
„NVIDIA NIM unterstützt Unternehmen bei der Einführung generativer KI und hilft ihnen, Anwendungen schneller in der Produktion einzusetzen“, erklärt Amanda Saunders, Director of AI Software bei NVIDIA. „Und die New Relic Integration für NVIDIA NIM versetzt IT- und Entwicklungsteams in die Lage, ihre KI-Anwendungen durch Überwachung und gegebenenfalls sofortige Reaktion zu optimieren.“
New Relic ermöglicht schnelleren ROI für KI-Anwendungen auf Basis von NVIDIA NIM
KI-Anwendungen machen den Tech-Stack komplexer, erhöhen das Sicherheitsrisiko und können äußerst kostspielig sein. New Relic AI Monitoring liefert einen detaillierten Einblick in den KI-Stack und zu den wichtigsten Metriken für Throughput, Latenz und Kosten, immer unter Wahrung der Datensicherheit. Zusätzlich verfolgt es die Anfragenverläufe in den Services und Modellen, um die Vorgänge in KI-Apps aufzuzeigen. Nun wurde das umfassende Monitoring-Angebot von New Relic auf NVIDIA NIM erweitert, mit Unterstützung für eine breite Palette von KI-Modellen, darunter Databricks DBRX, Google Gemma, Meta Llama 3, Microsoft Phi-3, Mistral Large und Mixtral 8x22B sowie Snowflake Arctic. So können Unternehmen ruhigen Gewissens KI-Apps auf Basis von NVIDIA NIM bereitstellen, ihre Time-to-Market verkürzen und den ROI verbessern.
Die wichtigsten Features und Use Cases für AI Monitoring:
- Transparenz für den gesamten KI-Stack: Sie haben den kompletten Überblick über Apps, die Infrastruktur auf Basis von NVIDIA-GPUs, die KI-Ebene, die Antwortqualität, die Tokenanzahl und goldene APM-Signale und können Fehler daher schneller erkennen.
- Umfassende Einblicke in Traces für jede Antwort: Anhand von Traces für den gesamten Lebenszyklus der KI-Antworten können Sie Performance- und Qualitätsprobleme wie Bias, Toxizität und Halluzinationen leichter beheben.
- Modellinventar: Durch zentrale Nachverfolgung wichtiger Metriken in allen Inferenz-Microservices von NVIDIA NIM lassen sich modellspezifische Probleme hinsichtlich Performance, Fehlern und Kosten mühelos isolieren.
- Modellvergleich: In der zentralen Ansicht können Sie problemlos einen Leistungsvergleich der Inferenz-Microservices von NVIDIA NIM in der Produktion vornehmen und das je nach Infrastruktur und Benutzeranforderungen optimale Modell auswählen.
- Tiefgreifende Einblicke in die GPU: Sie können kritische Metriken zum beschleunigten Computing analysieren, beispielsweise GPU-Nutzung, -Temperatur und -Leistungsdaten. Zusätzlich sehen Sie den Kontext und sind in der Lage, Probleme schneller zu beheben.
- Erweiterte Datensicherheit: New Relic erweitert die bereits umfassende Sicherheit des selbstgehosteten NVIDIA-NIM-Modells durch die Möglichkeit, vertrauliche personenbezogene Daten in Ihren KI-Anfragen und -Antworten aus dem Monitoring auszuschließen.
New Relic erweitert Palette seiner über 60 KI-Integrationen durch Zusammenarbeit mit NVIDIA
Diese Integration ist der nächste logische Schritt nach der Aufnahme von New Relic in das AIOps-Partnernetzwerk von NVIDIA. New Relic nutzt das beschleunigte KI-Computing von NVIDIA und kombiniert Observability und KI zur Straffung von IT-Abläufen und Beschleunigung der Innovation – mithilfe des ML- und GenAI-Assistenten New Relic AI. New Relic bietet mit über 60 KI-Integrationen, unter anderem für NVIDIA-GPUs und die Inferenz-Serversoftware NVIDIA Triton, die umfassendste Observability-Lösung der Branche.
New Relic AI Monitoring ist als Teil der New Relic All-in-One-Plattform für Observability im Rahmen des nutzungsbasierten Preismodells erhältlich. Wenden Sie sich zum Einstieg am besten an Ihren New Relic Account-Manager oder richten Sie ein kostenloses Konto ein.
Weitere Informationen finden Sie hier:
Über New Relic
Als führender Anbieter von Observability-Technologien unterstützt New Relic die globale Engineering-Community mit einer datenfundierten Methodik für das gesamte Software Lifecycle – von der Konzept-Phase bis zur operativen Umsetzung. In New Relic One erhalten Entwickler:innen die einzige Plattform zur Erfassung sämtlicher Telemetriedaten: Metrics, Events, Logs und Traces. Im Verbund mit umfassenden Analyse-Tools für den gesamten Stack leitet sie New Relic One in kürzester Zeit von einer grundlegenden Situationsanalyse zur genauen Problemursache. Mit dem branchenweit ersten klar planbaren verbrauchsbasierten Kostenmodell setzt New Relic auf absolute Transparenz in jeder Hinsicht und liefert der Engineering-Community so diverse Vorteile, von optimierter Cycle-Planung bis hin zu besseren Ergebnissen bei der Rate änderungsbedingter Ausfälle, der Release-Frequenzen und Lösungszeiten. Global führende Marken wie adidas Runtastic, das Amerikanische Rote Kreuz, Australia Post, Banco Inter, Chegg, Chegg, GoTo Group, Ryanair, Sainsbury’s, Signify Health, TopGolf und World Fuel Services (WFS) optimieren so ihre Uptime und Stabilität kontinuierlich und steigern über ihr Kundenerlebnis direkt ihr eigenes Innovationspotenzial und Wachstum.www.newrelic.com