New Relic, die All-in-One-Plattform für Observability für die gesamte Dev-Community, hat den Launch von New Relic AI Monitoring (AIM) bekanntgegeben, der branchenweit ersten APM-Lösung für KI-gestützte Anwendungen. New Relic leistet mit AIM Pionierarbeit in Sachen KI-Observability und liefert eine bisher unerreichte Transparenz und tiefe Einblicke in den gesamten KI-Anwendungsstack. Damit wird Entwickler:innen die Fehlerbehebung sowie die Optimierung ihrer KI-Anwendungen hinsichtlich Performance, Qualität, Kosten und verantwortungsvollem Einsatz von KI enorm erleichtert. Mit über 50 Integrationen und Features wie LMM Response Tracing und Model Comparison ebnet AIM den Weg für müheloses Entwickeln und Ausführen LLM-gestützter Anwendungen. 

KI-gestützte Anwendungen bringen für Unternehmen ganz eigene Herausforderungen mit sich. KI-Komponenten wie Large Language Models (LLMs; große Sprachmodelle) und Vektordatenbanken sind für Engineers oft ein Buch mit sieben Siegeln und können zu fehlerhaften oder einseitigen Ergebnissen führen. Das wiederum birgt Sicherheitsrisiken und es können Unmengen von Telemetriedaten generiert werden, die dann nachverfolgt und analysiert werden müssen. AIM bietet einen Ausweg aus diesem Dilemma und liefert End-to-End-Observability für alle KI-gestützten Anwendungen. Engineers können eine zentrale Ansicht zum Troubleshooting und Vergleichen verschiedener LLM-Eingabeaufforderungen und -Antworten sowie zu deren Optimierung hinsichtlich Performance, Kosten, Sicherheit und Qualitätsproblemen wie Halluzinationen, Bias, Toxizität und Fairness nutzen. AIM liefert Engineers komplette Transparenz aller Komponenten des KI-Stacks sowie der Services und Infrastruktur, sodass sie jederzeit alle nötigen Daten für einen verantwortungsvollen Einsatz von KI haben und zudem die Einhaltung neuer KI-Regularien nachweisen können.

„So gut wie alle Unternehmen sind momentan dabei, KI-Anwendungen in ihre Tech-Stacks zu integrieren, um ihren Kund:innen eine bessere UX zu bieten, effizienter zu agieren und letztendlich den Gewinn zu steigern. Allerdings hält mit der KI auch eine gewisse Komplexität Einzug in den Tech-Stack, und wir müssen verantwortungsbewusst mit ihr umgehen – besonders im Hinblick auf Qualität, Compliance und Kosteneffizienz“, so IDC Group Vice President Stephen Elliot. „Mit Observability für KI-Anwendungen lassen sich diese Dinge auf eine intelligente und effiziente Weise angehen und Unternehmen können ihre Innovationsbestrebungen ausweiten und vorantreiben. Anbieter solcher Lösungen sorgen letztendlich dafür, dass Unternehmen bessere Produkte für zufriedenere Kund:innen auf den Markt bringen können.“

„Dank der zunehmenden Integration von KI in Produkte und Abläufe sind KI-Workloads inzwischen ein fester Bestandteil der Anwendungsarchitektur in Unternehmen“, erklärte Manav Khurana, Chief Product Officer bei New Relic. „Wir haben das umfassende Know-how in AI Monitoring einfließen lassen, das wir im Rahmen der Entwicklung von Cloud-APM erlangt haben, und können damit jetzt echte End-to-End-Transparenz für KI-gestützte Anwendungen bieten. Und das hilft Unternehmen beim Management der Performance, der Kosten und des verantwortungsvollen Einsatzes von KI.“ 

Die wichtigsten Features und Use Cases:

• Auto-Instrumentierung: New Relic Agents beinhalten alle AIM-Toolsets (komplette KI-Stack-Transparenz, Response Tracing, Model Comparison und mehr), sodass die Instrumentierung mühelos in kürzester Zeit erledigt ist.

• Komplette KI-Stack-Transparenz: Umfassender Überblick über die Anwendung, die Infrastruktur und die KI-Ebene, einschließlich KI-Metriken wie Antwortqualität und Token sowie goldenen APM-Signalen.

• Umfassende Trace-Einblicke für jede LLM-Antwort: Durch Tracing des gesamten Lebenszyklus komplexer LLM-Antworten, die mit Tools wie LangChain erstellt wurden, lassen sich Performance-Probleme und Qualitätsbedenken hinsichtlich Bias, Toxizität und Halluzinationen ausräumen. 

• Performance- und Kostenvergleich: Nutzung, Performance, Qualität und Kosten aller Modelle lassen sich in einer zentralen Ansicht verfolgen, und mit hilfreichen Infos z. B. zu häufig verwendeten Eingabeaufforderungen, üblichen Gedankengängen, Vorlagen für Eingabeaufforderungen und Zwischenspeicherung können Sie die Verwendung optimieren.

• Ethischer Einsatz von KI:  Indem Sie sich anhand der Response Traces vergewissern, dass alle KI-Antworten entsprechend als KI-generiert gekennzeichnet sowie frei von Bias, Toxizität und Halluzinationen sind, können Sie einen sicheren und verantwortungsvollen Einsatz der KI sicherstellen.

• Echtzeit-Monitoring Ihrer KI-Umgebung:  Die umfassendste Lösung zum Monitoring des gesamten Stacks in beliebigen KI-Umgebungen – mit über 50 Integrationen und Quickstarts, z. B.:
  • Orchestrierungs-Framework: LangChain
  • LLM: OpenAI, PaLM2, HuggingFace
  • Machine-Learning-Bibliotheken: Pytorch, TensorFlow
  • Modellbereitstellung: Amazon SageMaker, AzureML
  • Vektordatenbanken: Pinecone, Weaviate, Milvus, FAISS
  • KI-Infrastruktur: Azure, AWS, GCP

„Wir konnten die Pinecone-Vektordatenbank und New Relic AI Monitoring nahtlos integrieren und sind so in der Lage, unseren Entwickler:innen die Transparenz und die nötigen Einblicke zu liefern, die sie brauchen, um noch bessere Such- und GenAI-Anwendungen zu schaffen“, so Edo Liberty, Gründer und CEO von Pinecone. „Wir sehen momentan eine enorme Nachfrage nach Vektordatenbanken, da in zahlreichen Unternehmen KI-Anwendungen entwickelt und bereitgestellt werden und Vektordatenbanken ein zentraler Bestandteil des KI-Stacks sind. Da Entwickler:innen jetzt im Rahmen ihrer KI-Observability auf relevante und rasche Antworten zählen können, sind sie in der Lage, bessere Such- und GenAI-Lösungen zu erarbeiten.

AIM steht jetzt New Relic Benutzer:innen weltweit im Early-Access-Programm zur Verfügung. Registrieren Sie sich hier für den Early Access, der im Rahmen des unkomplizierten, transparenten Verbrauchsmodells von New Relic abgerechnet wird. Weitere Informationen finden Sie hier:

• Webseite
• Blog 
• Pressemitteilung zur Integration von New Relic AI Monitoring und Amazon Bedrock