Vorhang auf für New Relic AI Monitoring, die branchenweit erste APM-Lösung für KI

KI stellt für moderne Anwendungen eine Riesenchance dar, allerdings ergeben sich damit auch ganz neue Herausforderungen für die Engineers, die KI-gestützte Anwendungen entwickeln und pflegen. Im Gegensatz zu herkömmlichen Anwendungen benötigen KI-Anwendungen einen neuen Tech-Stack mit speziellen Komponenten wie Large Language Models (LLMs) und Vektordatenspeichern. Zudem generieren sie zusätzliche Telemetriedaten etwa zu Qualität und Kosten, deren Prüfung zur Gewährleistung der Sicherheit und Zuverlässigkeit der KI-Anwendungen notwendig ist. Damit KI auch künftig sinnvoll eingesetzt werden kann, müssen diese Herausforderungen überwunden und KI-Anwendungen optimiert werden. Dies ist besonders angesichts neuer Gesetzgebung wichtig, mit der Regierungen wie die US-amerikanische eine sichere, zuverlässige und ethische Entwicklung und Bereitstellung von KI-Systemen sicherstellen möchten.

Heute geben wir den Launch von New Relic AI Monitoring (AIM) bekannt – der branchenweit ersten APM-Lösung, die End-to-End-Transparenz für alle KI-gestützten Anwendungen bietet. AIM ist jetzt im Early Access verfügbar und liefert Engineers eine noch nie dagewesene Transparenz über den gesamten KI-Stack, damit sie sichere, zuverlässige und ethische KI-Anwendungen entwickeln und betreiben können – ohne Bedenken.

Bevor wir uns aber mit den technischen Details von AIM befassen, sollten wir uns zunächst ansehen, warum AI Monitoring so wichtig ist und welche Stack-Komponenten überwacht werden müssen, damit Ihre KI-Anwendungen einwandfrei funktionieren

Warum ist das Monitoring von KI-Anwendungen wichtig?

KI-Anwendungen müssen aus folgenden Gründen überwacht werden:

• Qualität und Genauigkeit: Monitoring komplexer KI-Modelle auf Bias, Toxizität und Halluzinationen verhilft zu fairen und zuverlässigen Resultaten.
• Performance-Optimierung: Durch Ermitteln und Beheben von Computing-Bottlenecks sorgen Sie für responsive und effiziente KI-Anwendungen.
• Kostenmanagement: Die Tokenverarbeitung lässt sich nachverfolgen, sodass Sie stets über die Kosten der KI-Modelle im Bilde sind und keine Budgetrahmen sprengen.
• Verantwortungsbewusster Einsatz: Stellen Sie sicher, dass KI-Antworten frei von Bias oder Toxizität sind, die zur Gefahr werden können.
• Sicherheit: Durch das Monitoring der KI-Anwendungen können Sie bei eventuellen Schwachstellen sofort aktiv werden und die Anwendungen vor möglichen Angriffen schützen.

New Relic AIM bringt Observability in die KI-Welt und liefert Engineers die nötigen Einblicke zum Debugging, Monitoring und Optimieren ihrer KI-Anwendungen, damit diese wie vorgesehen funktionieren, genauer Ergebnisse liefern und die neuesten Standards für den verantwortungsvollen Einsatz von KI erfüllen.

Decodieren des KI-Stacks

KI-Stacks sind komplexe Sammlungen von Tools und Technologien zur Entwicklung und Bereitstellung von KI-Anwendungen. Wie bereits erwähnt, bringen KI-Stacks nicht nur eine Reihe neuer Telemetriedaten mit sich, sie benötigen auch oft mehr Daten, mehr Rechenleistung und mehr Tools und Technologien als herkömmliche Tech-Stacks. 

In der Regel besteht der KI-Stack aus folgenden Komponenten:

• Infrastruktur-Ebene: Bildet die Grundlage für KI-Entwicklung und -Bereitstellung, mit leistungsstarken GPUs und CPUs zum Training und Deployment der KI-Modelle sowie skalierbaren Cloud-Computing-Plattformen wie AWS, Azure und Google Cloud Platform (GCP) zum Bereitstellen der KI-Anwendungen.
• Datenspeicherung/Vektordatenspeicher: Durch KI-Anwendungen werden große Datenvolumen gespeichert und aufgerufen. Vektordatenbanken sind speziell zur Speicherung und Abfrage hochdimensionaler Daten konzipiert, wie sie oft in KI-Anwendungen verwendet werden. 
• Modellebene: Enthält die KI-Modelle, die für Vorhersagen oder zur Outputgenerierung verwendet werden. Gängige KI-Modelle zum Generieren von Content sind beispielsweise GPT-4, Anthropic, Cohere, LLama 2 und Amazon Bedrock.
• Orchestrierungs-Framework: Mit Orchestrierungs-Frameworks wie LangChain lassen sich verschiedene Elemente einer KI-Anwendung aneinanderketten, z. B. Datenverarbeitung, Modellaufruf und Nachbearbeitung. 
• Anwendungsebene: Umfasst die Verbraucheranwendungen, die mit den KI-Modellen interagieren.

New Relic AIM: APM für KI 

New Relic AIM bringt Observability in den gesamten Stack. Genau wie Engineers New Relic APM zum Monitoring ihres herkömmlichen Anwendungs-Stacks nutzen, können sie mit AIM alle Komponenten ihres KI-Stacks im Blick behalten und mühelos alle KI-Anwendungen hinsichtlich Performance, Qualität, Kosten und Compliance überwachen, debuggen und optimieren. 

Einfache und schnelle Einrichtung

Mit den New Relic Agents lässt sich AIM schnell und einfach einrichten, ohne jegliche zusätzliche Instrumentierung. Sie unterstützen standardmäßig die bekanntesten Modelle wie OpenAI und AWS Bedrock sowie Orchestrierungs-Frameworks wie LangChain. So erhalten Sie echte End-to-End-Visibility und umfassende Trace-Einblicke in Ihren gesamten KI-Stack und können die Performance einzelner Komponenten analysieren, den Datenfluss nachverfolgen und potenzielle Bottlenecks in den KI-Anwendungen punktgenau lokalisieren.

Schnelleres Debugging dank kompletter Visibility für den gesamten KI-Stack

New Relic AIM lässt sich nahtlos in New Relic APM 360 integrieren und liefert so eine komplette Einsicht in Ihren gesamten KI-Stack: von der Service-Ebene über die Infrastruktur bis hin zu den KI-Modellen. Ab sofort können Sie die Performance Ihrer KI-Anwendungen mit Upstream- und Downstream-Trends korrelieren, um in Echtzeit nachzuvollziehen, wie sich Fehler auf andere Bereiche der App auswirken. Das bereitet dem Ratespiel ein Ende und macht die Fehlerbehebung für alle Engineers intuitiv und effizient. 

Der nachstehende Screenshot zeigt die Übersichtsseite für New Relic APM 360 mit der integrierten AIM-Ansicht. Diese zentrale Ansicht liefert Ihnen rasche Einblicke in die wichtigsten Metriken der KI-Ebene, z. B. die Gesamtanzahl der Anfragen, durchschnittliche Reaktionszeit, Tokennutzung, Benutzerfeedback und Antwortfehlerquoten zusammen mit goldenen APM-Signalen, Einblicken in die Infrastruktur und Logs. Angenommen, Ihnen fällt nun in der Übersicht für New Relic APM 360 ein rascher Anstieg an Anwendungsfehlern und gleichzeitig auch falschen KI-Antworten auf. Sie können das Problem rasch in der KI-Ebene isolieren und in der Ansicht der KI-Antworten einen Drill-down direkt bis zur eigentlichen Fehlerursache durchführen.

Optimierung von Performance, Qualität und Kosten von KI-Anwendungen dank umfassender Einblicke 

New Relic AIM liefert detaillierte Traces für jede Antwort. Diese verschaffen Ihnen die nötige Transparenz, damit Sie verstehen, wie Ihre KI-Anwendungen arbeiten, und die richtigen Entscheidungen hinsichtlich Performance, Qualitätsproblemen wie Bias, Toxizität und Halluzinationen sowie Kostenmanagement treffen können. Mit der New Relic AIM UI für KI-Antworten können Sie …

• Ausreißer und Trends erkennen: AIM bietet eine konsolidierte Ansicht aller KI-Antworten. Ausreißer und Trends in den Antworten lassen sich damit leicht erkennen.

• Den gesamten Lifecycle jeder einzelnen Antwort nachverfolgen: New Relic AIM zeigt Ihnen den gesamten Lifecycle einer KI-Antwort, angefangen bei der Eingabeaufforderung über alle Stufen in den Anwendungskomponenten hinweg, und zwar als leicht verständliches Wasserfalldiagramm, wie im nachstehenden Screenshot zu sehen ist.

Zusätzlich können Sie sich für jede Antwort alle Details anzeigen lassen, ob Eingabeaufforderung, negatives Feedback oder Metadaten, damit Sie eventuelle Performance- oder Qualitätsprobleme sofort erkennen und beheben können.

Performance- und Kostenvergleich verschiedener Modelle

Ein wichtiger Faktor beim AI Monitoring ist der Modellvergleich. Damit können Sie das für Ihre Anforderungen am besten geeignete Modell ermitteln, die Performance im Zeitverlauf nachverfolgen und Kosten optimieren. New Relic AIM bietet eine zentrale, intuitive Ansicht zum Debuggen, Vergleichen und Optimieren verschiedener LLM-Eingabeaufforderungen und -Antworten anhand Kriterien wie Performance, Kosten und Qualitätsprobleme (z. B. Halluzinationen, Bias oder Toxizität) über alle Modelle hinweg. 

Die Optimierung der KI-Anwendungskosten ist ein wichtiger Einsatzbereich des Modellvergleichs durch AIM. Indem Sie die Tokennutzung verschiedener KI-Modelle nachverfolgen, sehen Sie, welche im Betrieb am teuersten sind, und können Ihre KI-Anwendungsarchitektur durch Einsatz kostengünstigerer Modelle optimieren.

Sofortiges Monitoring für diverse KI-Umgebungen dank unzähliger Integrationen

New Relic AIM bietet über 50 Integrationen für das KI-Ökosystem. Dazu gehören beliebte LLMs, Machine-Learning(ML)-Bibliotheken, Vektordatenbanken sowie Frameworks, die bisher nicht von New Relic Agents unterstützt werden. Diese Integrationen umfassen vorkonfigurierte Dashboards, Alerts und andere Observability-Bausteine, mit denen Sie sich sofort Einblicke in die Performance und Health Ihrer KI-Anwendungen verschaffen können.

New Relic: Wegbereiter beim AI Monitoring

Mit der Bekanntgabe von AIM leistet New Relic Pionierarbeit in Sachen Observability. AIM bietet komplette Transparenz, nahtlose Integration und umfassende Einblicke in den gesamten KI-Stack. Dank der Integration in New Relic APM 360 können Sie mühelos eventuelle Performance-, Kosten- oder Qualitätsprobleme ermitteln, die Ihre KI-Anwendungen betreffen. AIM erleichtert Unternehmen den Einstieg in die KI-Observability. So können Unternehmen KI unbesorgt in ihren Anwendungen einsetzen und das Vertrauen von Kund:innen und Partner:innen stärken. Zusatzbonus: Neuen Regularien sind sie damit angesichts der rasanten Entwicklung künstlicher Intelligenz ebenfalls stets einen Schritt voraus.