Wie generative KI (GenAI) die Observability-Branche aufrüttelt

Soweit ich mich erinnere, gab es in den letzten 40 Jahren drei wirklich durchschlagende technische Innovationen: das World Wide Web in den frühen 90er-Jahren, das von Steve Jobs vorgestellte erste iPhone im Jahr 2007 und seit Ende 2022 ChatGPT, die am schnellsten wachsende App aller Zeiten.

Allen drei Technologien gemeinsam ist ihr unbegrenztes Fraktalpotenzial. Anders gesagt: Je genauer man sie sich ansieht und überlegt, wie sie in verschiedenen Branchen, Unternehmen und Use Cases zur Anwendung kommen könnten, desto mehr Ideen sprudeln hervor (und scheinen kein Ende zu nehmen). Unbegrenzte Innovationsmöglichkeiten bringen enorme Wertschöpfungschancen mit sich: So wurden in den vergangenen Jahrzehnten seit der Einführung von Internet und iPhone mehrere Billionen Dollar an Shareholder-Value generiert.

Innovationen ziehen weitere Innovationen nach sich und es kommt zu einem autodynamisch beschleunigten Innovationszyklus. Bestes Beispiel ist die Verbreitungsgeschwindigkeit dieser drei Technologien: Das World Wide Web hatte erst nach sieben Jahren 100 Millionen Benutzer:innen, der iPhone App Store bereits nach gut zwei Jahren – und bei ChatGPT hat es nur wenige Monate gedauert, bis es so weit war.

Als das Internet und das erste iPhone aufkamen, sahen sich Unternehmen gezwungen, den Dialog mit ihren Kund:innen zu überdenken. Sie investierten in Websites und mobile Apps und mussten auch ihre Geschäftsprozesse entsprechend neu konzipieren, was wiederum Anbieter wie New Relic auf den Plan brachte: Denn wir helfen Unternehmen, bessere Anwendungen zu entwickeln. Wie seinerzeit das Internet und das iPhone ist es nun das Potenzial der KI-Technologien, das Unternehmen zum Handeln und zum Entwickeln einer KI-Strategie zwingt. Und wieder sind es die Angebote von New Relic, die dabei helfen können.

Was ist KI-Observability?

KI-Observability bezeichnet die Möglichkeit zum Monitoring, Messen und Analysieren von Verhalten und Performance von KI-Systemen in Echtzeit. Es ist ein Konzept, das angesichts der zunehmenden Komplexität und Integration von KI-Systemen in diverse Anwendungen und Branchen an Bedeutung gewonnen hat. 
Mit KI können riesige Datenmengen analysiert werden – das hat tiefgreifende Auswirkungen aufs Monitoring. KI im Monitoring kann zur präziseren Erkennung von Anomalien und Verhaltensweisen eingesetzt werden, die auf mögliche Threats hinweisen. Zudem lassen sich damit prädiktive Einblicke auf Basis historischer Daten gewinnen und Routineaufgaben automatisieren, damit Teams mehr Zeit für anspruchsvollere Tätigkeiten haben. 

Monitoring ist ein Teilgebiet von Observability und umgekehrt ist es das Ziel von KI in Observability, Einblicke in das Innenleben von KI-Modellen zu liefern und Entwickler:innen, Data Scientists und Anwender:innen die Erkennung und Behebung von Problemen, die Optimierung der Performance und die Gewährleistung zuverlässiger KI-Systeme zu erleichtern.

In welchem Kontext ist KI-Observability relevant?

KI-Observability ist aus mehreren Gründen von entscheidender Bedeutung, zumal KI-Systeme inzwischen fester Bestandteil verschiedener Anwendungen und Branchen sind:

Performance-Monitoring und -Optimierung

KI-Observability ermöglicht kontinuierliches Monitoring wichtiger Performance-Metriken wie Genauigkeit, Latenz und Ressourcennutzung. Unternehmen, die wissen, wie KI-Modelle im wirklichen Leben funktionieren, können effizienter operieren und bessere Nutzungserlebnisse schaffen.

Problemerkennung und -behebung

Echtzeit-Monitoring und -Logging ermöglichen eine schnelle Erkennung von Problemen oder Anomalien innerhalb von KI-Systemen. Mit detaillierten Logs und Metriken lassen sich Probleme beheben, Ursachen identifizieren und zeitnahe Lösungen implementieren. 

Erhöhte Widerstandsfähigkeit und Zuverlässigkeit

KI-Observability trägt zur Widerstandsfähigkeit und Zuverlässigkeit von KI-Systemen bei, indem sie Einblicke in deren Verhalten unter verschiedenen Bedingungen bietet. Besonders in dynamischen Umgebungen ist dies wichtig, da sich die Datenverteilung im Laufe der Zeit ändern kann. Wenn Sie verstehen, wie Modelle auf Input-Schwankungen reagieren, können Sie sicherstellen, dass KI-Systeme gleichbleibend genau und zuverlässig sind.

Compliance und Governance

Observability-Funktionen wie Rückverfolgbarkeit und Erklärbarkeit erleichtern Unternehmen die Erfüllung von regulatorischen und Compliance-Anforderungen. Die Möglichkeit, den Datenfluss durch das KI-System zu verfolgen und Erklärungen für Modellentscheidungen zu liefern, ist notwendig, um Transparenz zu gewährleisten und den Rechenschaftspflichten nachzukommen. Dies gilt insbesondere für Branchen mit strengen regulatorischen Rahmenbedingungen.

Schnelle Reaktion auf Änderungen

KI-Systeme entwickeln sich stetig und unter Einbeziehung neuer Daten weiter. Sie müssen das Verhalten dieser Systeme also ständig überwachen, um mit allen Änderungen Schritt zu halten. Mithilfe von KI-Observability können Unternehmen schnell auf Verschiebungen in Datenmustern, Modelldrift oder Änderungen in der Umgebung reagieren. Diese Agilität ist entscheidend, um kontinuierlich effektive KI-Anwendungen zu bieten.

Herausforderungen bei KI-Observability

KI-Observability ist aus vielen Gründen eine Herausforderung, unter anderem aufgrund von Datenkomplexität, Datenschiefe, Bias (Verzerrung) oder Modelldrift (bzw. Modellalterung).

• Datenkomplexität: Zum Generieren von KI-Modellen werden enorme Datenmengen benötigt. Umgekehrt generieren KI-Systeme große Mengen verschiedener Datentypen, die analysiert und interpretiert werden müssen, um die KI-Performance zu überwachen und Probleme vorherzusehen.
• Datenschiefe: Datenschiefe tritt auf, wenn die für den Rückschluss verwendeten Daten nicht mehr die Trainingsdaten des Modells widerspiegeln. Dafür kann es verschiedene Gründe haben, unter anderem Datenabhängigkeiten wie Veränderungen im Benutzerverhalten und saisonale Trends oder Datenintegritätsprobleme wie beschädigte, fehlende oder inkonsistente Daten. 
• Bias (Verzerrung): Bias in Trainingsdaten kann zu fehlerhaften Ergebnissen führen, und es kommt eventuell bei KI-Entscheidungen aus Rückschlüssen zu Problemen mit Fairness und Genauigkeit. 
• Mangelnde Standardisierung: KI und KI-Observability sind noch recht neu und entwickeln sich rasant weiter. Weltweit akzeptierte Standards für die Nachverfolgung von KI-Metriken etablieren sich daher nur mit einiger Verzögerung. Das erschwert den Vergleich verschiedener Modelle ebenso wie ein effektives Nachverfolgen der Fortschritte.
• Notwendige Integration: Engineering-Teams und -Abteilungen arbeiten oft entweder als Folge von Initiativen oder einfach aufgrund persönlicher Vorlieben mit bestimmten KI-Tools. Kompatibilität und ein einwandfreier bidirektionaler Datenfluss in diese Tools werden daher zu einer Notwendigkeit, um eine kohärente, ganzheitliche Umgebung ohne Prozessunterbrechungen oder unnötige Ausfallzeiten durch Toolwechsel zu gewährleisten. 

All dies sind typische Merkmale von KI-Systemen, die im Vergleich zur etablierten DevOps-Praxis einen anderen Systemfluss aufweisen. Mit herkömmlichen Observability-Tools lassen sich Performance und Zuverlässigkeit von KI-Systemen eventuell nicht ausreichend verfolgen und vorhersagen. 

KI-Observability und traditionelle Observability: Wie unterscheiden sie sich?

KI-Observability bezeichnet die Möglichkeit zum Monitoring, Messen und Analysieren von Verhalten und Performance von KI-Systemen in Echtzeit. Beobachtbare KI erfordert für KI-Monitoring und -Analyse einen anderen Ansatz. DevOps-Tools haben sich über einen verhältnismäßig langen Zeitraum entwickelt und weisen heute standardisierte Ansätze für End-to-End-Observability auf. KI-Pipelines benötigen das gleiche Maß an Observability, allerdings unterscheiden sich KI-Daten erheblich von herkömmlichen Observability-Daten – deshalb sind für das KI-Monitoring neue Tools notwendig. 

KI-Systeme haben über Infrastrukturmetriken hinaus ihren eigenen beobachtbaren Satz an KI-Daten, die es zu verfolgen gilt. Diese Daten liefern kritische Einblicke in die Modellgenauigkeit, Vorhersagelatenz und den Zustand der Datenpipeline. KI-Observability muss Vorgänge durch die gesamte Pipeline verfolgen, um Datenschiefe, Bias und Modellalterung zu messen und um vorherzusagen, wann Probleme auftreten könnten und wann Modelle möglicherweise neu trainiert werden müssen. 

GenAI und die Observability-Branche

Bei GenAI handelt es sich um zusammengesetzte KI-Modelle, die anhand vorhandener Muster neue Daten generieren können, z. B. realistische Bilder oder kohärente Texte, und damit über zahlreiche Branchen hinweg ungeahnte Möglichkeiten eröffnen. Die Modelle können Daten zudem beeindruckend schnell synthetisieren und interpretieren – und das Ganze auch im großen Maßstab und um Längen besser und effizienter als bisherige Lösungen.

Angesichts der rasanten Entwicklung von GenAI muss die Observability-Branche bereit sein, sich anzupassen und weiterzuentwickeln, um die neuen Herausforderungen und Chancen zu nutzen. Besonders die folgenden zwei Aspekte müssen dabei unter die Lupe genommen werden.

1. GenAI revolutioniert die Bereitstellung verwertbarer Einblicke.

Als Entwickler des ersten auf dem Markt erhältlichen GenAI-Assistenten für Observability wissen wir um die Notwendigkeit einer zusammengesetzten KI-Technologie. Mithilfe generativer KI lassen sich riesige Datenmengen rasch und effizient analysieren, sodass Unternehmen bessere Entscheidungen treffen, Engpässe beheben und die Performance ihrer Softwaresysteme optimieren können.

Zusätzlich kann GenAI zur Automatisierung von Routineaufgaben und zur Workflow-Optimierung eingesetzt werden. Das strafft den Observability-Prozess und spart wertvolle Zeit und Ressourcen.

GenAI kann den Zugang zu detaillierten Einblicken dramatisch erleichtern, denn es ist kein Fachwissen mehr notwendig, um die richtigen Abfragen zu erstellen. Stattdessen können jetzt alle Interessierten unabhängig von ihrem technischen Hintergrund Observability nutzen – vom Anwendungsentwickler über den SRE, die Produktmanagerin und QA-Spezialistin bis hin zum mittleren Management und CxOs.

In Kombination mit GenAI bietet New Relic leistungsstarke Agentic-Integrationen, die die notwendige Intelligence bieten, um Observability-Einblicke und Automatisierung direkt in die von Benutzer:innen bevorzugten Tools und UIs zu bringen. Die New Relic Agentic-Integration für ServiceNow geht beispielsweise über einen einfachen API-Datenaufruf hinaus und liefert detaillierte, geschäftskritische Einblicke sowie intelligente Empfehlungen für die Tools und Workstreams, mit denen ServiceNow-Kund:innen ohnehin bereits arbeiten. Unternehmen, die New Relic und ServiceNow einsetzen, können Workflows automatisieren, die Business-Uptime maximieren und anhand von Live-Einblicken intelligentere Entscheidungen treffen.

New Relic AI, unser plattforminterner GenAI-Assistent, nutzt ServiceNow, um die Auswirkungen und Ursachen von Problemen in Ihrem digitalen Ökosystem zu identifizieren, zu priorisieren und zu beheben. New Relic bringt Live-Produktionsdaten wie Fehler, Logs, Traces, Sicherheitsschwachstellen und Alerts direkt in die UX und Workflows von ServiceNow. Alle Informationen und Einblicke werden direkt und in natürlicher Sprache in den ServiceNow-Schnittstellen dargestellt, wodurch Toolwechsel entfallen, alle Interessierten Zugang erhalten und die Problemlösung beschleunigt wird. New Relic und Service Now liefern Alert-Intelligence-Berichte, die eine Alert-Tragweitenanalyse sowie Theorien zu den wahrscheinlichen Ursachen auf Basis einer tiefgreifenden Analyse der Anwendungs-Health umfassen. Benutzer:innen können zudem bestimmte Services, Hosts und Systemkomponenten abfragen, so Performance-Einblicke anhand aktueller Performance-Daten erhalten und mit historischen Trends und Best Practices vergleichen.

Mit der New Relic Agentic-Integration für ServiceNow können Unternehmen mühelos geschäftskritische Daten in verwertbare Einblicke verwandeln. Führende Agentic-KI bringt intelligente Observability zu Now Assist. Das hat folgende Vorteile:

• Intelligentere Entscheidungen: Integrierte, verwertbare Erkenntnisse aus allen IT- und Geschäftsdaten
• Effizienzsteigerung: Automatisierung komplexer Tasks und Prozesse
• Intelligente Zusammenarbeit: Konsolidiert und priorisiert Teams, Tools und Schnittstellen 

Indem wir diese KI-Toolsets in unsere Plattform für intelligente Observability integrieren, erleichtern wir Unternehmen die Optimierung ihrer Softwaresysteme und ermöglichen ihnen eine weitaus schnellere Ermittlung und Behebung von Problemen.

2. Um wettbewerbsfähig zu bleiben, müssen Unternehmen ihre eigenen KI-Strategien entwickeln.

Genauso wie das Internet und Smartphones aus heutigen Geschäftsstrategien nicht mehr wegzudenken sind, wird GenAI bald integraler Bestandteil geschäftlicher Wachstumspläne sein. Um in Zeiten KI-gestützter Technologien den Anschluss nicht zu verlieren, müssen Unternehmen sich entsprechend anpassen und innovativ sein.

Unternehmen, die sich nun der Implementierung von GenAI-Toolsets widmen, müssen begleitend in Observability-Produkte zum Monitoring und Management dieser neuen Toolsets investieren. Prompt Engineering, konkurrierende Large Language Models, Fine-Tuning und Feedbackschleifen sind allesamt wesentliche Faktoren für ein hervorragendes Nutzungserlebnis. Damit einher geht auch die Nachfrage nach durchdachten Observability-Lösungen, die den einzigartigen Herausforderungen von KI-gesteuerten Technologien gerecht werden.

New Relic transformiert KI-Observability

Im Gegensatz zu herkömmlichen Anwendungen erfordert KI-Observability Transparenz über einen breiteren Tech-Stack hinweg:

• Infrastruktur: Monitoring spezialisierter Rechenleistung (CPUs, GPUs, TPUs) in potenziell verteilten Umgebungen.
• Daten: Tracking von Health und Performance diverser Datenspeicher, einschließlich Vektordatenbanken für KI-Modelle.
• Modell: Überwachung von Modell-Performance, Drift, Bias und Erklärbarkeit.
• Orchestrierung: Monitoring der Bereitstellung und Skalierung von KI-Workflows und Modelllebenszyklen.
• Anwendung: Analyse der traditionellen Performance neben KI-spezifischen Interaktionen und deren Auswirkungen.

Entscheidend ist, dass KI-Observability nicht auf Standardmetriken beschränkt ist, sondern speziell für KI-Anwendungen geltende Indikatoren für Genauigkeit, Sicherheit und Zuverlässigkeit umfasst. Für die Zukunft der KI ist die Berücksichtigung dieser Faktoren wesentlich.

New Relic AI Monitoring bietet umfassende Transparenz für Ihren gesamten KI-Anwendungsstack, damit optimale Performance, Qualität und Kostenkontrolle stets gewährleistet sind. Die wichtigsten Funktionen:

• Einfache und schnelle Einrichtung dank automatischer Instrumentierung
• Schnelles Debugging durch komplette KI-Stack-Transparenz 
• Response Tracing von Anfang bis Ende zeigt den gesamten Lifecycle der KI-Interaktionen auf
• Vergleiche der Modellleistung und Kosten, um das optimale Modell zu ermitteln
• Über 50 Integrationen für das KI-Ökosystem

Diese Lösung liefert SREs und KI-Engineers Transparenz über den gesamten KI-Stack, damit sie sichere, zuverlässige und ethische KI-Anwendungen entwickeln und betreiben können – ohne Bedenken.

Fokus auf Innovation und Veränderungen im Zeitalter der KI 

Generative KI sorgt derzeit überall für Gesprächsstoff und macht vor keiner Branche halt. Regierungsbehörden beginnen, sich Gedanken zu machen, VCs beteiligen sich an der Finanzierung von KI-Innovationen und unser Umgang mit technischen Geräten wird durch ein neues Interface für natürliche Sprache komplett umgekrempelt. Es wird nicht lang dauern, bis Startups mit ganz neuen Ideen für die Verwendung und Weiterentwicklung der generativen KI aus dem Boden sprießen und die Marktführer nervös machen – und diese werden dann wiederum ihr bisheriges Geschäftsmodell ganz genau unter die Lupe nehmen und auf seine Zukunftsfähigkeit abklopfen müssen. 

Angesichts dieser Innovationswelle müssen Observability-Unternehmen stets technologisch auf der Höhe sein, sodass sie nicht ins Hintertreffen geraten – denn die digitale Transformation bringt Bewegung in alle Branchen. Letztendlich werden diejenigen im Markt die Führung übernehmen, die diese neuen Technologien effektiv nutzen. Wer sich dem Ganzen verschließt, hat das Nachsehen. So ist in den nächsten Jahren eine massive Neuordnung in allen Branchen zu erwarten, und die neue Rangfolge wird wesentlich davon abhängen, welche Unternehmen die besten KI-Strategien haben.

Die transformative Kraft der generativen KI lässt sich nicht leugnen und sie hat das Potenzial, die Observability-Branche zu revolutionieren – vor allem in Kombination mit anderen führenden Technologien. Observability-Unternehmen erfassen Unmengen an Daten und stellen ihren Kund:innen Analysen, Reports und Alerts bereit, anhand derer sich Muster und Anomalien erkennen sowie Prognosen erstellen lassen. KI-Modelle sind für genau solche Aufgaben schon jetzt besser geeignet als Menschen, und die Leistungsfähigkeit und Geschwindigkeit der zugrundeliegenden Engines und damit auch der Modelle selbst steigen exponentiell an. Wir können uns der enormen Bedeutung der KI für die Observability nicht verschließen. Und unsere Kund:innen werden von uns ein Funktionsangebot erwarten, das nur mit KI-gestützten Observability-Lösungen möglich ist. Durch die Integration von KI-Toolsets in unsere Angebote und die Entwicklung maßgeschneiderter Observability-Lösungen hoffen wir, Observability zu einem noch wichtigeren Faktor und festen Bestandteil des Software Development Lifecycle zu machen.

Generative KI nimmt bereits enormen Einfluss auf so gut wie alle Lebensbereiche, ob Wirtschaft, Kultur, Kunst oder Kommunikation. Das macht auch vor der Observability-Branche nicht halt, und wenn wir das immense Potenzial dieser Technologie erkennen und effektiv nutzen, können wir dazu beitragen, dass die Welt für uns alle besser vernetzt, effizienter und innovativer wird.