Mit dem rasanten Einzug von KI, insbesondere von Agentic-KI-Systemen, ist auch das Application Performance Management komplexer geworden. Während das Monitoring von Large Language Models (LLMs) an Bedeutung gewonnen hat, ist die Visibility rund um das Model Context Protocol (MCP), einen grundlegenden Standard für Agent-KI-Interaktionen, stattdessen sehr eingeschränkt. Seit seiner Einführung hat sich MCP schnell zum Goldstandard für Agentic-KI entwickelt und ermöglicht intelligenten Agents eine dynamische Interaktion mit einer Vielzahl von Tools und Services. MCP vereinfacht also KI-Integrationen, bringt aber auch Herausforderungen mit sich. 

Wir freuen uns, heute die MCP-Unterstützung in unserer umfassenden KI-Monitoring-Lösung bekanntzugeben – nahtlos in unser branchenführendes Application Performance Monitoring (APM) integriert.

Die Herausforderung: Observability mit Agentic-KI und MCP

In Agentic-KI-Anwendungen interagieren KI-Agents dynamisch mit verschiedenen Tools und Services und nutzen dazu häufig MCP-Server. In der Vergangenheit wurden diese MCP-Server allerdings als „Blackboxes“ betrieben, was Einblicke in die Performance und das Verhalten der KI-Ebene erschwerte. Diese mangelnde Transparenz stellte sowohl Agent-Entwickler:innen als auch MCP-Dienstanbieter vor erhebliche Herausforderungen:

  • Agent-Entwickler:innen: Herauszufinden, welche Tools ein KI-Agent für einen bestimmten Prompt auswählt, in welcher Reihenfolge die Tools aufgerufen werden und wie lang jeder Schritt dauert, war ein mühsamer, oft manueller Prozess. Die Ermittlung von Performance-Bottlenecks oder Fehlerquellen innerhalb des Entscheidungs- und Ausführungsflusses der KI war enorm schwierig.
  • MCP-Service-Anbieter: Einblicke in die Nutzung ihrer MCP-Services zu gewinnen, Performance-Bottlenecks in ihrer Infrastruktur zu identifizieren oder sich ein Bild zur Effektivität der Tools zu machen, war ein schwieriges Unterfangen. Oft war dazu eine komplexe Custom-Instrumentierung notwendig, wodurch ein erheblicher operativer Overhead entstand.

Das Ergebnis war eine fragmentierte Ansicht der KI-Anwendungs-Performance, oft musste zwischen unterschiedlichen Monitoring-Tools hin- und hergewechselt werden und das Ganze war für alle sehr zeitaufwändig.

Die Lösung: die New Relic MCP-Integration

Unsere Unterstützung für MCP schafft Abhilfe, denn sie bietet verwertbare Einblicke in den gesamten Lifecycle einer MCP-Anfrage. Mit dieser Integration können Entwickler:innen und Service-Anbieter:

  1. Sofortige Visibility ins MCP-Tracing erlangen:
    • Automatisches Instrumentieren und Beobachten des vollständigen Lifecycle einer MCP-Anfrage.
    • Visualisieren der Tools, die von einem KI-Agent aufgerufen werden, sowie der Aufrufsequenzen und Ausführungsdauer – alles anhand klarer Wasserfalldiagramme.
    • Einsicht in den Entscheidungsprozess des KI-Agent bei der Interaktion mit verschiedenen Services.
  2. Proaktive MCP-Optimierung ermöglichen:
    • Analysieren der Agent-Tool-Auswahlmuster für bestimmte Prompts, mit Bewertung von Auswahl und Wirksamkeit der Tools.
    • Verfolgen von KPIs wie Toolnutzungsmuster, Latenz und Fehlerquoten im Zusammenhang mit MCP-Interaktionen.
    • Ermitteln und Optimieren leistungsschwacher Tools oder ineffizienter Agent-Strategien innerhalb des MCP-Service.
  3. Intelligenten KI-Monitoring-Kontext liefern:
    • Wir korrelieren MCP-Performance-Daten direkt mit dem restlichen Anwendungsökosystem. Das bedeutet eine nahtlose Korrelation zwischen KI-Interaktionen und der Performance von Backend-Services, Datenbanken, Microservices und Nachrichtenwarteschlangen.
    • Diese ganzheitliche Sichtweise eliminiert Datensilos und ermöglicht echte End-to-End-Observability, sodass Teams die Ursache eines Problems schnell ermitteln können – unabhängig davon, ob es in der KI-Ebene, im MCP-Service oder einer herkömmlichen Backend-Komponente steckt.
New Relic Now Demo der neuen Agentic-Integrationen am 24. Juni.
Sichern Sie sich Ihren Platz!