Integrationen zum Monitoring Ihres gesamten KI-Stacks

Immer mehr Unternehmen integrieren KI in ihre Tech-Stacks, um effizienter zu arbeiten und ihren Kund:innen einen besseren Service zu bieten. Und damit erscheinen auch immer mehr Tools zum Entwickeln und Bereitstellen von KI-Anwendungen auf dem Markt. Der Weg einer KI-Anwendung vom Prototyp zur Produktion ist allerdings mit einigen Steinen gepflastert. KI-Komponenten wie Large Language Models und Vektordatenbanken sind zwar beeindruckend leistungsstark, aber auch ziemlich undurchsichtig. Immer wieder kommt es zu Problemen wie Ergebnissen mit Fehlern oder Bias sowie zu Sicherheitsschwachstellen. Zudem fallen Unmengen neuer Telemetriedaten zur Analyse an.

Um diese Probleme aus dem Weg zu schaffen, gibt es jetzt New Relic AI Monitoring (AIM). Diese innovative Lösung bietet eine bisher unerreichte End-to-End-Visibility in Ihre KI-gestützten Anwendungen und erleichtert Ihnen die Optimierung Ihrer KI-Anwendungsentwicklung hinsichtlich Performance, Qualität und Kosten. Mit New Relic AI Monitoring können Sie KI jetzt leichter einsetzen und ihr enormes Potenzial im Hinblick auf Geschäftswachstum und Effizienz voll ausschöpfen.

Zur Ausweitung von Observability auf spezielle Tools und Technologien haben wir über 50 sofort einsatzbereite Quickstart-Integrationen entwickelt, die Ihnen direkte Visibility in alle Ebenen Ihres KI-Tech-Stacks bieten, z. B.:

• Grundlagenmodelle (z. B. Large Language Models oder LLMs)
• Orchestrierungs-Frameworks
• ML-Bibliotheken
• Modellbereitstellung
• Speicherung und Registries
• Infrastruktur

Orchestrierungs-Framework: LangChain

Mit Orchestrierungs-Frameworks wie LangChain können Entwickler:innen verschiedene Elemente einer KI-Anwendung aneinanderketten, z. B. Datenverarbeitung, Modellaufruf und Nachbearbeitung. Damit wird die Entwicklung und Bereitstellung modularer, skalierbarer KI-Anwendungen erleichtert. 

Das Orchestrierungs-Framework LangChain ist aufgrund seiner Flexibilität und Benutzerfreundlichkeit sehr beliebt. Es umfasst eine Bibliothek vorgefertigter Komponenten, die sich zur Erstellung benutzerdefinierter KI-Anwendungen kombinieren lassen.

Die New Relic Quickstart-Integration für LangChain liefert eine zentrale Ansicht aller Komponenten (Modelle, Ketten und Tools) Ihrer KI-Anwendung. Das direkt einsatzbereite Quickstart-Dashboard stellt Vorhersagezeiten und Tokennutzung grafisch dar und zeigt sogar den Inhalt der Eingabeaufforderungen und Antworten. Damit können Sie Performance und Throughput nachverfolgen, Bottlenecks ermitteln und Ihre Anwendung insgesamt optimieren. Zusätzlich erkennt die Integration automatisch verschiedene Modelle wie OpenAI und Hugging Face, sodass Sie Ihre LLMs vergleichen und optimieren können.

KI-Grundlagenmodelle: OpenAI, Amazon Bedrock, PaLM 2, Hugging Face

KI-Modelle sind Algorithmen, die anhand von Daten trainiert wurden, bestimmte Aufgaben zu übernehmen, z. B. Objekte in Bildern zu erkennen, Sprachen zu übersetzen oder Text zu erstellen. OpenAI bietet verschiedene populäre GenAI-Modelle sowie APIs, mit denen Sie diese Funktionen in Ihre Anwendungen integrieren können. New Relic hat die branchenweit erste Observability-Integration für OpenAI eingeführt, mit der Sie die Nutzung überwachen, die Modell-Performance analysieren und die Kosten für Ihre OpenAI-Anwendungen optimieren können. Mit nur zwei zusätzlichen Zeilen Code erhalten Sie Zugang zu wichtigen Performance-Metriken wie Kosten, Anfragen, Reaktionszeit und Sample-Inputs sowie -Outputs.

Darüber hinaus ist New Relic in Amazon Bedrock integriert, einen vollständig verwalteten Service von AWS, der das Entwickeln und Skalieren generativer KI-Anwendungen erleichtert, indem er API-Zugang zu Grundlagenmodellen führender KI-Unternehmen wie AI21 Labs, Anthropic, Cohere und Stability AI bereitstellt. Und mit der Amazon Bedrock-Integration können Sie jetzt mühelos die Performance und Nutzung der Amazon Bedrock-API und der damit verknüpften LLMs im Auge behalten.

Wenn Sie mehrere Modelle mit LangChain verketten, können Sie zudem die Performance verschiedener LLMs in einem zentralen, vorgefertigten Dashboard vergleichen. Wir bieten Integrationen für beliebte Modelle und Modell-Hostingplattformen wie PaLM 2 und Hugging Face.

ML-Bibliotheken: PyTorch, Keras, TensorFlow, scikit-learn

Machine-Learning-Bibliotheken sind ein wesentlicher Bestandteil des KI-Stacks. Sie liefern die Tools und Bibliotheken, die Entwickler:innen zum Erstellen und Trainieren von KI-Modellen benötigen. New Relic bietet jetzt Integrationen für beliebte ML-Bibliotheken wie PyTorch, Keras, TensorFlow und scikit-learn. Durch das Monitoring von Performance- und Health-Metriken wie Rückschlusslatenz, Speichernutzung und Data Drift erkennen Sie Modellverschlechterungen frühzeitig und wissen, wann Sie Ihre ML-Bibliotheken optimieren sollten.

Modellbereitstellung: Amazon SageMaker, Azure Machine Learning

Auf der Ebene für die Modellbereitstellung und -implementierung werden KI-Modelle für Benutzer:innen nutzbar gemacht. Hier werden KI-Modelle geladen und ausgeführt sowie eine API oder andere Schnittstelle zur Verfügung gestellt, damit die Benutzer:innen mit den Modellen interagieren können. Die Entwicklung von KI-Anwendungen ist ein komplexer und ressourcenintensiver Prozess, der eine zentrale Plattform zum Management des gesamten KI-Dev-Lifecycle notwendig macht, vom Design bis hin zur App-Bereitstellung. 

Amazon SageMaker und Azure Machine Learning gehören zu einer Reihe beliebter KI-Plattformen, die solche Funktionen beinhalten. Die Quickstart-Integrationen für Amazon Sagemaker und Azure Machine Learning bieten durch sofort einsatzbereite Dashboards und Alerts eine umfassende Visibility zu Trainingsaufträgen, Endpunktaufrufen und betrieblicher Effizienz. Durch Monitoring wichtiger Metriken wie Auftragsausführung, Endpunktbereitstellungen und CPU-/GPU-Nutzung können Sie sicherstellen, dass die Infrastruktur Ihre KI-Projekte angemessen unterstützt, und gleichzeitig die UX durch Troubleshooting verbessern.

In diesem Blogpost erfahren Sie mehr zur Azure Machine Learning-Integration.

Speicherung und Registries: Pinecone, Weaviate, Milvus, FAISS

Durch KI-Anwendungen werden große Datenvolumen gespeichert und aufgerufen. Vektordatenbanken sind speziell dazu konzipiert, hochdimensionale Daten effizienter zu speichern und abzufragen, und zwar durch eine Suche nach Ähnlichkeiten anstatt genauer Übereinstimmungen. Sie werden oft für KI-Anwendungen verwendet, da sich damit Kosten senken und KI-Modelle schneller trainieren und bereitstellen lassen.

New Relic erleichtert das Monitoring der Datenbank-Health durch einsatzbereite Quickstart-Dashboards für verschiedene Datenspeicher- und Registry-Lösungen wie Pinecone, Weaviate, Milvus und FAISS. Zusätzlich zu den Hauptmetriken wie Ausführungs- und Antwortlatenz, Anfragen und Festplattennutzung können Sie damit spezielle für Vektordatenbanken relevante Metriken wie die Indizierungs-Performance nachverfolgen. Über LangChain oder den Prometheus-Endpunkt von Pinecone können Sie Ihre Daten verketten.

Infrastruktur: AWS, Azure, Google Cloud Platform, Kubernetes

Die KI-Infrastruktur ist die Grundlage für die Entwicklung und Bereitstellung von KI-Anwendungen. Sie beinhaltet leistungsstarke GPUs und CPUs zum Training und Deployment der KI-Modelle sowie skalierbare Cloud-Computing-Plattformen wie AWS, Azure und Google Cloud Platform (GCP) zum Bereitstellen der KI-Anwendungen. Da für Entwicklung, Clustering und Bereitstellung von KI-Anwendungen rechenintensive Workloads notwendig sind, müssen Sie Einsicht in Ihre Infrastruktur haben. Dazu gehört das Monitoring Ihrer Computing-Ressourcen wie der GPU- und CPU-Nutzung sowie der Speicher- und Netzwerkressourcen.

New Relic ermöglicht Ihnen flexibles wie dynamisches Monitoring Ihrer gesamten Infrastruktur – von Services in der Cloud über einzelne Hosts bis hin zu Containern in orchestrierten Umgebungen. Umgesetzt wird dies durch Korrelation von Health-Status und Performance mit Kontext zu Ihren Anwendungen, Logs und Konfigurationsänderungen.

New Relic bietet eine breite Palette verschiedener Lösungen und Integrationen für das Infrastruktur-Monitoring, z. B.:

• Unser Infrastructure Agent für Linux, macOS und Windows.
• Unsere Integrationen für Kubernetes und Pixie.
• Unsere Cloud-Integrationen für Amazon, Azure und die Google Cloud Platform.
• Unsere Prometheus-Integrationen.
• Unsere On-Host-Integrationen für Services wie Apache Spark, MySQL, NGINX, Cassandra, Kafka, um nur einige zu nennen. Die meisten On-Host-Integrationen werden mit dem Infrastructure Agent installiert und gemeinsam damit ausgeführt, um Daten zu versenden.

Der Einsatz von künstlicher Intelligenz und Technologien für das maschinelle Lernen kann Ihnen helfen, beeindruckende Apps zu entwickeln. Wie bei jeder anderen Software trägt aber auch hier Ihre Monitoring-Strategie wesentlich zur reibungslosen Ausführung Ihrer UX bei. Mit den New Relic Integrationen für das Monitoring von KI- und Modell-Performance erhalten Sie tiefe Einblicke in die Performance jeder einzelnen Ebene Ihres KI-Stacks. So lassen sich KI-Anwendungsprobleme hinsichtlich Performance, Kosten oder Qualität rasch ermitteln.