Schutz von Daten und Sicherheit beim Kompilieren mit generativer KI

Als wir uns daran machten, New Relic AI zu entwickeln, bestand unsere Mission darin, Observability für alle freizuschalten. Durch die Kombination von Large Language Models (LLMs) und unserer konsolidierten Telemetry Data Platform trägt New Relic AI dazu bei, Observability in jedem Unternehmen allgegenwärtig zu machen, indem es tiefe Einblicke, automatisierte Alerts und Systemoptimierung ohne Lernaufwand bietet.

Beim Kompilieren mit Tools, die generative KI nutzen, haben Datensicherheit und Datenschutz oberste Priorität. Es ist unbedingt zu berücksichtigen, wie mit Kundeninformationen umgegangen wird – sowohl intern als auch durch Dritte, von der ersten Eingabeaufforderung bis zur fertigen Antwort –, um Benutzerdaten zu schützen. In diesem Blog erfahren Sie, wie wir Daten und Privatsphäre in jeder Entwicklungsphase geschützt haben, und erhalten ein besseres Verständnis dafür, wie New Relic AI mit Kundeninformationen umgeht, während es Fragen beantwortet und Einblicke in die gesamte New Relic Plattform bietet.

Aufrechterhaltung hoher Standards

Von Anfang an arbeitete das Entwicklerteam hinter New Relic AI eng mit unseren Sicherheits-, Rechts- und Compliance-Teams zusammen, um die Sicherheit der Kundendaten zu gewährleisten. Zusätzlich zu den üblichen Sicherheitsbedenken wie Zugriffskontrollen, Verschlüsselung und Vulnerability Management bringt generative KI zusätzliche Risiken mit sich, wie z. B. Trainingsdatensicherheit und Prompt-Injection-Angriffe. Diese erfordern eine zusätzliche Schutzebene und machen die Sicherung von Kundendaten komplexer. Der Datenschutzansatz von New Relic legt hohe Maßstäbe an für den Schutz der Vertraulichkeit, Integrität und Verfügbarkeit von Kundendaten. Obwohl wir unbedingt mit einer solch spannenden Technologie arbeiten wollten, war es von entscheidender Bedeutung, dass wir während des gesamten Prozesses unsere „Privacy by Design“-Prinzipien einhielten.

Für uns war es wichtig, dass jeder Anbieter, der bei der Entwicklung von New Relic AI zum Einsatz kam, nicht nur unsere standardmäßigen Datensicherheitsprotokolle vollständig einhielt, sondern auch unseren sicherheitsorientierten Entwicklungsansatz unterschrieb. Azure OpenAI verpflichtete sich, keine Kundeninformationen zu speichern oder zur Verbesserung ihrer Modelle zu verwenden, und wir arbeiten weiterhin eng mit Azure zusammen, um sicherzustellen, dass ihre Datenschutzgarantien mit unserer Sicherheitsrichtlinie übereinstimmen. Durch die Nutzung ihrer APIs sind wir nicht nur in der Lage, New Relic AI mit einem hochmodernen LLM zu versorgen, sondern auch unsere Kundendaten zu schützen. Weitere Informationen zu Daten, Datenschutz und Sicherheit für den Azure-OpenAI-Service finden Sie auf der Azure-Website.

Während das LLM den Kern von New Relic AI bildet, gibt es auch für andere Bereiche seiner Architektur zusätzliche Überlegungen zur Datensicherheit. In den folgenden Abschnitten wird erläutert, wie wir die Daten von Kund:innen von Anfang bis Ende schützen.

Kontext und Privatsphäre

Beginnen wir mit der New Relic Datenbank (NRDB). Zunächst möchten wir betonen, dass das LLM keinen direkten Zugriff auf NRDB hat. Wenn ein:e Benutzer:in New Relic AI fragt: „Wie viele Transaktionen gab es in den letzten 10 Minuten?“, ruft es das LLM auf, um die entsprechende Abfrage in NRQL (New Relic Query Language) zu generieren – SELECT count(*) FROM Transaction SINCE 10 minutes ago – und dann diese Abfrage gegen NRDB auszuführen. New Relic AI führt die Abfrage bei NRDB über die NerdGraph-API unter Verwendung des in der Anfrage bereitgestellten Sitzungstokens des Benutzers bzw. der Benutzerin durch und erhält nur Zugriffsrechte im Rahmen der jeweiligen Benutzerberechtigungen. Der New Relic AI Service kann Abfragen vor der Ausführung prüfen und korrigieren und ist in der Lage, Antworten zu redigieren, bevor er sie dem LLM zur Zusammenfassung bereitstellt. Dies gibt uns die nötige Kontrolle, um den Vorgang bei Bedarf zu unterbrechen.

Beim Zugriff auf die NerdGraph-API handelt New Relic AI im Namen des Benutzers bzw. der Benutzerin. Es erhält jedoch nicht denselben umfassenden Zugriff auf NerdGraph; stattdessen kann es nur auf bestimmte NerdGraph-Endpunkte zugreifen, beispielsweise auf die Ausführung einer NRQL-Abfrage. Wir planen, den New Relic AI Zugriff auf NerdGraph zu erweitern, wenn dies zur Aktivierung einer neuen Funktion erforderlich ist, verpflichten uns jedoch, New Relic AI nur die Zugriffsrechte zu gewähren, die für die Ausführung der jeweiligen Funktion unbedingt erforderlich sind.

Um ein intuitives Benutzererlebnis zu bieten, kann New Relic AI Informationen aus der UI basierend auf derjenigen Seite erfassen, auf der sich Benutzer:innen beim Stellen der Frage befinden. Es verfügt dabei nicht über vollständigen Zugriff auf alles, was ein:e Benutzer:in auf der Seite sieht, sondern nur auf einen begrenzten Satz von Daten, wie z. B. account id, entity id und nerdlet id. Dadurch kann New Relic AI Fragen beantworten wie: „Wie hoch ist die durchschnittliche Latenz für diesen Service?“, denn dem LLM wurde Kontext zur Verfügung gestellt, anhand dessen es erkennt, worauf sich „dieser Service“ bezieht.

New Relic AI „erinnert sich“ an die vorherigen Nachrichten eines laufenden Gesprächs und kann auf diesen vorherigen Nachrichten aufbauen. Es hat aber keinen Zugriff auf andere Unterhaltungen. Das bedeutet, dass es nicht auf einem früheren Gespräch aufbauen kann, ohne das jeweilige frühere Gespräch aus dem Ask AI-Verlauf erneut zu öffnen. Zudem weiß es nichts über Unterhaltungen mit anderen Benutzer:innen im selben Konto. So wird sichergestellt, dass die Gespräche von Benutzer:innen mit New Relic AI privat bleiben.

Nutzung öffentlicher Dokumentation

Neben der Beantwortung von Fragen zu Benutzerdaten ist New Relic AI auch in der Lage, allgemeinere Fragen zur Verwendung von New Relic auf Grundlage unserer öffentlichen Dokumentation zu beantworten, indem es dem Modell mit einer Methode namens Retrieval-Augmented Generation (RAG) relevanten Kontext aus unserer Dokumentation liefert. (In diesem Blogpost von Tal Reisfeld, Senior Data Scientist bei New Relic, erfahren Sie mehr darüber, wie RAG unsere Performance-Bewertung von New Relic AI verbessert.)

Unsere Dokumentation ist in einer Pinecone-Vektordatenbank indiziert. Jede Seite in der Dokumentation wird in Blöcke aufgeteilt. Anschließend wird für jeden Block eine Einbettung erstellt und in der Vektordatenbank gespeichert. Wenn ein:e Benutzer:in New Relic AI eine Frage stellt, betten die Backend-Services die Frage ein, suchen nach relevanten Dokumentationsblöcken in der Vektordatenbank und rufen dann diejenigen Blöcke ab, die der Einbettung am nächsten kommen.

Beim Einbetten handelt es sich um eine Technik, bei der ein Textabschnitt auf einen Vektor aus Gleitkommawerten reduziert wird, die die semantische Bedeutung des Textabschnitts erfassen. Eine Einbettung enthält nicht den Originaltext und der Originaltext kann nicht basierend auf der Einbettung generiert werden. Anhand dieses Vektors aus Gleitkommawerten lassen sich andere Vektoren finden, die semantisch dem bereitgestellten Vektor ähneln, der die ursprüngliche Anfrage darstellt.

Die Vektordatenbank enthält sowohl die Einbettung als auch den Originaltext aus der öffentlichen Dokumentation von New Relic. Dadurch können wir den Originaltext für Vektoren abrufen, die dem Vektor für die Frage nahe kommen. Wir speichern ausschließlich öffentliche Informationen in der Vektordatenbank und indizieren keine Kundendaten. Dadurch wird sichergestellt, dass wir über die Vektordatenbank keine Informationen zwischen Benutzer:innen, Konten oder Kund:innen preisgeben.

Somit basiert der Abruf relevanter Dokumentationsblöcke aus der Vektordatenbank vollständig auf der Einbettung der Frage, und der tatsächliche Text der Benutzerfrage wird niemals an die Vektordatenbank gesendet.

Proaktiver Schutz für unsere Kund:innen

Unser Team achtet stets auf einen proaktiven Schutz der Integrität der Kundendaten – angefangen bei den Verfahren zur Bewertung unserer Anbieter bis hin zur Auswahl des erforderlichen Kontexts und der Zugriffsrechte für jeden Backend-Service von New Relic AI. Die Technologie rund um die generative KI wächst und entwickelt sich in einem unglaublichen Tempo. Um ein Produkt zu liefern, das sowohl branchenführend als auch sicher ist, muss man mit Bedacht vorgehen, sowohl hinsichtlich der Übernahme der neuesten Verbesserungen als auch der Bewertung potenzieller Sicherheits- und Datenschutzrisiken in jeder neuen Version. Wir werden weiterhin in unsere Mitarbeiter:innen, unsere Technologie und unsere Partnerschaften investieren, um sicherzustellen, dass die Datensicherheit bei der kontinuierlichen Verbesserung von Leistungsfähigkeit und Einsatzbandbreite unseres GenAI-Assistenten für Observability immer an erster Stelle steht.