Einhaltung des EU-KI-Gesetzes durch Observability

Ich habe bemerkenswerte Fortschritte bei den KI-Funktionen und seit kurzem auch bei der Markteinführung praktischer Tools auf Basis generativer KI erlebt. Aber ich bin als Director of Product & Privacy Counsel bei New Relic nicht nur Zeuge dieser erstaunlichen Innovation, sondern erkenne auch an, dass die Gesetzgeber Maßnahmen ergreifen, um die Rechte, die Privatsphäre und die Sicherheit ihrer Bürger und Bürgerinnen zu schützen. Neue Gesetze und Vorschriften legen Compliance-Verpflichtungen für Unternehmen fest, die KI-Systeme entwickeln, anbieten oder betreiben – insbesondere solche, die als Hochrisiko-KI-Systeme gelten. Dieser Blogpost soll keine Rechtsberatung für Ihre spezielle Situation darstellen. Gleichwohl ist dies ein sehr interessantes Thema, und ich bin sicher, dass einige der mir vertrauten Technologien Unternehmen dabei helfen können, die geltenden Compliance-Anforderungen zu erfüllen.

Aktueller Stand der KI-Gesetze

USA

In den USA ergreifen einzelne Bundesstaaten proaktive Schritte zur Regulierung der Entwicklung und Bereitstellung künstlicher Intelligenz (da es derzeit auf Bundesebene keine vergleichbaren Regelungen gibt). Und die Gesetze der einzelnen Bundesstaaten können sehr unterschiedlich sein. Das Gesetz über künstliche Intelligenz (Artificial Intelligence Act) in Colorado regelt Hochrisiko-KI-Systeme und legt den Schwerpunkt auf Entwickler:innen und Betreiber:innen. Es zielt darauf ab, bestimmte Schäden und Gefahren algorithmischer Diskriminierung gegenüber Einwohnerinnen und Einwohnern Colorados zu überprüfen, zu dokumentieren, zu mindern, offenzulegen und die Generalstaatsanwalt Colorados darüber zu informieren. Im Gegensatz dazu ist das in Utah verabschiedete Gesetz (Artificial Intelligence Policy Act) in seinem Anwendungsbereich viel eingeschränkter: Es verpflichtet Anbieter von Produkten mit generativer KI, auf Nachfrage offenzulegen, ob die jeweilige Person mit einem Menschen interagiert. 

Unterdessen unterzeichnete Präsident Biden in Washington am 30. Oktober 2023 eine Verordnung, die den Einsatz von KI in Regierungsbehörden lenken und auch privaten Unternehmen direkte Verpflichtungen auferlegen soll, nämlich die Offenlegung bestimmter Informationen über besonders leistungsfähige KI-Modelle und Computercluster. Behörden wie das National Institute of Standards and Technology (NIST) wurden mit der Ausarbeitung von KI-Standards und -Leitlinien beauftragt. Dazu gehörten etwa die Entwicklung einer Begleitressource zum NIST AI Risk Management Framework, zum NIST Secure Software Development Framework sowie Leitlinien und Benchmarks zur Bewertung von KI-Funktionen, wobei der Schwerpunkt auf dem Potenzial zur Schadensverursachung lag¹.

Europäische Union

Die Welt wartet mit Spannung auf das kommende Gesetz der Europäischen Union zur künstlichen Intelligenz, das am 12. Juli 2024 veröffentlicht wurde und am 1. August 2024 in Kraft treten soll. Diese Regelung hat eine viel breitere Anwendung als alle US-Gesetze, da sie insbesondere Folgendes vorsieht:

• Sie gilt für Entwickler, Betreiber, Importeure, Händler, Produkthersteller und autorisierte Vertreter
• Sie verbietet bestimmte Kategorien von KI-Systemen gänzlich 
• Sie erlegt „Hochrisiko-KI-Systemen“ zahlreiche Verpflichtungen auf 
• Sie legt Verpflichtungen für Anbieter von „KI-Modellen mit allgemeinem Verwendungszweck“ fest

Da immer mehr Gerichtsbarkeiten die Notwendigkeit einer KI-Governance erkennen, ist davon auszugehen, dass die Verbreitung solcher Regelungen weiter anhält und die Zukunft einer verantwortungsvollen Entwicklung und Bereitstellung von KI prägt.

EU-KI-Gesetz – Artikel 12 Aufzeichnungspflichten

Sind Sie Anbieter oder Betreiber eines „Hochrisiko-KI-Systems“?

Wenn ja, kann New Relic Sie möglicherweise bei der Erfüllung Ihrer Verpflichtungen gemäß Artikel 12 des EU-KI-Gesetzes unterstützen.

Eine Bestimmung, die für New Relic Kund:innen relevant sein könnte, die ein „Hochrisiko-KI-System“ betreiben UND eine ganzheitliche Observability-Lösung für ihren gesamten Stack und ihre gesamte Infrastruktur hinzufügen möchten, sind die Logging- oder Protokollierungsanforderungen für Hochrisiko-KI-Systeme² gemäß Artikel 12 des EU-KI-Gesetzes. 

Artikel 12 schreibt vor, dass für Hochrisiko-Systeme Loggingfunktionen vorhanden sein müssen, damit Anbieter und Betreiber ihre Hochrisiko-KI-Systeme überwachen können.

Artikel 12 legt derzeit drei allgemeine Hauptanforderungen fest: (1) Ermöglichen der automatischen Aufzeichnung von „Ereignissen (Protokollierung)“ während des Lebenszyklus des Systems, (2) Protokollierungsfunktionen zum Aufzeichnen von Ereignissen, die zur Einhaltung anderer Verpflichtungen gemäß dem EU-KI-Gesetz hilfreich sein können, und (3) spezifische Schwellenwerte für „Protokollierungsfunktionen“.

Die erste Anforderung besagt, dass die Technik des Hochrisiko-KI-Systems „die automatische Aufzeichnung von Ereignissen (im Folgenden ‚Protokollierung‘) während des Lebenszyklus des Systems ermöglichen muss“ (Hervorhebung hinzugefügt). 

In der Technologiebranche werden bereits zahlreiche Lösungen zum Generieren und Weiterleiten von Protokollen bzw. Logs eingesetzt, die derzeit von New Relic unterstützt werden, darunter Fluent Bit, Fluentd, Logstash und Logs von Cloudservice-Anbietern (CSPs) wie Amazon und Microsoft. Wenn Sie noch nicht über eine dieser Lösungen verfügen, können unsere Application-Performance-Monitoring(APM)-Agents automatisch Logs von Anwendungen melden und unser Infrastructure Agent kann Logs von Ihren Hosts erfassen und melden. New Relic unterstützt eine wachsende Anzahl von Log-Forwarding-Optionen.

Wenn beispielsweise ein Drittanbieter ein Image oder einen Container bereitstellt, das/der Teil Ihres Hochrisiko-KI-Systems ist, und die Entwickler:innen keine fertigen APIs oder Loggingfunktionen für dieses Image bereitgestellt haben, stehen Ihnen neben dem Logging aus anderen Teilen Ihrer Microservices-Architektur auch die Option der Logs vom Container oder von Kubernetes zur Verfügung.

Für Unternehmen, die anbieteragnostische offene Standards über OpenTelemetry einsetzen möchten, bietet New Relic eine wachsende Anzahl an Support und Integrationen für OpenTelemetry-Lösungen. 

Im zweiten Absatz heißt es, „…zur Gewährleistung, dass das Funktionieren des Hochrisiko-KI-Systems in einem der Zweckbestimmung des Systems angemessenen Maße rückverfolgbar ist“, besteht die Anforderung, dass „die Protokollierungsfunktionen die Aufzeichnung von Ereignissen ermöglichen“ müssen, die für andere Teile des EU-KI-Gesetzes relevant sind (Hervorhebung hinzugefügt). Dazu gehören: 

1. Artikel 79 Absatz 1 betreffend das Risiko, dass das Produkt möglicherweise die Gesundheit und Sicherheit zahlreicher Interessen in einer Weise beeinträchtigt, die über das vernünftige und akzeptable Maß hinausgeht³;
2. Artikel 72 über die Beobachtung nach dem Inverkehrbringen durch die Anbieter und den Plan für die Beobachtung nach dem Inverkehrbringen für Hochrisiko-KI-Systeme;
3. Artikel 26(5) enthält die Klausel „die Betreiber überwachen den Betrieb des Hochrisiko-KI-Systems“ und sieht Meldepflichten für den Fall vor, dass Betreiber Grund zu der Annahme haben, dass die Verwendung des Hochrisiko-KI-Systems ein Risiko für den Anbieter, den Händler oder die Marktüberwachungsbehörde darstellt.

Der dritte Satz von Anforderungen gemäß Artikel 12 besagt: „Die Protokollierungsfunktionen … müssen zumindest Folgendes umfassen:“ die Verwendungsdauer, die verwendeten Referenzdatenbanken, die Eingabedaten und die Identität der natürlichen Personen, die die Ergebnisse gemäß Unterabschnitt 5 von Artikel 14 (menschliche Aufsicht) überprüfen.

Umfassende Observability-Lösungen für Monitoring- und Logging-Anforderungen

Hier ist eine hypothetische Microservice-Architektur für Ihr KI-System, bei der Sie über zwei Cloudumgebungen verfügen und APIs eines Large Language Model (LLM) von Drittanbietern für Dienste verwenden, die ausschließlich in der zweiten Cloudumgebung ausgeführt werden. Ihr Setup kann eventuell komplexer sein, wenn Sie eine Reihe vorhandener Anwendungen und bereits ausgebauter Infrastrukturen nutzen oder wenn Sie Ihre Dienste in kleinere aufteilen, die von verschiedenen Produkt- und Entwicklungsfachleuten in Ihrem Unternehmen verwaltet werden.

Zum Glück können Sie mit den New Relic APIs alle Logs, Events und sonstigen Telemetriedaten von jeder angezeigten Komponente senden, um die End-to-End-Transparenz Ihres technischen Bestands zu zentralisieren und aufrechtzuerhalten:

1. Web-UI-Events und andere Telemetriedaten können an die Browser-Monitoring-APIs von New Relic gesendet werden.
2. Events aus mobilen Apps und andere Telemetriedaten können an die Mobile-Monitoring-APIs von New Relic gesendet werden.
3. Logs, Events und andere Telemetriedaten von großen Cloudservice-Anbietern können an die Infrastruktur-Monitoring-APIs von New Relic gesendet werden.

Anwendungslogs, Events und andere Telemetriedaten können an New Relic APM-APIs gesendet werden.

Eine Reihe wichtiger Toolsets von New Relic erleichtern Unternehmen die Einhaltung der Protokollierungsanforderungen:

1. Werden einige der KI-Toolsets auf der Anwendungsebene ausgeführt, unterstützt New Relic AI Monitoring eine Reihe von Programmiersprachen und umfasst Monitoring der Prompts und Antworten.
2. Werden einige der KI-Toolsets auf Plattformen von Drittanbietern ausgeführt, erleichtern mehrere Quickstarts für maschinelles Lernen (MLOps) wie Azure OpenAI und PyTorch das Monitoring von Drittanbieter-LLMs und MLOps-Plattformen hinsichtlich Modell-Drift sowie die allgemeine Zentralisierung des Monitorings dieser Drittanbietersysteme durch das Senden relevanter Telemetriedaten an New Relic. Darüber hinaus haben wir Quickstarts für die LangChain-App, Pinecone (LangChain), LangChain-Vektorspeicher und mehrere Nvidia-Ressourcen.
3. Wo die Rückverfolgbarkeit von entscheidender Bedeutung ist, helfen Ihnen Distributed Tracing und Service Maps dabei, die Transaktion in Ihrem gesamten Technologiebestand zu verfolgen und jede Komponente Ihrer KI-Systeme zu überwachen, sodass nichts unbeobachtet bleibt oder gegen Vorschriften verstößt. Angenommen, New Relic zeigt vor- und nachgelagerte Abhängigkeiten von Diensten an, die Ihre Teams im KI-System verwenden. Damit das Monitoring auf nachgelagerte Datenbank-Abhängigkeiten erweitert wird, verwenden Sie einen New Relic Datenbank-Quickstart, um einfach Telemetriedaten aus diesen Drittanbieterdatenbanken abzurufen.
4. Wenn es darum geht, den Überblick über die relevanten Komponenten des KI-Systems zu behalten, helfen New Relic Workloads dabei, diese relevanten Komponenten in einer zentralen Ansicht zu behalten. Workload Maps bieten eine hervorragende Visualisierung für die Person (oder Personen), die mit dem Monitoring des KI-Systems beauftragt ist bzw. sind.

5. Wenn ein vorgefertigtes Diagramm oder eine vorgefertigte Visualisierung Ihren speziellen Compliance-Anforderungen möglicherweise nicht genügt, bietet New Relic Tools zum Erstellen benutzerdefinierter Diagramme und Dashboards für die Erstellung einer einheitlichen Ansicht Ihrer KI-Systeme.
6. Wenn Unternehmen die Szenarien und Umgebungsbedingungen ermittelt haben, die Benachrichtigungen an Entwickler, Betreiber und andere Prüfer zur Untersuchung auslösen müssen, tragen New Relic Alerts dazu bei, dass Benachrichtigungen immer an die entsprechenden Teams gesendet werden, sofern diese Bedingungen für Benachrichtigungen erfüllt sind.
7. Unternehmen müssen gemäß Artikel 12⁴ Logs (Protokolle) für die gesamte Lebensdauer ihres Systems aufbewahren. Dies kann mehrere Jahre oder Jahrzehnte umfassen und enorme Kosten für Speicherung und Aufrufen bedeuten. New Relic Live Archives können hier Abhilfe schaffen. Mit dieser kostengünstigen Lösung können Sie alle wichtigen Logs problemlos an die vorhandenen Log-APIs von New Relic senden, sie bis zu sieben Jahre lang zu einem Bruchteil der üblichen Speicherkosten aufbewahren und viele der in New Relic Logs verfügbaren Features und Funktionen nutzen. Sie können auch den New Relic Export historischer Daten nutzen, um nach den sieben Jahren Kopien Ihrer Logs für Ihre längerfristigen Speicheranforderungen abzurufen.

KI-Gesetze und Compliance-Anforderungen

Die KI-Teams bei New Relic sind sich der wachsenden Zahl von KI-Gesetzen und Compliance-Herausforderungen durchaus bewusst. New Relic AI trägt dazu bei, Observability auch für Benutzer:innen außerhalb der traditionellen DevSecOps-Rollen zugänglicher zu machen. Dadurch wird es für Compliance-Teams einfacher, dieselben Tools zu verwenden, die DevSecOps-Teams zum Monitoring ihres Tech-Stack nutzen, um Anforderungen wie die Aufzeichnungspflicht gemäß Artikel 12 des EU-KI-Gesetzes zu erfüllen.

Die Innovationen in der KI schreiten weiter voran und es gibt hochmoderne Modelle wie GPT-4o und GTP-4 Turbo, die erklären können, was in einem Bild passiert. Führende Unternehmen wie OpenAI, Anthropic, Google und Meta entwickeln fortlaufend Innovationen im Bereich KI, und so nehmen auch die Anwendungsfälle zu, in denen diese Innovationen in Bereichen wie Gesundheitswesen, Fertigung, Sicherheit, Marketing, Transport, Einzelhandel und Finanzen eingesetzt werden können. 

Unternehmen, die an die wachsende Anzahl von KI-Gesetzen rund um den Globus gebunden sind, müssen sich mit einer ganzen Reihe von Tools befassen, um ihre Compliance-Anforderungen zu erfüllen. Die New Relic Observability-Plattform ist eine hervorragende Ergänzung für das Compliance-Toolkit eines Unternehmens.

¹ Executive Order: Verordnung für eine sichere, geschützte und vertrauenswürdige künstliche Intelligenz | NIST 

²  Die Aufzeichnungs- und Protokollierungspflichten des Artikels 12 gelten für Hochrisiko-KI-Systeme, die im EU-KI-Gesetz genauer definiert sind. Wenden Sie sich an Ihren bevorzugten Rechtspartner, um festzustellen, ob Ihr KI-Produkt unter die Definition eines „Hochrisiko-KI-Systems“ fällt, die im EU-KI-Gesetz eine festgelegte Bedeutung hat. Dies ist besonders wichtig, da das EU-KI-Gesetz vor der Veröffentlichung aktualisiert und korrigiert wird. Dies ist das aktuellste Corrigendum zum Zeitpunkt der Erstveröffentlichung. New Relic schränkt die Nutzung unserer Dienste für bestimmte Aktivitäten mit hohem Risiko ein. Sie sollten die Servicebedingungen von New Relic beachten, wenn Sie planen, wie Sie unsere Dienste nutzen.

³ „Produkt, mit dem ein Risiko verbunden ist“ ein Produkt, das Gesundheit und Sicherheit von Personen im Allgemeinen, Gesundheit und Sicherheit am Arbeitsplatz, Verbraucherschutz, Umwelt, öffentliche Sicherheit und andere öffentliche Interessen, die durch die geltenden Harmonisierungsrechtsvorschriften der Union geschützt werden, stärker beeinträchtigen kann als das im Verhältnis zu seiner Zweckbestimmung oder bei normaler oder nach vernünftigem Ermessen vorhersehbarer Verwendung des betreffenden Produkts – einschließlich der Gebrauchsdauer sowie gegebenenfalls der Anforderungen an Inbetriebnahme, Installation und Wartung – als vernünftig und vertretbar gilt; siehe https://eur-lex.europa.eu/legal-content/DE/TXT/PDF/?uri=CELEX:32019R1020

⁴  Neuestes Corrigendum zum Veröffentlichungsdatum.