Protection de la confidentialité et sécurité des données lors du développement avec l'IA générative

Lorsque nous avons décidé de créer New Relic AI, notre mission était de rendre l'observabilité accessible à tous. En combinant de grands modèles de langage (LLM) et notre plateforme de données télémétriques unifiée et uniformisée, New Relic AI contribue à rendre l'observabilité omniprésente dans toute organisation en offrant des informations approfondies et détaillées, des alertes automatisées et une optimisation du système sans courbe d'apprentissage.

Lors de la création d’outils exploitant la technologie d’IA générative, les préoccupations en matière de sécurité des données et de confidentialité sont LA priorité. Afin de protéger les données des utilisateurs, il est impératif de réfléchir à la manière dont les informations des clients sont traitées (en interne et par des tiers), du prompt initial à la réponse finale. Dans ce blog, vous découvrirez comment nous avons protégé les données et la confidentialité à chaque étape du développement, et vous comprendrez mieux comment la solution New Relic AI gère les informations des clients lorsqu'elle répond aux questions et propose des informations détaillées à tous les niveaux de la plateforme New Relic.

Des standards de haut niveau

Depuis sa création, l'équipe d'ingénierie de New Relic AI a travaillé en étroite collaboration avec nos équipes de sécurité, juridiques et de conformité pour assurer la sécurité des données des clients. En plus des problèmes de sécurité traditionnels tels que les contrôles d'accès, le chiffrement et la gestion des vulnérabilités, l'IA générative introduit des risques supplémentaires, tels que la sécurité des données de formation et l'injection de prompts. Cela exige un nouveau niveau de protection et rend la tâche de sécurisation des données clients plus complexe. L'approche de New Relic en matière de confidentialité des données place la barre haute pour la protection de la confidentialité, de l'intégrité et de la disponibilité des données clients. Nous avions hâte de travailler avec une technologie aussi fascinante, mais nous savions aussi qu'il était fondamental de maintenir nos principes de « confidentialité dès la conception » et tout au long du processus.

Il était important pour nous que tout fournisseur utilisé dans la conception de New Relic AI soit non seulement entièrement conforme à nos protocoles standard de sécurité des données, mais également aligné sur notre approche de développement axée sur la sécurité. Azure OpenAI s'engage à ne pas stocker les informations des clients ni à utiliser les informations des clients pour améliorer ses modèles, et nous continuons à travailler en étroite collaboration avec Azure pour garantir que les garanties de protection des données de leurs services s'alignent sur notre politique de sécurité. En tirant parti de leurs API, nous sommes non seulement en mesure d'alimenter New Relic AI avec un LLM de pointe, mais également de protéger les données de nos clients. De plus amples informations sur les données, la confidentialité et la sécurité du service Azure OpenAI sont disponibles sur le site Web Azure.

Bien que le LLM soit au cœur de New Relic AI, il faut également prendre en compte d'autres éléments de la sécurité des données dans d'autres domaines de l'architecture. Les sections suivantes expliquent comment nous protégeons les données des clients à chaque étape.

Comment équilibrer le contexte et la confidentialité

Commençons par la base de données New Relic (NRDB). Tout d'abord, il est important de noter que le LLM n'a pas d'accès direct au NRDB. Lorsqu'un utilisateur demande à New Relic AI : « Combien de transactions y a-t-il eu au cours des 10 dernières minutes ? », il appellera le LLM pour générer la requête New Relic Query Language (NRQL) appropriée : SELECT count(*) FROM transaction SINCE 10 minutes ago, puis exécutez cette requête sur NRDB. Le service New Relic AI requête NRDB via l'API NerdGraph à l'aide du jeton de session de l'utilisateur fourni dans la demande, et ne bénéficie de droits d'accès que dans la limite des autorisations de l'utilisateur. Le service New Relic AI a le contrôle nécessaire pour inspecter et corriger la requête avant son exécution, et est capable de rédiger les réponses avant de les fournir au LLM pour résumé. Cela nous donne les leviers nécessaires pour interrompre le flux en cas de besoin.

Lors de l'accès à l'API NerdGraph, New Relic AI agit au nom de l'utilisateur soumettant la demande. Cependant, il n'hérite pas de l'accès intégral à NerdGraph de l'utilisateur ; il n'a accès qu'à un ensemble limité de points de terminaison NerdGraph, comme l'exécution d'une requête NRQL. Nous prévoyons d'étendre l'accès de New Relic AI à NerdGraph lorsque cela est nécessaire pour activer une nouvelle fonctionnalité, mais nous nous engageons à ne fournir à New Relic AI que les droits d'accès absolument nécessaires pour exécuter cette fonctionnalité.

Afin de fournir une expérience utilisateur intuitive, New Relic AI a la capacité de collecter des informations de l'UI en fonction de la page spécifique consultée par l'utilisateur lorsque la question est posée. La solution n'a pas accès à tout ce que l'utilisateur voit sur la page, mais plutôt à un ensemble limité de données, telles que account id, entité id,et nerdlet id. Cela permet à New Relic AI de répondre à des questions telles que « Quelle est la latence moyenne de ce service ? » parce que le LLM a reçu un contexte qui lui permet de déterminer à quoi « ce service » fait référence.

Lors d'une conversation, New Relic AI « est au courant » des messages précédents de la conversation en cours et peut s'appuyer dessus. La solution n’a accès à aucune autre conversation. Cela signifie qu'elle ne peut pas s'appuyer sur une conversation précédente sans la rouvrir spécifiquement à partir de Ask AI History et qu'elle ne connaît pas les conversations avec d'autres utilisateurs sur le même compte. Ces limitations permettent de garantir que les conversations d'un utilisateur avec New Relic AI restent privées.

Utilisation de la documentation publique

Outre les réponses aux questions sur les données d'un utilisateur, New Relic AI peut également répondre à des questions plus générales sur l'utilisation de New Relic en appliquant la méthode RAG (génération augmentée de récupération) sur notre documentation afin d'apporter le contexte nécessaire au modèle. (Pour en savoir plus sur la façon dont la méthode RAG améliore notre évaluation des performances de New Relic AI, lisez ce billet de blog de Tal Reisfeld, Scientifique principal des données, New Relic.)

Notre documentation est indexée dans une base de données vectorielle Pinecone. Chaque page de la documentation est sectionnée, puis l'incorporation (ou embedding) est créée pour chaque section et stockée dans la base de données vectorielle. Lorsqu'un utilisateur pose une question à New Relic AI, ses services backend incorporent la question, recherchent les sections de la documentation pertinentes dans la base de données vectorielle, puis récupèrent celles qui sont les plus proches de l'intégration.

L'embedding est une technique dans laquelle des éléments de texte sont réduits en vecteurs mathématiques qui capturent le sens sémantique d'un texte. Il ne contient pas le texte d'origine et celui-ci ne peut pas être généré sur la base de l'embedding. Ce vecteur mathématique permet de trouver d'autres vecteurs sémantiquement similaires au vecteur fourni représentant la requête d'origine.

La base de données vectorielle contient à la fois l'embedding et le texte d'origine de la documentation publique de New Relic. Cela nous permet de récupérer le texte d'origine pour les vecteurs proches du vecteur de la question. Nous stockons uniquement les informations publiques dans la base de données vectorielle et nous n'indexons aucune donnée client. Cela garantit que nous ne divulguons aucune information entre utilisateur, comptes ou clients via la base de données vectorielle.

Ainsi, la récupération d'éléments pertinents de la documentation depuis la base de données vectorielle est entièrement basée sur l'embedding de la question, et le texte réel de la question de l'utilisateur n'est jamais envoyé à la base de données vectorielle.

Protection proactive de nos clients

Notre équipe s'engage à maintenir une approche proactive afin de protéger l'intégrité des données de nos clients — qu'il s'agisse de la manière dont nous évaluons les fournisseurs, dont nous sélectionnons le contexte, ou des droits d'accès nécessaires pour chaque service backend de New Relic AI. La technologie de l’IA générative est en pleine croissance et se développe à un rythme incroyable. Si l'on veut proposer un produit qui est à la fois à la pointe du secteur et sécurisé, il est essentiel de rester vigilant en matière d'adoption des dernières améliorations et d'évaluation des risques potentiels de sécurité et de confidentialité de chaque nouvelle version. Nous continuons d'investir dans notre talent, notre technologie et nos partenariats pour garantir que la sécurité des données reste la priorité tandis que nous renforçons la puissance et les capacités de l'IA générative pour l'observabilité.