Proteger la privacidad y la seguridad de los datos mientras se construye con IA generativa

Cuando nos propusimos construir New Relic AI, nuestra misión era desbloquear la observabilidad para todos. Al combinar el modelo de lenguaje extenso (LLM) y nuestra Telemetry Data Platform, New Relic AI ayuda a hacer que la observabilidad sea ubicua en cualquier organización al ofrecer información valiosa, alertas automatizadas y optimización del sistema sin la curva de aprendizaje.

La seguridad de los datos y las preocupaciones sobre la privacidad son la prioridad número uno cuando se construyen herramientas que aprovechan la tecnología de IA generativa. Es imperativo considerar cómo se maneja la información de los clientes, tanto internamente como por terceros, desde el primer estímulo hasta la respuesta final, para proteger los datos del usuario. En este blog, aprenderá cómo protegemos los datos y la privacidad en cada etapa de desarrollo y comprenderá mejor cómo New Relic AI maneja la información de los clientes mientras responde preguntas y ofrece información valiosa en toda la plataforma New Relic.

Mantener altos estándares

Desde sus inicios, el equipo de ingeniería detrás de New Relic AI trabajó en estrechamente con nuestros equipos de seguridad, legales y de cumplimiento para mantener seguros los datos de los clientes. Además de las preocupaciones de seguridad tradicionales como controles de acceso, cifrado y la gestión de vulnerabilidades, la IA generativa introduce riesgos adicionales, como la seguridad de los datos de entrenamiento y las inyecciones de estímulos. Estos requieren una nueva capa de protección y hacen que la tarea de proteger los datos de los clientes sea más compleja. El enfoque de New Relic respecto de la privacidad de los datos establece un listón alto para proteger la confidencialidad, integridad y disponibilidad de los datos de los clientes. Si bien estábamos ansiosos por trabajar con una tecnología tan interesante, era crucial que mantuviéramos nuestros principios de "privacidad por diseño" durante todo el proceso.

Para nosotros era importante que cualquier proveedor utilizado en el diseño de New Relic AI no solo cumpliera plenamente con nuestros protocolos estándar de seguridad de los datos, sino que estuviera alineado con nuestro enfoque de desarrollo que prioriza la seguridad. Azure OpenAI se compromete a no almacenar información de los clientes ni a utilizar la información de los clientes para mejorar sus modelos, y continuamos trabajando estrechamente con Azure para garantizar que las garantías de protección de datos de sus servicios se alineen con nuestra política de seguridad. Al aprovechar sus API, no solo podemos potenciar New Relic AI con un LLM de última generación, sino que también podemos mantener seguros los datos de nuestros clientes. Puede encontrar más información sobre los datos, la privacidad y la seguridad del servicio Azure OpenAI en el sitio web de Azure.

Si bien el LLM es el núcleo de New Relic AI, también existen consideraciones adicionales de seguridad de los datos para otras áreas de su arquitectura. Las siguientes secciones analizan cómo mantenemos seguros los datos de los clientes en cada paso.

Equilibrando contexto y privacidad

Comencemos con la base de datos New Relic (NRDB). Primero, es importante tener en cuenta que el LLM no tiene acceso directo a NRDB. Cuando un usuario pregunta a New Relic AI, "¿Cuántas transacciones hubo en los últimos 10 minutos?", llamará al LLM para generar la consulta New Relic Query Language (NRQL) adecuada: SELECT count(*) FROM transacción SINCE 10 minutes ago, luego ejecutará esa consulta contra NRDB. El servicio New Relic AI consulta NRDB a través de la API NerdGraph utilizando el token de sesión del usuario proporcionado en la solicitud, y solo se le otorgan derechos de acceso dentro del alcance de los permisos del usuario. El servicio New Relic AI tiene el control para inspeccionar y corregir consultas antes de su ejecución, y puede redactar respuestas antes de entregárselas al LLM para su resumen. Esto nos da las palancas necesarias para interrumpir el flujo cuando sea necesario.

Al acceder a la API NerdGraph, New Relic AI actúa en nombre del usuario que envía la solicitud. Sin embargo, no hereda el acceso completo a NerdGraph del usuario; solo tiene acceso a un conjunto limitado de funciones extremas de NerdGraph, como ejecutar una consulta NRQL. Planeamos ampliar el acceso de New Relic AI a NerdGraph cuando sea necesario para habilitar una nueva funcionalidad, pero nos comprometemos a proporcionar a New Relic AI solo los derechos de acceso que sean absolutamente necesarios para realizar esa función específica.

Para brindar una experiencia intuitiva al usuario, New Relic AI tiene la capacidad de capturar información de la UI en función de la página específica que el usuario está viendo cuando se hace la pregunta. No tiene acceso completo a todo lo que el usuario ve en la página, sino más bien a un conjunto limitado de datos, como account id, entidad id, y nerdlet id. Esto permite a New Relic AI responder preguntas como: "¿Cuál es la latencia promedio para este servicio?" porque al LLM se le ha proporcionado un contexto que le permite determinar a qué se refiere “este servicio”.

Durante una conversación con New Relic AI, "conoce" los mensajes anteriores de la conversación en curso y puede aprovechar estos mensajes anteriores. No tiene acceso a ninguna otra conversación. Esto significa que no puede aprovechar una conversación anterior sin volver a abrir esa conversación específica desde el Historial de Ask AI y no conoce conversaciones con otros usuarios en la misma cuenta. Estas limitaciones ayudan a garantizar que las conversaciones de un usuario con New Relic AI permanezcan privadas.

Aprovechar la documentación pública

Además de responder preguntas sobre los datos de un usuario, New Relic AI también puede responder preguntas más generales sobre cómo usar New Relic según nuestra documentación pública utilizando un método conocido como generación aumentada por recuperación (RAG) para proporcionar contexto al modelo de nuestros documentos. (Obtenga más información sobre cómo RAG mejora nuestra evaluación del rendimiento de New Relic AI en esta publicación de blog del científico senior de datos de New Relic, Tal Reisfeld).

Nuestra documentación está indexada en una base de datos vectoriales de Pinecone. Cada página de documentación se divide en fragmentos y luego se crea una incrustación para cada fragmento y se almacena en la base de datos vectorial. Cuando un usuario hace una pregunta a New Relic AI, sus servicios backend incrustarán la pregunta, buscarán fragmentos de documentación relevantes en la base de datos vectorial y luego recuperarán los fragmentos más cercanos a la incrustación.

La incrustación es una técnica en la que un fragmento de texto se reduce a un vector de valores de punto flotante que capturan el significado semántico del fragmento de texto. Una incrustación no contiene el texto original y el texto original no se puede generar en función de la incrustación. Este vector de valores de punto flotante nos permite encontrar otros vectores que sean semánticamente similares al vector proporcionado que representa la solicitud original.

La base de datos vectorial contiene tanto el texto incrustado como el original de la documentación pública de New Relic. Esto nos permite recuperar el texto original de los vectores que están cerca del vector de la pregunta. Solo almacenamos información pública en la base de datos vectorial y no indexamos ningún dato de clientes. Esto garantiza que no filtremos ninguna información entre usuarios, cuentas o clientes a través de la base de datos vectoriales.

Por lo tanto, la recuperación de fragmentos de documentación relevantes de la base de datos vectoriales se basa completamente en la incrustación de la pregunta, y el texto real de la pregunta del usuario nunca se envía a la base de datos vectoriales.

Proteger proactivamente a nuestros clientes

Nuestro equipo está comprometido a mantener un enfoque proactivo para proteger la integridad de los datos de nuestros clientes, desde cómo evaluamos a los proveedores hasta cómo seleccionamos el contexto necesario y los derechos de acceso de cada servicio backend de New Relic AI. La tecnología de IA generativa está creciendo y desarrollándose a un ritmo increíble; para ofrecer un producto que sea líder en la industria y seguro, es fundamental mantenerse alerta tanto en términos de adoptar las últimas mejoras como de evaluar los riesgos potenciales de seguridad y privacidad de cada nueva versión. Continuaremos invirtiendo en nuestro talento, tecnología y asociaciones para garantizar que la seguridad de los datos sea siempre la primera consideración a medida que mejoramos el poder y la aptitud de nuestro asistente de observabilidad con IA generativa.