Protegendo a privacidade e segurança de dados ao construir com AI generativa.

Quando decidimos construir a New Relic AI, a nossa missão era desbloquear a observabilidade para todos. Ao combinar o grande modelo de linguagem (LLMs) e nossa Plataforma de Dados de Telemetria unificada, New Relic AI ajuda a tornar a observabilidade onipresente em qualquer organização, oferecendo insights profundos, alertas automatizados e otimização do sistema sem a curva de aprendizado.

A segurança de dados e as preocupações com a privacidade são a prioridade número um ao construir ferramentas que aproveitam a tecnologia generativa de IA. É fundamental considerar como as informações dos clientes são tratadas – tanto internamente quanto por terceiros, desde o prompt inicial até a resposta final – para proteger os dados do usuário. Neste blog, você aprenderá como protegemos os dados e a privacidade em cada estágio de desenvolvimento e obterá uma melhor compreensão de como New Relic AI lida com as informações dos clientes à medida que responde a perguntas e oferece insights em toda a plataforma New Relic.

Manter padrões elevado

Desde o início, a equipe de engenharia por trás da New Relic AI trabalhou em estreita colaboração com as nossas equipes de segurança, jurídica e conformidade para manter os dados dos clientes seguros. Além das preocupações tradicionais de segurança, como controles de acesso, criptografia e gerenciamento de vulnerabilidades, a IA generativa introduz riscos adicionais, como treinamento de segurança de dados e injeção prompt . Isso exige uma nova camada de proteção e torna mais complexa a tarefa de proteger os dados dos clientes. A abordagem da New Relic à privacidade de dados estabelece um padrão elevado para proteger a confidencialidade, integridade e disponibilidade dos dados dos clientes. Embora estivéssemos ansiosos para trabalhar com uma tecnologia tão interessante, era crucial mantermos nossos princípios de “privacidade desde o design” durante todo o processo.

Era importante para nós que qualquer fornecedor usado no design da New Relic AI não apenas estivesse em total conformidade com nossos protocolos padrão de segurança de dados, mas também estivesse alinhado com nossa abordagem de desenvolvimento que prioriza a segurança. A Azure OpenAI está empenhada em não armazenar informações de clientes ou utilizar informações de clientes para melhorar os seus modelos, e continuamos a trabalhar em estreita colaboração com a Azure para garantir que as suas garantias de proteção de dados de serviço se alinhem com a nossa política de segurança. Ao aproveitar sua API, não apenas podemos potencializar New Relic AI com um LLM de última geração, mas também manter os dados de nossos clientes seguros. Mais informações sobre dados, privacidade e segurança do serviço Azure OpenAI podem ser encontradas no site do Azure.

Embora o LLM esteja no centro da New Relic AI, há considerações adicionais de segurança de dados também para outras áreas de sua arquitetura. As seções a seguir discutem como mantemos os dados dos clientes seguros em cada etapa.

Equilibrando contexto e privacidade.

Vamos começar com o banco de dados New Relic (NRDB). Primeiramente, é importante observar que o LLM não tem acesso direto ao NRDB. Quando um usuário pergunta à New Relic AI, “Quantas transações ocorreram nos últimos 10 minutos?”, ele chamará o LLM para gerar a consulta apropriada da New Relic Query Language (NRQL): SELECT count(*) FROM transação SINCE 10 minutes ago, e em seguida, executar essa consulta contra o NRDB. O serviço New Relic AI consulta o NRDB por meio da API NerdGraph usando o token de sessão do usuário fornecido na solicitação e só recebe direitos de acesso dentro do escopo das permissões do usuário. O serviço New Relic AI tem o controle para inspecionar e corrigir consultas antes da execução e é capaz de omitir informações nas respostas antes de fornecê-las ao LLM para sumarização. Isso nos dá as alavancas necessárias para interromper o fluxo quando necessário.

Ao acessar a API NerdGraph, a New Relic AI atua em nome do usuário que envia a solicitação. No entanto, ele não herda do usuário acesso total ao NerdGraph; ele só tem acesso a um conjunto limitado de endpoints NerdGraph, como a execução de uma consulta NRQL. Planejamos estender o acesso da New Relic AI ao NerdGraph quando for necessário para habilitar uma nova funcionalidade, mas estamos comprometidos em fornecer à New Relic AI apenas os direitos de acesso que sejam absolutamente necessários para executar essa função específica.

Para fornecer uma experiência intuitiva ao usuário, New Relic AI tem a capacidade de capturar informações da interface com base na página específica que o usuário está visualizando quando a pergunta é feita. Ele não tem acesso total a tudo o que o usuário vê na página, mas sim a um conjunto limitado de dados, como account id, entity id, e nerdlet id. Isso permite que New Relic AI responda a perguntas como: “Qual é a latência média deste serviço?” porque o LLM recebeu um contexto que lhe permite determinar a que “este serviço” se refere.

Durante uma conversa com New Relic AI, ela “sabe” sobre as mensagens anteriores da conversa em andamento e é capaz de utilizar essas mensagens anteriores para o desenvolvimento. Ele não tem acesso a nenhuma outra conversa. Isso significa que ele não pode desenvolver uma conversa anterior sem reabrir essa conversa específica no Ask AI History e não sabe sobre conversas com outro usuário na mesma conta. Essas limitações ajudam a garantir que as conversas de um usuário com a New Relic AI permaneçam privadas.

Aproveitando a documentação pública

Além de responder perguntas sobre os dados de um usuário, a New Relic AI também é capaz de responder perguntas mais gerais sobre como usar a New Relic com base em nossa documentação pública usando um método conhecido como geração aumentada de recuperação (RAG) para fornecer contexto ao modelo de nossos documentos. (Saiba mais sobre como o RAG melhora nossa avaliação de desempenho da New Relic AI nesta postagem do blog do cientista de dados sênior da New Relic, Tal Reisfeld.)

Nossa documentação está indexada em um banco de dados Pinecone. Cada página da documentação é dividida em partes e, em seguida, a incorporação é criada para cada parte e armazenada no banco de dados geométricos. Quando um usuário faz uma pergunta à New Relic AI, seus serviços backend incorporam a pergunta, procuram por pedaços de documentação relevantes no banco de dados específicos e, em seguida, recuperam os pedaços que estão mais próximos da incorporação.

Incorporação é uma técnica em que um pedaço de texto é reduzido a um vetor de valores de ponto flutuante que captura o significado semântico do pedaço de texto. Uma incorporação não contém o texto original e o texto original não pode ser gerado com base na incorporação. Este vetor de valores de ponto flutuante nos permite encontrar outros vetores que sejam semanticamente semelhantes ao vetor fornecido que representa a solicitação original.

O banco de dados de vetores contém tanto a incorporação quanto o texto original da documentação pública da New Relic. Isso nos permite recuperar o texto original para vetores próximos ao vetor da pergunta. Armazenamos apenas informações públicas no banco de dados de vetores e não indexamos nenhum dado de clientes. Isso garante que não estamos vazando nenhuma informação entre usuários, contas ou clientes por meio do banco de dados de vetor.

Assim, a recuperação de pedaços de documentação relevantes do banco de dados geográficos baseia-se completamente na incorporação da pergunta, e o texto real da pergunta do usuário nunca é enviado ao banco de dados de vetores.

Protegendo proativamente nossos clientes.

A nossa equipe está comprometida em manter uma abordagem proativa para proteger a integridade dos dados de nossos clientes – desde a forma como avaliamos os fornecedores até como selecionamos o contexto necessário e os direitos de acesso de cada serviço de backend da New Relic AI. A tecnologia de AI generativa está crescendo e se desenvolvendo em um ritmo incrível; para fornecer um produto que seja ao mesmo tempo líder do setor e seguro, é fundamental permanecer vigilante tanto em termos de adoção das melhorias mais recentes quanto de avaliação de possíveis riscos de segurança e privacidade de cada nova versão. Continuaremos a investir no nosso talento, tecnologia e parcerias para garantir que a segurança de dados seja sempre a primeira consideração à medida que aumentamos o poder e a aptidão do nosso assistente de observabilidade com IA generativa.