O New Relic AI Monitoring agora tem disponibilidade geral

O cenário da IA está evoluindo rapidamente. Novos modelos de IA poderosos como Sora, Mistral Next e Gemini 1.5 Pro estão empurrando os limites do que é possível. Empresas em todos os lugares estão ávidas por aproveitar esses avanços e criar experiências revolucionárias para os clientes.

Na New Relic, entendemos o potencial imenso da IA generativa e é por isso que criamos o New Relic AI, uma solução de IA generativa feita para democratizar a observabilidade. Nossa vasta experiência no desenvolvimento do New Relic AI nos proporcionou um entendimento profundo sobre os desafios inerentes e a necessidade crítica de soluções de monitoramento de IA robustas. É por isso que apresentamos o New Relic AI Monitoring, a primeira solução de monitoramento do desempenho de aplicativos (APM) do setor para IA que fornece visibilidade inigualável de todo o stack do aplicativo de IA.

Mas o New Relic AI Monitoring não é só nosso, é de todos! Queremos capacitar organizações de todos os tamanhos a embarcarem nas suas jornadas de IA com confiança. É por isso que estamos animados em anunciar a disponibilidade geral do New Relic AI Monitoring. Essa nova adição poderosa às mais de 30 funcionalidades da plataforma New Relic capacita você a monitorar, gerenciar e otimizar seus aplicativos de IA em termos de desempenho, qualidade e custo.

Nesta publicação do blog, usaremos um serviço de chat simples, criado com grandes modelos de linguagem (LLM) do OpenAI e LangChain para demonstrar o poder do New Relic AI Monitoring. Analisaremos seus recursos e orientaremos você sobre como utilizá-lo para resolver bugs na resposta do seu aplicativo de IA.

Instrumentação e integração sem esforço

Com as funcionalidades de instrumentação automática do New Relic, integrar o monitoramento de IA aos seus fluxos de trabalho é simples e intuitivo. Não importa se você está usando frameworks de IA como OpenAI ou Amazon Bedrock, nossos agentes fornecem uma instrumentação fácil nas linguagens Python, Node.js, Ruby, Go e .NET. Com um processo de instalação guiada, você pode definir a instrumentação para monitorar seu aplicativo de chat em poucos cliques, garantindo que esteja equipado para monitorar seus aplicativos de IA desde o início. 

Pegue, por exemplo, o serviço de chat simples. Você pode começar assim:

• No New Relic, navegue até Add Data e selecione AI Monitoring.
• Sob AI Monitoring, escolha o framework que você quer monitorar, por exemplo, OpenAI Observability.
• Selecione o agente de instrumentação (neste caso, Python) e siga as instruções claras passo a passo para concluir a instrumentação.

Visibilidade full-stack para aplicativos de IA

Assim que seu aplicativo de IA é instrumentado, o New Relic AI Monitoring fornece visibilidade inigualável sobre seu desempenho e comportamento. O New Relic AI Monitoring vai além do monitoramento do desempenho de aplicativos (APM) tradicional, integrando-se perfeitamente ao APM 360. Essa combinação poderosa fornece uma visão unificada do seu ecossistema de IA, proporcionando as métricas de APM padrão que você espera (tempo de resposta, taxas de transferência, taxa de erros) e métricas específicas de IA, como total de solicitações, tempo médio de resposta e uso de tokens, tudo fundamental para a otimização do seu aplicativo de IA. Isso capacita você a monitorar todo seu ambiente de IA com eficiência em uma só interface. 

Vamos ver isso em ação no serviço de chat. 

• No New Relic, navegue até AI Monitoring.
• Clique em AI Entity e selecione seu serviço de chat.
• A visão resumida exibe as métricas de aplicativo e IA lado a lado.

Sob o widget de resposta da IA na visão resumida, você pode ver que o serviço de chat processou 2,830 respostas no total, com um tempo médio de resposta de 7,1 segundos e uma média de uso de 858 tokens por resposta.

Identifique outliers nas respostas de IA com rapidez

Entender e analisar as respostas de IA é muito fácil com o New Relic AI Monitoring. Com uma visão consolidada de respostas de IA, você pode identificar rapidamente outliers e tendências nas respostas de LLM, permitindo que ajuste seu aplicativo para que tenha o melhor desempenho, qualidade e custo. 

Aqui, podemos analisar o feedback e sentimento de cada resposta de IA, além de filtrar por vários critérios, como solicitação, resposta, erros e muito mais. 

Você pode acessar a visão AI Response de duas maneiras:

• No resumo de serviço: clique no widget AI Response para uma visão focada.
• Visão global: clique na navegação principal de AI Response para uma visão consolidada de todas as entidades de IA.

Para o serviço de chat, vamos clicar no widget AI Response na visão resumida. Na página AI Response, vamos filtrar por erros e observar todas as respostas de IA que têm um erro para o serviço de chat.

Clicar em uma das respostas de IA com um erro levará você para a visão de tracing de resposta, onde é possível detalhar ainda mais a causa raiz.

Analise a causa raiz mais rapidamente com insights de trace aprofundados

O New Relic AI Monitoring acaba com a adivinhação durante a resolução de bugs em aplicativos de IA complexos. Nossa visão de tracing de respostas revela toda a jornada da sua solicitação de IA, desde a entrada inicial do usuário até a resposta final. O New Relic AI Monitoring também captura vários metadados associados a cada solicitação. Ao clicar em spans, você pode acessar metadados como contagem de tokens, informações de modelo e também visualizar mensagens trocadas durante chamadas de modelo, habilitando a resolução de bugs granular.

Nossa integração com LangChain permite o tracing passo a passo, demonstrando como a entrada é processada através dos diferentes componentes de IA e como as saídas são geradas. Essa funcionalidade de resolução de bugs refinada e granular é inestimável para a resolução de problemas de aplicativos de IA complexos.

Lembra do cenário de erro em nosso serviço de chat? Clicar no span problemático no trace revela informações detalhadas do erro. Isso permite que você diagnostique e corrija rapidamente a causa raiz do problema, colocando seu aplicativo de IA de volta aos eixos sem demora.

Otimize o desempenho e custo em todos os modelos

Escolher o modelo de IA certo para seu aplicativo é crucial. Mas com um numero cada vez maior de opções, como você pode ter certeza de que está selecionando a melhor? É aqui que a comparação de modelo de IA do New Relic AI Monitoring entra em cena, fornecendo insights valiosos sobre o desempenho e custo de diferentes modelos de IA para ajudar você a tomar decisões bem informadas sobre o modelo certo que atenda às suas necessidades.  

Saiba como utilizar a comparação de modelo de IA em poucos cliques para o aplicativo de chat simples:

• No New Relic, navegue até AI Monitoring.
• Na seção de funcionalidades, clique em Compare Models.
• Escolha os modelos que deseja comparar, por exemplo, GPT-4 versus Bedrock.
• Clique em See the Comparison para ver os resultados detalhados e selecionar o modelo certo para seu serviço de chat.

Segurança de dados aprimorada e privacidade do usuário

Na New Relic, entendemos a importância de proteger dados sensíveis. É por isso que o New Relic AI Monitoring oferece recursos de segurança robustos para garantir a conformidade e a privacidade do usuário. Com a funcionalidade de filtro de remoção, você pode excluir tipos de dados selecionados (como informações de identificação pessoal ou PII) do monitoramento, enquanto nossa opção de recusa completa dá a você controle total sobre a transmissão, permitindo que desabilite o envio de prompts e respostas por meio da configuração do agente.

A definição de filtros de remoção é um processo fácil. Na funcionalidade AI Monitoring, basta navegar até a seção Drop Filters. Você pode, então, criar filtros usando consultas em New Relic Query Language (NRQL) para atingir tipos de dados específicos nos seis eventos oferecidos.