A dualidade da observabilidade impulsionada pela IA

Com o ritmo cada vez mais acelerado das inovações em IA, o foco mais recente está na orquestração e nos fluxos de trabalho orientados a agentes. A transição para o uso de agentes é uma evolução natural dos casos de uso do LLM de um ano atrás, e a IA de agentes abre novas e interessantes maneiras de aumentar a produtividade em uma variedade de domínios, desde resposta a incidentes até pesquisa e desenvolvimento de software. Mas essas novas funcionalidades vêm acompanhadas de um aumento substancial na complexidade. Está se tornando mais difícil monitorar, resolver bugs e governar sistemas com agentes em comparação com os sistemas relativamente lineares dos LLMs. Isso cria uma oportunidade dupla que transforma completamente a maneira como pensamos sobre observabilidade.

Há duas revoluções complementares acontecendo simultaneamente:

1. Observabilidade para IA de agentes: proporcionando a visibilidade necessária para facilitar a adoção da IA, tornando os sistemas de IA de caixa preta transparentes e depuráveis.
2. Inteligência artificial para observabilidade: utilizando insights inteligentes e ações automatizadas em fluxos de trabalho complexos para transformar o monitoramento reativo tradicional em operações proativas e preditivas.

Observabilidade para IA: tornando as caixas pretas transparentes

Considere um aplicativo moderno baseado em IA onde cada interação do agente envolve múltiplos dos seguintes elementos:

• Chamada de ferramentas com APIs externas
• Contexto sendo transferido entre agentes
• Ramificações de processamento paralelo
• Lógica de tratamento de erros e repetição
• Decisões de otimização de desempenho

O monitoramento do desempenho de aplicativos (APM) tradicional não consegue fornecer transparência nessa complexa rede de interações. Você pode até conseguir ver a duração das solicitações HTTP, mas perderá completamente o processo de tomada de decisão da IA. 

Para desbloquear todo o potencial da IA, é necessário ter uma visibilidade profunda dessas interações em nível de agente. Ao mesmo tempo, o desempenho dentro da entidade de APM também é necessário para identificar e resolver rapidamente problemas específicos dos seus componentes de IA. Para impulsionar a adoção de IA e não ficar para trás da concorrência, você precisa reduzir e, em última instância, eliminar as incógnitas sobre o desempenho dos sistemas e os motivos por trás desse funcionamento.

Com o monitoramento de IA de agentes, estamos expandindo os recursos de AI Monitoring existentes da New Relic para fornecer a mesma visibilidade automática e detalhada, mas estendendo-a a todas as chamadas de agente e ferramenta em suas colaborações multiagentes. Você obtém insights granulares sobre a utilização, o desempenho e os erros das ferramentas, com uma visualização que mostra quais agentes e ferramentas foram integrados, em que ordem e os principais dados de desempenho. Sem necessidade de instrumentação manual. Isso virá com distributed tracing com AI Agent Spans para permitir que você rastreie cada interação entre agentes de IA e as ferramentas que eles estão integrando. Isso também destacará as mudanças na forma como seus componentes de IA se comunicam, e tudo isso estará disponível em uma única visualização.

Além disso, estamos lançando o Filtro de Respostas de IA, que permite filtrar instantaneamente as chamadas relacionadas à IA na sua visualização de catálogo para identificar, abordar e corrigir problemas mais rapidamente. Acabaram-se os dias em que era preciso vasculhar manualmente milhares de logs para encontrar um prompt ou resposta problemática. E, claro, estamos sempre aprimorando nosso monitoramento de LLM para incluir novas APIs e protocolos, incluindo agora suporte para ConverseAPI (API da AWS Bedrock para criar aplicativo de IA com LLMs).

Considere o cenário em que você está se esforçando para adotar rapidamente a IA, construindo sistemas multiagente poderosos, porém complexos. Qual o problema? Basicamente, você está andando às cegas. Quando esses aplicativos de IA falham, a visibilidade sobre o que deu errado é limitada ou inexistente, colocando em risco seus enormes investimentos em IA. Tomemos como exemplo Devin, um líder de engenharia em uma empresa de comércio eletrônico. Sua equipe está construindo um novo mecanismo de recomendação de IA bastante complexo, essencialmente uma equipe de agentes de IA. Cada agente tem uma função específica:

• Um agente encontra produtos relevantes
• Outro agente analisa as avaliações dos clientes
• Um terceiro agente personaliza a recomendação final com base nas preferências do usuário

Quando o mecanismo de recomendação fornece ao usuário uma recomendação lenta ou incorreta, a resolução de problemas se torna um jogo de adivinhação frustrante para Devin e sua equipe. Eles não conseguem visualizar as interações complexas entre seus agentes de IA, o que significa análises de causa raiz mais lentas e maior período de inatividade. A empresa corre o risco de perder receita, e a equipe de Devin tem dificuldades para inovar enquanto está atolada em tarefas de resolução de bugs.

Ao contrário de ferramentas isoladas ou APM genérico, o New Relic AI Monitoring elimina as suposições e oferece visibilidade completa de seus aplicativos de IA de agentes. O AI Monitoring de agentes da New Relic correlaciona automaticamente o desempenho da IA com todo o seu stack. Ele mapeia e monitora cada chamada de agente e ferramenta em seu sistema, para que você possa identificar instantaneamente gargalos, detectar erros e entender exatamente como suas ferramentas estão sendo usadas. Isso é observabilidade projetada para IA.

Nosso novo Mapa de Serviços de Agentes oferece uma visão completa de todas as interações entre seus agentes de IA. A visualização de trace de IA permite que você veja cada etapa, incluindo quais agentes foram chamados, a latência e os erros. Você pode analisar detalhadamente os traces de agente e ferramenta específicos para encontrar a causa raiz dos problemas em segundos. Com o monitoramento Autogen, você pode visualizar as comunicações entre agentes na visualização em cascata que você já conhece. E o Inventário de IA oferece um local centralizado para visualizar todos os agentes e serviços de IA que você está gerenciando. Isso simplifica a governança e ajuda os engenheiros a se concentrarem rapidamente nas ferramentas específicas pelas quais são responsáveis.

É um divisor de águas. Em vez de passar dias resolvendo bugs, você pode identificar e resolver problemas em minutos e voltar a criar ótimos recursos. Ao acelerar a resolução de problemas para serviços de IA de agentes, a New Relic pode ajudar a evitar a perda de receita e reduzir os custos operacionais. Isso reduz os riscos dos seus investimentos em IA e capacita sua empresa a tomar decisões melhores com base em resultados confiáveis de IA.

IA para observabilidade: inteligência em todas as camadas

As mesmas técnicas de IA que impulsionam esses fluxos de trabalho automatizados podem ser aplicadas à própria observabilidade, permitindo que você crie sistemas inteligentes que pensam sobre sua infraestrutura da mesma forma que seus engenheiros, mas na velocidade e escala das máquinas. O servidor New Relic MCP é a solução para levar nossos recursos de IA a qualquer agente de IA compatível com MCP. Você deve ter a liberdade de escolher suas ferramentas, e não ficar preso a elas. Por isso, ao contrário de outras soluções vinculadas a um único agente de IA, nosso servidor MCP foi desenvolvido para ser completamente independente de qualquer cliente de IA específico. É um conjunto de ferramentas extensível projetado para funcionar com agentes compatíveis com MCP, desde o GitHub CoPilot até o ChatGPT e o Claude — a escolha é sua.

Isso significa que você pode trazer todos os seus dados de observabilidade diretamente para a sua ferramenta GenAI preferida e tomar medidas, diretamente do seu fluxo de trabalho existente. Isso permite que você:

• Obtenha alertas e incidentes usando linguagem natural
• Gere relatórios de inteligência sem sair do IDE ou do assistente de IA
• Analise implantações usando consultas conversacionais em várias ferramentas

Na New Relic, nosso objetivo é sempre atender nossos clientes onde eles realmente trabalham, sem forçá-los a alternar entre contextos, abas ou janelas. Estamos projetando o servidor New Relic MCP para permitir uma interação perfeita e padronizada entre a New Relic e o crescente ecossistema de ferramentas de IA que dão suporte ao MCP. Assistentes de IA como o GitHub Copilot se tornaram comuns para desenvolvedores, mas geralmente operam de forma isolada. Isso significa que os engenheiros precisam alternar para sua ferramenta de observabilidade para solucionar problemas, o que lhes custa tempo e esforço adicionais. New Relic é a única plataforma que traz a observabilidade diretamente para o fluxo de trabalho conversacional com o qual os desenvolvedores já estão familiarizados.

Por exemplo, Amy é líder de engenharia em uma grande empresa de mídia social. Sua equipe utiliza assistentes de IA para escrever e implantar código mais rapidamente. Quando há um problema de produção, seus engenheiros são obrigados a alternar constantemente entre contextos. Eles deixam o assistente de IA, fazem log em ferramentas de observabilidade separadas, executam consultas para encontrar os dados corretos e, em seguida, voltam a trabalhar no código. Esse fluxo de trabalho fragmentado, baseado em silos de dados, é lento e ineficiente, prejudicando a produtividade e atrasando a resposta a incidentes. Para uma plataforma de mídia social onde a experiência do usuário é fundamental, esse atraso pode afetar o engajamento do usuário e a receita com anúncios.

A equipe de Amy explorou outras ferramentas, mas descobriu que a abordagem da Datadog para monitoramento de MCP exigia "pacotes de habilidades" manuais apenas para conectar-se à sua IA, criando atrito. A Dynatrace era muito restritiva, tentando obrigá-los a usar uma IA proprietária em vez dos assistentes que seus desenvolvedores já utilizavam. Nenhuma das opções oferecia o fluxo de trabalho fluido e conversacional de que precisavam.

O servidor New Relic AI MCP elimina esse atrito, trazendo a observabilidade diretamente para os assistentes de IA que sua equipe já utiliza. Ele integra a New Relic AI a qualquer agente compatível com MCP, para que os engenheiros possam consultar dados e obter insights em seu fluxo de trabalho natural. Imagine seus engenheiros perguntando ao assistente de IA em linguagem simples: "Qual é a taxa de erros da nossa plataforma desde a última implantação?" e obtendo uma resposta instantânea, com tecnologia New Relic, sem precisar sair do ambiente de programação. Isso é observabilidade na velocidade de uma conversa.

Ao incorporar insights da New Relic diretamente em agentes de IA, engenheiros podem solucionar problemas e resolvê-los em um fluxo de trabalho único e unificado, resultando em ganhos de produtividade imediatos. Os engenheiros podem usar linguagem natural para consultar instantaneamente dados de telemetria, analisar os impactos da implantação e gerar relatórios de alerta, reduzindo drasticamente o tempo médio de resolução (MTTR). Isso torna os dados de observabilidade acessíveis a todos na equipe, independentemente do seu nível de habilidade com linguagens de consulta. Se eles puderem fazer uma pergunta, poderão obter insights da New Relic, o que levará a decisões mais inteligentes e rápidas em todos os níveis.

Ao acelerar a resposta a incidentes e incorporar a observabilidade diretamente no Ciclo de Vida de Desenvolvimento de Software (SDLC), a New Relic melhora a produtividade dos desenvolvedores e protege a experiência do usuário. Essa integração perfeita simplifica os principais fluxos de trabalho de Gerenciamento de Serviços de TI (ITSM) e Gerenciamento de Operações de TI (ITOM), reduz os custos operacionais e capacita sua equipe a inovar mais rapidamente.

A transformação estratégica

A observabilidade para IA remove as barreiras à adoção da IA, tornando sistemas complexos compreensíveis e confiáveis. A IA para observabilidade transforma suas operações de reativas para preditivas, de manuais para automatizadas. Juntas, elas criam um loop de feedback inteligente: os sistemas de IA tornam-se mais observáveis e confiáveis, enquanto as plataformas de observabilidade tornam-se mais inteligentes e proativas. É assim que a New Relic está construindo a confiança necessária para permitir que nossos clientes inovem na velocidade do software em um mundo acelerado por IA.