A partir de hoje, a plataforma Claude passa a exportar nativamente traces do OpenTelemetry (OTel) a partir do Claude Managed Agents, da API Messages e dos SDKs do Claude, em versão beta pública. O New Relic AI Monitoring captura esses spans diretamente nos destinos em que são registrados. Sua arquitetura Normalize on Read consulta esses dados diretamente na tabela Span para que nada seja duplicado na ingestão e, quando seu aplicativo transmite o contexto do trace (o SDK do Claude faz isso por você), cada span do Claude fica integrado ao mesmo trace que os seus dados de APM.
Os mesmos spans podem alimentar a Avaliação de IA da New Relic, em visualização do público. Com o conteúdo completo ativado, a ferramenta rastreia prompts e respostas geradas pelo Claude em tempo real em busca de tentativas de injeção de prompt, vazamento de informações de identificação pessoal (PII) e toxicidade.
Até agora, a execução de um agente era dividida entre consoles. Seus serviços executavam as ferramentas personalizadas, enquanto a plataforma Claude executava o modelo e, no caso do Claude Managed Agents, também gerenciava o ciclo de execução do agente.
Um trace do seu serviço para o modelo
Adicione a New Relic como um destino no Claude Console. Em seguida, configure o trace no SDK do Claude, como mostra o guia do OpenTelemetry da Anthropic, e aponte o exportador do OpenTelemetry do seu aplicativo para a New Relic. Quando seu código chama o SDK dentro de seus próprios spans, o SDK transmite o contexto do trace para a plataforma Claude, fazendo com que os spans da plataforma fiquem aninhados aos seus.
- Claude Managed Agents: cada solicitação de sessão, etapa de execução do agente, requisição ao modelo, utilização de ferramenta e avaliação de resultado.
- API Messages: cada solicitação de mensagem, incluindo suas requisições ao modelo e compactações, além de qualquer uso de ferramenta de servidor ou conector MCP.
- SDKs do Claude: as requisições e ferramentas personalizadas do seu aplicativo, para Python, TypeScript, Go, Java, C#, PHP e Ruby.
Os spans seguem as convenções semânticas de GenAI do OTel, que a Observabilidade de IA já reconhece, eliminando a necessidade de manter mapeamentos de atributos.
Corrija bugs de agentes no contexto de todo o seu stack
Digamos que um agente de suporte leve 40 segundos para emitir um reembolso. Raramente o modelo é o único responsável por esse tempo. A Observabilidade de IA mostra o modelo respondendo rapidamente e, em seguida, o seu serviço gastando 36 segundos executando a ferramenta lookup_order. Essa ferramenta chamou a sua API de pedidos, que estava aguardando uma consulta ao banco de dados que ficou mais lenta após a implantação da noite anterior. Como os spans do Claude compartilham um trace com os seus dados de APM, você pode seguir o rastro além do agente, o que as ferramentas exclusivas de LLM não podem fazer.
Do sintoma à causa-raiz em uma única visualização
- Cascata de trace do agente: requisições ao modelo e utilização de ferramentas em uma linha do tempo dentro dos spans do seu próprio serviço.
- Agentes como entidades: cada agente do Claude Managed Agents recebe sua própria entidade, com métricas de latência e taxa de erros que você pode monitorar como faria com qualquer outro serviço.
- Replay de conversa: percorra uma sessão mensagem por mensagem, visualizando os prompts e as respostas ao lado dos tempos de execução, quando o conteúdo completo estiver ativado.
- Alertas e dashboards: são dados da New Relic, portanto, os alertas NRQL e os seus dashboards existentes funcionam com eles.
Governe o uso de ferramentas
Com o conteúdo completo, cada span de ferramenta carrega os argumentos e o resultado da ferramenta, o que fornece às equipes um registro do que cada agente acessou. Escolha o conteúdo completo para capturar prompts e respostas, ou apenas metadados para manter o tempo e os identificadores e nomes. Encaminhe o tráfego do Claude para a Avaliação de IA da New Relic e esse registro será rastreado à medida que acontece.
Comece a observar os seus agentes do Claude hoje
Um administrador de uma organização adiciona a New Relic como um destino na página de configurações do OpenTelemetry do Claude Console, escolhe a sua região da New Relic (EUA, EU ou JP), insere uma chave de licença de ingestão e escolhe quais áreas de trabalho enviam traces. Os spans chegam em cerca de um minuto, sem alterações de código no lado da API.
O trace da plataforma Claude está em versão beta pública para a plataforma Claude nativa. O suporte ao Amazon Bedrock e ao Google Cloud Vertex AI estará disponível em breve.
Leia o guia de configuração para conectar os seus agentes do Claude ou solicite uma demonstração para ver os traces do Claude na Observabilidade de IA. O anúncio da Anthropic [Claude blog link] aborda a perspectiva deles sobre o lançamento. Novo na New Relic? Inscreva-se para obter uma conta gratuita.
As opiniões expressas neste blog são de responsabilidade do autor e não refletem necessariamente as opiniões da New Relic. Todas as soluções oferecidas pelo autor são específicas do ambiente e não fazem parte das soluções comerciais ou do suporte oferecido pela New Relic. Junte-se a nós exclusivamente no Explorers Hub ( support.newrelic.com ) para perguntas e suporte relacionados a esta postagem do blog. Este blog pode conter links para conteúdo de sites de terceiros. Ao fornecer esses links, a New Relic não adota, garante, aprova ou endossa as informações, visualizações ou produtos disponíveis em tais sites.
