Observabilidade de IA para OpenTelemetry

À medida que as equipes de engenharia adotam o OpenTelemetry (OTel) como padrão para arquiteturas de IA generativa, uma desconexão estrutural nos dados está criando lacunas de visibilidade para os líderes empresariais. Essa fragmentação pode dar origem a aplicativos não gerenciados e ao uso de tokens de LLM sem monitoramento, consumindo silenciosamente os orçamentos de computação em nuvem, enquanto deixa os fluxos de trace do OTel desconectados e completamente isolados dos principais pipelines de segurança. Sem um rastreamento unificado, os serviços de IA de código aberto em produção operam expostos a possíveis problemas, como injeções de prompt não detectadas, vazamento de informações pessoais identificáveis (PII) e ameaças de toxicidade, introduzindo graves riscos financeiros e de conformidade.

A Observabilidade de IA para OTel da New Relic elimina esse atrito com uma poderosa arquitetura de “normalização na leitura”, que unifica a telemetria de código aberto e os dados dos agentes APM nativos em uma única visão integrada e coesa. Em vez de exigir duplicação dispendiosa de dados ou obrigar os desenvolvedores a reescrever o código, a plataforma alinha dinamicamente diferentes esquemas em tempo real, restabelecendo instantaneamente a observabilidade completa. Ao identificar automaticamente os rastros de uso da IA e estabelecer uma ponte sem estado com os pipelines de segurança corporativos, os líderes de plataforma podem recuperar o controle financeiro integral e o controle operacional sobre suas iniciativas de IA.

Governança financeira e benchmarking de modelos entre instrumentações

A expansão da IA generativa em ambientes corporativos frequentemente provoca aumentos expressivos nos custos de computação em nuvem quando as equipes de engenharia não têm visibilidade sobre o consumo total de tokens em microsserviços fragmentados. A observabilidade de IA para OTel elimina esses pontos cegos financeiros ao fornecer inventários unificados de modelos em toda a conta, combinando a telemetria de código aberto com os dados dos agentes APM nativos em dashboards consolidados de visão geral. Os líderes de plataforma passam a ter visibilidade imediata e abrangente dos gastos globais com IA, incluindo métricas como consumo total de tokens, latência das requisições e taxas de erro, permitindo gerenciar proativamente os orçamentos de computação em nuvem.

Para evitar gastos excessivos com o uso de tokens, os gerentes de programas de IA e arquitetos de plataforma devem otimizar continuamente suas seleções de modelos com base em dados objetivos de ROI. A interface de Comparação de Modelos da plataforma dispõe de um mecanismo flexível de resolução de consultas por coluna, que permite realizar benchmarking cruzado entre diferentes instrumentos de monitoramento. Os engenheiros podem realizar avaliações diretas e lado a lado de desempenho e custos, comparando um serviço legado instrumentado com um agente APM proprietário diretamente a um microsserviço modernizado que utiliza o OpenTelemetry de código aberto. Ao renderizar dados claros de custo, latência e qualidade em uma única tela, as organizações podem identificar e implantar com confiança a configuração de LLM mais econômica, maximizando seus investimentos em IA generativa sem comprometer a experiência do usuário final.

Agilidade arquitetônica: “normalização na leitura” para menor TCO

As plataformas tradicionais de observabilidade lidam com o OpenTelemetry normalizando os dados no momento da gravação, interceptando os spans do OTel no gateway de ingestão e modificando-os ou duplicando-os em formatos de eventos proprietários para adaptá-los aos dashboards de monitoramento legados. Essa abordagem legada aumenta as taxas de armazenamento, eleva a sobrecarga de processamento e inflaciona os custos de infraestrutura de nuvem. A New Relic elimina esse excesso de dados por meio de uma estratégia rigorosa de normalização na leitura. A telemetria do OTel é gravada nativamente em tabelas padrão de spans, sem qualquer conversão na fase de ingestão ou duplicação em segundo plano. Em runtime, o mecanismo de consulta da interface detecta dinamicamente a fonte de telemetria e adapta seus modelos NRQL instantaneamente para consultar a tabela spans diretamente, oferecendo visibilidade idêntica sem duplicar dados.

Além da agilidade de consultas no frontend, a plataforma aproveita o design estrutural das convenções semânticas de GenAI do OpenTelemetry para otimizar a eficiência do pipeline de backend. Os agentes tradicionais dos fornecedores frequentemente emitem as entradas dos prompts e as respostas geradas pelos modelos como eventos de telemetria separados, exigindo o acompanhamento do estado das informações e o uso de camadas externas de cache para reunir-los novamente. Em contrapartida, um único span do OTel reúne naturalmente os prompts do usuário (gen_ai.input.messages). e as respostas do LLM (gen_ai.output.messages) em uma única carga autossuficiente. Um OtlpEvaluationHandler dedicado intercepta esses spans de trace e executa o processamento sem estado, removendo completamente o cache do Redis ou as dependências de remontagem de sessão. A combinação da normalização de dados sem necessidade de reescrita com o processamento sem estado reduz significativamente o custo total de propriedade da sua infraestrutura de observabilidade. As equipes de engenharia corporativa preservam total fidelidade aos padrões de código aberto enquanto evitam taxas de duplicação de dados, a expansão da infraestrutura e a sobrecarga de processamento em segundo plano.

Eliminando o uso oculto de IA na arquitetura de microsserviços

Em uma arquitetura de microsserviços complexa e nativa na nuvem, as equipes de desenvolvimento frequentemente adotam bibliotecas de LLM de código aberto para criar recursos autônomos sem notificar os líderes de plataforma ou de segurança. Essa adoção descentralizada cria um uso oculto de IA em toda a empresa, deixando microsserviços não monitorados e não mapeados em execução no ambiente de produção, sem supervisão operacional, alocação centralizada de orçamento ou governança de segurança. Depender dos desenvolvedores para registrar manualmente os serviços de IA ou manter catálogos de serviços estáticos inevitavelmente leva a pontos cegos no inventário, deixando as equipes de plataforma sem saber onde a IA generativa está implantada em sua infraestrutura global.

Para eliminar esse atrito operacional, a New Relic incorpora o mapeamento de infraestrutura sem necessidade de intervenção diretamente ao fluxo central de distributed tracing. Alimentada por uma extensão TraceProcessor especializada dentro do pipeline de ingestão, a plataforma inspeciona os fluxos de trace do OpenTelemetry recebidos em tempo real, verificando as cargas em busca de atributos semânticos gen_ai. No momento em que uma interação com um LLM de código aberto é detectada, o pipeline extrai o GUID da entidade e publica automaticamente a tag aiEnabledApp:true na plataforma global de entidades, sem exigir qualquer intervenção humana ou marcação com tag manual no código.

Esse mecanismo de descoberta em segundo plano transforma a telemetria passiva em governança proativa. No instante em que um engenheiro incorpora ao código uma biblioteca de IA instrumentada com OTel, o microsserviço é automaticamente catalogado na interface central de AI Monitoring. As equipes de plataforma e SREs passam a contar com um inventário atualizado e pronto para auditoria de todas as implementações de IA de código aberto, permitindo a filtragem instantânea pela interface, a segmentação de custos em nível macro e a geração automatizada de alertas com base em parâmetros de referência, para conter gastos excessivos com tokens e anomalias operacionais antes que afetem os usuários finais.

Estendendo a proteção em tempo real para stacks abertos

Operar aplicativos de IA de código aberto em produção sem avaliação contínua expõe sua organização a graves vulnerabilidades de segurança e responsabilidades regulatórias. Quando os fluxos de trace do OTel são desconectados dos pipelines de segurança, ataques maliciosos de injeção de prompts, vazamentos acidentais de PII e resultados tóxicos passam despercebidos pelos mecanismos de supervisão de segurança. Essa lacuna obriga os responsáveis por gestão de riscos e conformidade a escolher entre atrasar a implementação de soluções de IA de código aberto ou correr o risco de sofrer graves danos à reputação da marca e descumprir exigências regulatórias.

A Observabilidade de IA para OTel da New Relic fecha esse ciclo de segurança ao rotear seus dados de trace de código aberto diretamente para o fluxo principal de avaliação. Essa integração direta ao pipeline incorpora verificações de segurança de nível empresarial diretamente aos seus stacks de IA de código aberto, mitigando instantaneamente os riscos para o negócio. Ao implementar a anonimização automática de PII, a proteção contra injeção de prompts em tempo real e a análise de toxicidade no tráfego em produção, os responsáveis pela segurança podem aprovar com confiança a entrada de aplicativos de IA generativa em produção. A organização permanece continuamente protegida contra violações de dados e danos à reputação, sem a necessidade de implementar middlewares de segurança complexos ou comprometer a velocidade de implantação.

Valor estratégico em toda a empresa

A Observabilidade de IA para OpenTelemetry alinha os fluxos de trabalho das equipes de desenvolvimento, operações de plataforma e segurança, permitindo que as empresas expandam rapidamente o uso da IA generativa sem comprometer a governança ou a segurança. Ao remover o atrito da estrutura de dados e estender a paridade de recursos nativos para stacks de código aberto, a plataforma gera valor para o negócio de forma direcionada, atendendo a três funções-chave:

Acelere sua estratégia de IA de código aberto hoje

Implantar a Observabilidade de IA para OpenTelemetry não exige a reescrita de código personalizado nem a dependência de um SDK específico de um fornecedor. Como a plataforma ingere nativamente as convenções semânticas de GenAI padrão do OpenTelemetry, suas equipes de engenharia podem continuar utilizando suas bibliotecas de código aberto preferidas e seus fluxos de trabalho de instrumentação habituais. Basta rotear seus fluxos de trace existentes do OTel para a New Relic, e o processador em segundo plano mapeará automaticamente sua pegada de IA, preencherá os inventários de modelos e fornecerá métricas financeiras e de desempenho unificadas em toda a sua empresa.

Não deixe que incompatibilidades de esquema, custos ocultos com tokens ou riscos de conformidade sem monitoramento comprometam suas iniciativas de GenAI de código aberto. Explore a página central de Entidades de IA para mapear instantaneamente sua pegada de OTel, configure mecanismos automatizados de avaliação para proteger fluxos de trace em tempo real ou solicite uma demonstração ao vivo hoje mesmo para ver como a New Relic unifica a telemetria de IA de código aberto em uma única interface de monitoramento.

Inscreva-se para obter uma conta gratuita ou solicite uma demonstração para explorar esses recursos e junte-se a nós no New Relic Now 2026 para saber mais.