Embora a IA eleve os aplicativos modernos a níveis sem precedentes, ela também apresenta novos desafios para os engenheiros que constroem e executam aplicativos viabilizados por IA. Diferentemente de aplicativos tradicionais, os aplicativos com IA exigem um novo stack de tecnologia que incorpora componentes avançados, como grandes modelos de linguagem (LLMs) e armazenamentos de dados vetoriais. Além disso, eles geram dados de telemetria adicionais, como qualidade e custo, que precisam ser considerados para assegurar que os aplicativos de IA sejam seguros e confiáveis. Solucionar as complexidades e otimizar esses aplicativos novos são tarefas essenciais para o futuro da IA, principalmente em vista do recente decreto do presidente Biden que visa a estabelecer padrões para assegurar que o desenvolvimento e a implantação de sistemas de IA ocorram de maneira segura, confiável e ética.
Hoje, anunciamos o New Relic AI Monitoring (AIM), a primeira solução de APM do setor que fornece visibilidade completa para qualquer aplicativo viabilizado por IA. Já disponível para acesso antecipado, o AIM dá aos engenheiros visibilidade e insights sem precedentes de todo o stack de IA para que tenham confiança de que estão construindo e executando aplicativos de IA seguros e responsáveis.
Antes de abordarmos os aspectos mais técnicos do AIM, vamos entender por que o monitoramento de IA é importante e quais componentes do stack precisam ser monitorados para garantir que seus aplicativos de IA estejam funcionando corretamente.
Por que aplicativos de IA precisam ser monitorados?
Há vários motivos para a necessidade de monitoramento de aplicativos de IA:
- Qualidade e precisão: monitore a existência de preconceitos, toxicidade e alucinações em modelos de IA complexos para garantir resultados justos e confiáveis.
- Ajuste de desempenho: identifique e resolva gargalos computacionais para que seus aplicativos sejam sempre responsivos e eficientes.
- Gerenciamento de custos: monitore o processamento de tokens para gerenciar os custos do modelo de IA com eficácia e ficar dentro dos limites orçamentários.
- Uso responsável: assegure que as respostas da IA sejam livres de preconceitos e toxicidade que possam causar danos.
- Segurança: monitore os aplicativos de IA para detectar vulnerabilidades e adote medidas corretivas para mitigar possíveis ataques à segurança.
O New Relic AIM leva o poder da observabilidade para engenheiros que trabalham com IA ao fornecer os insights necessários para resolver bugs, monitorar e melhorar os aplicativos de IA, garantindo que eles funcionem como esperado, entreguem resultados precisos e atendam aos padrões emergentes de uso responsável.
Decodificando o stack de IA
Os stacks de IA são conjuntos complexos de ferramentas e tecnologias usados para desenvolver e implantar aplicativos de IA. Como mencionado anteriormente, os stacks de IA fazem mais do que criar um novo conjunto de dados de telemetria, eles com frequência exigem mais dados, mais recursos de computação e mais ferramentas e tecnologias especializadas do que os stacks de tecnologias tradicionais.
Os principais componentes de um stack de tecnologia de IA incluem:
- Camada de infraestrutura: fornece a base para o desenvolvimento e a implantação da IA, incluindo poderosas GPUs e CPUs para treinar e implantar modelos de IA junto com plataformas de computação na nuvem, como AWS, Azure e Google Cloud Platform (GCP), que fornecem uma maneira dimensionável de implantar aplicativos de IA.
- Armazenamento de dados/armazenamento de dados vetoriais: os aplicativos de IA precisam armazenar e acessar grandes quantidades de dados. Os bancos de dados vetoriais são bancos de dados especializados que foram desenvolvidos para armazenar e consultar dados altamente dimensionais que frequentemente são usados em aplicativos de IA.
- Camada de modelo: contém os modelos de IA usados para fazer previsões ou gerar resultados. Alguns dos modelos de IA mais populares para geração de conteúdo incluem GPT-4, Anthropic, Cohere, LLama 2 e Amazon Bedrock.
- Framework de orquestração: frameworks de orquestração como o LangChain fornecem uma maneira de unir diferentes componentes de um aplicativo de IA, como processamento de dados, invocação de modelo e pós-processamento.
- Camada de aplicativo: contém os aplicativos voltados para o usuário que interagem com os modelos de IA.
New Relic AIM: APM para IA
O New Relic AIM leva o poder da observabilidade para todo o stack. Assim como os engenheiros monitoram seu stack de aplicativos com o New Relic APM, o AIM oferece aos engenheiros visibilidade completa de todos os componentes do stack de IA para que você possa facilmente monitorar, resolver bugs e melhorar seus aplicativos de IA para desempenho, qualidade, custo e conformidade.
Configuração rápida e fácil
Os agentes do New Relic fornecem configuração rápida e fácil para o monitoramento de IA, sem necessidade de instrumentação adicional. Eles oferecem suporte incorporado para modelos populares, como OpenAI e AWS Bedrock, além de frameworks de orquestração como o LangChain. Isso dá a você visibilidade completa de ponta a ponta e insights de trace aprofundados de todo o seu stack de IA, permitindo que você identifique e analise com facilidade o desempenho de componentes individuais, monitore o fluxo de dados e identifique possíveis gargalos nos aplicativos de IA.
Resolva bugs rapidamente com visibilidade completa de todo o stack de IA
O New Relic AIM é integrado perfeitamente com o New Relic APM 360 para proporcionar visibilidade de ponta a ponta em todo o stack de IA, incluindo a camada de serviço, a infraestrutura e os modelos de IA. Agora, você pode correlacionar o desempenho do aplicativo a tendências upstream e downstream para entender, em tempo real, como os problemas afetam outras partes do aplicativo. Isso elimina as especulações e torna a resolução de problemas intuitiva e eficiente para todos os engenheiros.
A captura de tela a seguir mostra o resumo do New Relic APM 360 com o AIM integrado. Essa tela unificada fornece insights instantâneos das principais métricas da camada de IA, como o número total de solicitações, o tempo médio de resposta, o uso de tokens, o feedback dos usuários e as taxas de erros de resposta juntamente com os sinais clássicos de APM, insights de infraestrutura e logs. Agora imagine que há um pico nos erros do aplicativo bem como nos erros de resposta de IA integrados na tela de resumo do New Relic APM 360. Você pode identificar rapidamente o problema na camada de IA e se aprofundar na visão das respostas de IA para ver a causa raiz do problema.
Otimize o desempenho, a qualidade e o custo do aplicativo IA com insights aprofundados
O New Relic AIM fornece traces aprofundados para cada resposta, proporcionando a visibilidade necessária para que você entenda como seus aplicativos de IA estão funcionando e tome decisões informadas sobre como corrigir o desempenho, resolver problemas de qualidade, como preconceitos, toxicidade e alucinações, e gerenciar custos. Com a interface de respostas do New Relic AIM, você pode:
- Identificar anomalias e tendências: o AIM fornece uma visão consolidada expansível de todas as respostas de IA. Isso facilita a identificação de anomalias e tendências nas suas respostas.
- Monitorar todo o ciclo de vida de cada resposta: o New Relic AIM permite ver integralmente o ciclo de vida da resposta, do início ao fim. Começando no prompt e passando por todas as etapas nos componentes do aplicativo com uma visão em cascata compreensível, como mostra a captura de tela abaixo.
Além disso, você pode ver os detalhes, incluindo o prompt, o feedback negativo e os metadados para cada resposta de modo que possa identificar e corrigir rapidamente os problemas relacionados a desempenho ou qualidade.
Compare o desempenho e custo em todos os modelos
A comparação de modelos é uma parte fundamental do monitoramento de IA. Ela permite que você identifique o melhor modelo conforme as suas necessidades, monitore o desempenho ao longo do tempo e otimize os custos. O New Relic AIM fornece uma visão unificada e fácil de usar para resolução de problemas, comparação e otimização de prompts e respostas de diferentes LLMs em relação a desempenho, custo e problemas de qualidade, como alucinação, preconceito e toxicidade em todos os modelos.
A otimização do custo do aplicativo de IA é um caso de uso comum na comparação de modelos do AIM. Monitorando o uso de tokens em todos os modelos de IA, você pode identificar quais modelos são mais caros de serem executados para escolher os mais econômicos e otimizar a arquitetura do aplicativo de IA.
Monitore instantaneamente qualquer ecossistema de IA com o maior conjunto de integrações
O New Relic AIM fornece mais de 50 integrações para o ecossistema de IA. Isso inclui LLMs populares, bibliotecas de machine learning (ML), bancos de dados vetoriais, bem como frameworks que não são compatíveis no momento com os agentes do New Relic. Essas integrações incluem dashboards e alertas pré-configurados, além de outros componentes essenciais de observabilidade que dão visibilidade instantânea do desempenho e da saúde do seu aplicativo de IA.
New Relic: pioneira em monitoramento de IA
A New Relic se tornou uma pioneira em observabilidade com o lançamento do AIM. O AIM oferece visibilidade sem precedentes, integração perfeita e insights aprofundados de todo o stack de IA. Com a integração com o New Relic APM 360, você pode identificar facilmente problemas de desempenho, custo e qualidade que afetam seus aplicativos de IA. Ao introduzir a observabilidade de IA, o AIM possibilita que as organizações adotem a IA com confiança em seus aplicativos, construam credibilidade junto a clientes e parceiros e se antecipem a regulamentações no cenário em constante mudança da inteligência artificial.
Próximos passos
Comece a usar o New Relic AI Monitoring
O New Relic AIM está disponível em acesso antecipado e está incluído como parte da plataforma de observabilidade completa do New Relic. Cadastre-se no acesso antecipado
Ainda não se cadastrou para obter sua conta de usuário com acesso completo da New Relic? Crie uma conta gratuita e tenha 100 GB/mês de ingestão de dados grátis, além de acesso às mais de 30 capacidades da plataforma, incluindo ferramentas populares, como APM, monitoramento de infraestrutura, gerenciamento de logs, dashboards personalizados, Errors Inbox, tracing, monitoramento de mudanças e muito mais.
As opiniões expressas neste blog são de responsabilidade do autor e não refletem necessariamente as opiniões da New Relic. Todas as soluções oferecidas pelo autor são específicas do ambiente e não fazem parte das soluções comerciais ou do suporte oferecido pela New Relic. Junte-se a nós exclusivamente no Explorers Hub ( discuss.newrelic.com ) para perguntas e suporte relacionados a esta postagem do blog. Este blog pode conter links para conteúdo de sites de terceiros. Ao fornecer esses links, a New Relic não adota, garante, aprova ou endossa as informações, visualizações ou produtos disponíveis em tais sites.
Esta publicação do blog contém declarações “prospectivas” conforme a definição das leis de garantia federais incluindo, mas não limitado a, declarações sobre a disponibilidade do New Relic AI Monitoring e suas funções, incluindo benefícios esperados, oportunidades futuras e resultados relacionados. O cumprimento ou sucesso dos assuntos abordados nas declarações prospectivas é baseado nas atuais suposições, expectativas e crenças da New Relic, estando sujeito a riscos significativos, incertezas, suposições e mudanças nas circunstâncias que podem fazer com que os resultados reais, o desempenho ou os êxitos da New Relic sejam materialmente diferentes do que está expresso ou implícito na declaração prospectiva. Mais informações sobre os fatores que podem afetar os resultados financeiros e outros da New Relic, além das declarações prospectivas desta publicação do blog, estão inclusas nos registros que a New Relic faz periodicamente com a SEC, incluindo o último Formulário 10-Q da New Relic, especificamente as declarações em “Risk Factors” (Fatores de risco) e “Management’s Discussion and Analysis of Financial Condition and Results of Operations” (Discussão e análise da condição financeira e resultados das operações pela gerência). É possível obter cópias desses documentos visitando o site de Investor Relations (Relacionamento com investidores) da New Relic em http://ir.newrelic.com ou o site da SEC em www.sec.gov. A New Relic não assume a obrigação nem pretende atualizar as declarações prospectivas, exceto quando imposto por lei.
