Se você já está usando ou planeja usar grandes modelos de linguagem GPT do OpenAI como GPT-3 e GPT-4 em larga escala, é importante monitorar métricas como tempo médio de solicitação, total de solicitações e custo total. Isso pode ajudar você a garantir que APIs da série GPT do OpenAI como o ChatGPT estejam funcionado como esperado, principalmente quando esses serviços são necessários para funções importantes como atendimento e suporte ao cliente.
Nesta publicação, você aprenderá como configurar facilmente a integração do New Relic com o OpenAI e:
- Monitorar o uso do OpenAI e rastrear os custos.
- Analisar e otimizar o desempenho do modelo.
- Entender o engajamento do usuário.
Comece a monitorar o OpenAI em minutos
A New Relic foca a entrega de ferramentas valiosas de IA e machine learning (ML) que fornecem insights de monitoramento aprofundados e se integram com seu stack de tecnologia atual. Nossa integração de MLOps com GPT-3, GPT-3.5 e GPT-4 do OpenAI é pioneira no setor e fornece um caminho otimizado para monitorar esse serviço. Nossa biblioteca leve ajuda você a monitorar consultas de preenchimento do OpenAI e grava simultaneamente estatísticas úteis relativas ao ChatGPT em um dashboard do New Relic sobre suas solicitações.
Neste vídeo, saiba como você pode começar a monitorar o OpenAI com apenas duas linhas de código e ter um dashboard predefinido para ajudar a alcançar um melhor desempenho do modelo GPT.
Com apenas duas linhas de código, basta importar o módulo monitor da biblioteca nr_openai_monitor e gerar automaticamente um dashboard que exibe uma variedade de métricas de desempenho importantes do GPT, como custo, solicitações, tempo médio de resposta e média de tokens por solicitação.
Para começar, instale a biblioteca de início rápido OpenAI Observability do New Relic Instant Observability. Assista ao vídeo da série Data Bytes ou leia nossa documentação de integração do OpenAI para mais detalhes sobre como integrar o New Relic com seus aplicativos GPT e implantar o dashboard personalizado.
Tenha o dashboard predefinido de monitoramento do OpenAI instalando a biblioteca de início rápido do New Relic Instant Observability.
Rastreie e aloque custos com base no uso de tokens
O uso da API do OpenAI é cobrado de acordo com o consumo de tokens, com custos variáveis entre modelos diferentes. Usar o modelo Davinci mais poderoso do OpenAI custa US$ 0,12 por 1.000 tokens (o equivalente a cerca de 750 palavras), o que pode se acumular rapidamente e dificultar a operação em larga escala.
Naturalmente, uma das métricas mais valiosas que você pode monitorar é o custo de operação do ChatGPT. A integração do New Relic com o OpenAI fornece rastreamento de custo e consumo de tokens em tempo real. Esse dashboard predefinido revela as implicações financeiras do seu uso do OpenAI e ajuda você a determinar casos de uso mais eficientes.
Monitore e aloque custos com base no uso de tokens no dashboard da biblioteca de início rápido OpenAI Observability.
Analise e otimize o desempenho do modelo
A velocidade do ChatGPT, da Whisper API e das suas outras solicitações GPT podem ajudar você a melhorar seus modelos e entregar rapidamente o valor por trás dos seus aplicativos do OpenAI a seus clientes. Nossa integração ajuda você a monitorar o desempenho da API do OpenAI mostrando os tempos médios de resposta. Com o dashboard predefinido, você pode analisar a métrica tempo de resposta agregada ao longo do tempo ou ver um detalhamento dos tempos de resposta por modelo. Com visibilidade do desempenho do seu modelo, você pode entender seu uso, resolver problemas mais rapidamente e melhorar a eficiência dos seus modelos de ML.
Com o dashboard da biblioteca de início rápido OpenAI Observability, você pode monitorar o tempo médio de resposta da sua API e ver como está o desempenho de cada modelo ao longo do tempo.
Entenda o engajamento do usuário
Outras métricas incluídas no dashboard do New Relic são o total de solicitações, a média de tokens/solicitações, nomes de modelo e amostras. Essas métricas fornecem informações valiosas sobre o uso e a eficácia do ChatGPT e do OpenAI e podem ajudar você a melhorar o desempenho relacionado aos seus casos de uso do GPT.
Com essa integração, você pode até mesmo ter visibilidade dos preenchimentos e prompts de usuário. Isso permite que você entenda melhor o engajamento do usuário com seus aplicativos para otimizar seus parâmetros e suas configurações.
Veja prompts e preenchimentos para entender melhor o engajamento do usuário com seus aplicativos.
No geral, nossa integração do OpenAI é rápida, fácil de usar e dá acesso a métricas em tempo real que podem ajudar você a otimizar seu uso, aprimorar modelos de ML, reduzir custos e ter um melhor desempenho com seus modelos GPT.
Próximos passos
- Instale a biblioteca de início rápido do OpenAI e comece a monitorar seu modelo GPT em minutos.
- Ainda não tem uma conta da New Relic? Cadastre-se e tenha 100 GB por mês de ingestão gratuita de dados, um usuário gratuito com acesso completo e acesso a mais de 600 integrações da biblioteca de início rápido.
- Use o OpenAI para observabilidade. Confira o primeiro assistente com IA generativa do setor, o New Relic Grok.
As opiniões expressas neste blog são de responsabilidade do autor e não refletem necessariamente as opiniões da New Relic. Todas as soluções oferecidas pelo autor são específicas do ambiente e não fazem parte das soluções comerciais ou do suporte oferecido pela New Relic. Junte-se a nós exclusivamente no Explorers Hub ( discuss.newrelic.com ) para perguntas e suporte relacionados a esta postagem do blog. Este blog pode conter links para conteúdo de sites de terceiros. Ao fornecer esses links, a New Relic não adota, garante, aprova ou endossa as informações, visualizações ou produtos disponíveis em tais sites.
