Si ya estás usando o piensas usar los modelos de lenguaje más extensos de OpenAI GPT como GPT-3 y GPT-4, y piensas hacerlo a gran escala, es importante monitorear métricas como el tiempo de solicitud promedio, el total de solicitudes y el costo total. Eso puede ayudarte a garantizar que las API de la serie GPT de OpenAI, como ChatGPT, estén funcionando según lo previsto, especialmente cuando esos servicios se necesitan para funciones importantes como atención al cliente y soporte.
En esta publicación, aprenderás a configurar fácilmente la integración de New Relic con OpenAI y además:
- Monitorear el uso de OpenAI y hacer seguimiento de los costos.
- Analizar y optimizar el rendimiento del modelo.
- Comprender la interacción del usuario.
Comienza a monitorear OpenAI en minutos
New Relic se dedica a ofrecer herramientas valiosas de IA y de aprendizaje automático (ML) que proporcionan información de monitoreo profunda y se integran con tu stack de tecnología actual. Nuestra integración de MLOps con GPT-3, GPT-3.5 y GPT-4 de OpenAI es la primera en la industria y proporciona una ruta perfecta para monitorear este servicio. Nuestra biblioteca ligera te ayuda a monitorear las consultas de finalización de OpenAI y al mismo tiempo registra estadísticas útiles sobre ChatGPT en un dashboard de New Relic acerca de tus solicitudes.
En este video, puedes ver cómo comenzar a monitorear OpenAI con apenas dos líneas de código y cómo obtener un dashboard prediseñado para ayudarte a conseguir un mejor rendimiento del modelo de GPT.
Con apenas dos líneas de código, simplemente importa el módulo monitor de la biblioteca nr_openai_monitor y genera automáticamente un dashboard que muestra una variedad de métricas clave del rendimiento de GPT como el costo, las solicitudes, el tiempo de respuesta promedio y el promedio de tokens por solicitud.
Para comenzar, instala el inicio rápido de OpenAI Observability de New Relic Instant Observability. Mira el video de Data Bytes o lee nuestra documentación sobre la integración con OpenAI si deseas obtener detalles sobre cómo integrar New Relic con tus aplicaciones de GPT y desplegar el dashboard personalizado.
Obtén el dashboard prediseñado de monitoreo de OpenAI con solo instalar el inicio rápido de New Relic Instant Observability.
Haz seguimiento y asigna los costos en función del uso de tokens
El uso de la API de OpenAI se cobra en función del consumo de tokens, con costos que varían en los distintos modelos. Usar Davinci, el modelo más potente de OpenAI, cuesta $0.12 por 1000 tokens (equivalente a aproximadamente 750 palabras). Esto quiere decir que los costos pueden acumularse rápidamente y ocasionar dificultades para operar a gran escala.
Naturalmente, una de las métricas más valiosas que deberías monitorear es el costo de operar ChatGPT. La integración de New Relic para OpenAI ofrece un seguimiento del costo y del consumo de tokens en tiempo real. El dashboard prediseñado revela las implicaciones financieras del uso de OpenAI y te ayuda a determinar casos prácticos más eficientes.
Monitorea y asigna costos según el uso de tokens en el dashboard de inicio rápido de OpenAI Observability.
Analiza y optimiza el rendimiento del modelo
La velocidad de tu ChatGPT, Whisper API y otras solicitudes de GPT puede ayudarte a mejorar tus modelos y a proporcionar rápidamente a tus clientes el valor de tus aplicaciones de OpenAI. Nuestra integración te ayuda a monitorear el rendimiento de la API de OpenAI al mostrar los tiempos de respuesta promedio. Con el dashboard prediseñado, puedes analizar la métrica agregada tiempo de respuesta a lo largo del tiempo, o ver un desglose de los tiempos de respuesta por modelo. Con la visibilidad del rendimiento de tu modelo puedes comprender tu uso, resolver problemas más rápido y mejorar la eficiencia de los modelos de aprendizaje automático.
Con el dashboard de inicio rápido de OpenAI Observability, puedes monitorear el tiempo de respuesta promedio de tu API y ver cómo cada modelo rinde con el transcurso del tiempo.
Comprender la interacción del usuario
Otras métricas incluidas en el dashboard de New Relic son el total de solicitudes, el promedio de tokens/solicitudes, los nombres de los modelos y las muestras. Estas métricas ofrecen información valiosa acerca del uso y la efectividad de ChatGPT y OpenAI, y pueden ayudarte a mejorar el rendimiento alrededor de tus casos prácticos de GPT.
Con esta integración, incluso puedes obtener visibilidad de las solicitudes (prompts) y las finalizaciones (completions) del usuario. Esto te permite comprender mejor la interacción del usuario con tus aplicaciones para optimizar los parámetros y las configuraciones.
Visualiza las solicitudes y finalizaciones para comprender mejor la interacción del usuario con tus aplicaciones.
En general, nuestra integración con OpenAI es rápida, fácil de usar y te dará acceso a métricas en tiempo real que te pueden ayudar a optimizar el uso, mejorar los modelos de aprendizaje automático, reducir costos y lograr un mejor rendimiento con los modelos de GPT.
Próximos pasos
- Instala el inicio rápido de OpenAI y comienza a monitorear tu modelo de GPT en minutos.
- ¿No tienes una cuenta de New Relic? Regístrate y obtén 100 GB/mes de ingesta de datos gratis, un usuario Full Platform y acceso a más de 600 integraciones de inicio rápido.
- Aprovecha OpenAI para la observabilidad. Échale un vistazo al primer asistente de IA generativa de la industria: New Relic Grok.
Las opiniones expresadas en este blog son las del autor y no reflejan necesariamente las opiniones de New Relic. Todas las soluciones ofrecidas por el autor son específicas del entorno y no forman parte de las soluciones comerciales o el soporte ofrecido por New Relic. Únase a nosotros exclusivamente en Explorers Hub ( discus.newrelic.com ) para preguntas y asistencia relacionada con esta publicación de blog. Este blog puede contener enlaces a contenido de sitios de terceros. Al proporcionar dichos enlaces, New Relic no adopta, garantiza, aprueba ni respalda la información, las vistas o los productos disponibles en dichos sitios.
