Monitorea el uso de la aplicación OpenAI GPT en New Relic

Si ya estás usando o piensas usar los modelos de lenguaje más extensos de OpenAI GPT como GPT-3 y GPT-4, y piensas hacerlo a gran escala, es importante monitorear métricas como el tiempo de solicitud promedio, el total de solicitudes y el costo total. Eso puede ayudarte a garantizar que las API de la serie GPT de OpenAI, como ChatGPT, estén funcionando según lo previsto, especialmente cuando esos servicios se necesitan para funciones importantes como atención al cliente y soporte.  

En esta publicación, aprenderás a configurar fácilmente la integración de New Relic con OpenAI y además:

• Monitorear el uso de OpenAI y hacer seguimiento de los costos.
• Analizar y optimizar el rendimiento del modelo.
• Comprender la interacción del usuario.

Comienza a monitorear OpenAI en minutos

New Relic se dedica a ofrecer herramientas valiosas de IA y de aprendizaje automático (ML) que proporcionan información de monitoreo profunda y se integran con tu stack de tecnología actual. Nuestra integración de MLOps con GPT-3, GPT-3.5 y GPT-4 de OpenAI es la primera en la industria y proporciona una ruta perfecta para monitorear este servicio. Nuestra biblioteca ligera te ayuda a monitorear las consultas de finalización de OpenAI y al mismo tiempo registra estadísticas útiles sobre ChatGPT en un dashboard de New Relic acerca de tus solicitudes.

En este video, puedes ver cómo comenzar a monitorear OpenAI con apenas dos líneas de código y cómo obtener un dashboard prediseñado para ayudarte a conseguir un mejor rendimiento del modelo de GPT.

Con apenas dos líneas de código, simplemente importa el módulo monitor de la biblioteca nr_openai_monitor y genera automáticamente un dashboard que muestra una variedad de métricas clave del rendimiento de GPT como el costo, las solicitudes, el tiempo de respuesta promedio y el promedio de tokens por solicitud.

Para comenzar, instala el inicio rápido de OpenAI Observability de New Relic Instant Observability. Mira el video de Data Bytes o lee nuestra documentación sobre la integración con OpenAI si deseas obtener detalles sobre cómo integrar New Relic con tus aplicaciones de GPT y desplegar el dashboard personalizado.

Haz seguimiento y asigna los costos en función del uso de tokens

El uso de la API de OpenAI se cobra en función del consumo de tokens, con costos que varían en los distintos modelos. Usar Davinci, el modelo más potente de OpenAI, cuesta $0.12 por 1000 tokens (equivalente a aproximadamente 750 palabras). Esto quiere decir que los costos pueden acumularse rápidamente y ocasionar dificultades para operar a gran escala.

Naturalmente, una de las métricas más valiosas que deberías monitorear es el costo de operar ChatGPT. La integración de New Relic para OpenAI ofrece un seguimiento del costo y del consumo de tokens en tiempo real. El dashboard prediseñado revela las implicaciones financieras del uso de OpenAI y te ayuda a determinar casos prácticos más eficientes.

Analiza y optimiza el rendimiento del modelo

La velocidad de tu ChatGPT, Whisper API y otras solicitudes de GPT puede ayudarte a mejorar tus modelos y a proporcionar rápidamente a tus clientes el valor de tus aplicaciones de OpenAI. Nuestra integración te ayuda a monitorear el rendimiento de la API de OpenAI al mostrar los tiempos de respuesta promedio. Con el dashboard prediseñado, puedes analizar la métrica agregada tiempo de respuesta a lo largo del tiempo, o ver un desglose de los tiempos de respuesta por modelo. Con la visibilidad del rendimiento de tu modelo puedes comprender tu uso, resolver problemas más rápido y mejorar la eficiencia de los modelos de aprendizaje automático.

Comprender la interacción del usuario

Otras métricas incluidas en el dashboard de New Relic son el total de solicitudes, el promedio de tokens/solicitudes, los nombres de los modelos y las muestras. Estas métricas ofrecen información valiosa acerca del uso y la efectividad de ChatGPT y OpenAI, y pueden ayudarte a mejorar el rendimiento alrededor de tus casos prácticos de GPT.

Con esta integración, incluso puedes obtener visibilidad de las solicitudes (prompts) y las finalizaciones (completions) del usuario. Esto te permite comprender mejor la interacción del usuario con tus aplicaciones para optimizar los parámetros y las configuraciones.

En general, nuestra integración con OpenAI es rápida, fácil de usar y te dará acceso a métricas en tiempo real que te pueden ayudar a optimizar el uso, mejorar los modelos de aprendizaje automático, reducir costos y lograr un mejor rendimiento con los modelos de GPT.