Presentamos el monitoreo New Relic AI, el primer APM para inteligencia artificial de la industria

La IA está lanzando las aplicaciones modernas a niveles mas altos, pero también está causando dificultades únicas entre los ingenieros que crean y ejecutan aplicaciones impulsadas por IA. A diferencia de las aplicaciones tradicionales, las aplicaciones de IA requieren un nuevo stack de tecnología que incorpora componentes avanzados como modelos de lenguaje extensos (LLM) y almacenes de datos vectoriales. Además, generan datos de telemetría adicionales (como calidad y costos) que es necesario tomar en cuenta para garantizar la seguridad y fiabilidad de las aplicaciones de IA. Abordar las complejidades y optimizar estas aplicaciones novedosas es imprescindible para el futuro de la IA, especialmente en vista de la reciente orden ejecutiva de la administración Biden orientada a establecer normas que garanticen el desarrollo y el despliegue seguro, fiable y ético de los sistemas de IA.

Hoy nos complace anunciar el monitoreo New Relic AI (AIM): la primera solución de APM de la industria que ofrece una visibilidad de extremo a extremo para cualquier aplicación impulsada por IA. Disponible ahora para acceso anticipado, AIM ofrece a los ingenieros una visibilidad sin precedentes e información valiosa en todo el stack de IA para que puedan crear y ejecutar con plena confianza aplicaciones de IA seguras y responsables.

Antes de profundizar en los aspectos más técnicos del AIM, veamos por qué es importante el monitoreo de la IA y qué componentes del stack necesitan ponerse bajo monitoreo a fin de garantizar que tus aplicaciones de IA estén funcionando correctamente

¿Por qué monitorear
las aplicaciones de IA?

Varias razones justifican el monitoreo de las aplicaciones de IA:

• Calidad y fiabilidad: monitorear en busca de sesgo, toxicidad y alucinaciones en los modelos de IA complejos para garantizar resultados justos y fiables.
• Ajuste del rendimiento: identificar y resolver cuellos de botella computacionales para mantener aplicaciones de IA capaces de responder rápida y eficientemente.
• Administración de costos: hacer seguimiento del procesamiento de tokens para administrar los costos de modelos de IA con eficacia y mantenerse dentro de los límites del presupuesto.
• Uso responsable: garantizar que las respuestas de IA estén libres del sesgo y la toxicidad que pueden causar perjuicio.
• Seguridad: monitorear las aplicaciones de IA para detectar vulnerabilidades y tomar acciones correctivas que puedan mitigar posibles ataques de seguridad.

New Relic AIM trae el poder de la observabilidad a los ingenieros que trabajan en IA al proporcionar la información necesaria para depurar, monitorear y mejorar las aplicaciones de IA, asegurándose de que operen como se debe y produzcan resultados fiables y cumplan con las normas emergentes en relación al uso responsable.

Decodificar el stack de IA

Los stacks de IA son conjuntos de herramientas y tecnologías complejos que se utilizan para desarrollar y desplegar aplicaciones de IA. Como se mencionó anteriormente, los stacks de IA no solo ofrecen un nuevo grupo de datos de telemetría, sino que también con frecuencia requieren más datos, más recursos de computación y más herramientas y tecnologías especializadas que los stacks de tecnología tradicionales. 

Los componentes clave de un stack de tecnología de IA son:

• Capa de infraestructura: es lo que sirve de base para el desarrollo y el despliegue de la IA, lo que incluye GPU y CPU poderosos para entrenar y desplegar los modelos de IA junto con las plataformas de computación en la nube como AWS, Azure y Google Cloud Platform (GCP) que proporcionan un vehículo escalable para desplegar aplicaciones de IA.
• Almacenamiento de datos/almacenamiento de datos vectoriales: las aplicaciones de IA necesitan almacenar y acceder a grandes cantidades de datos. Las bases de datos vectoriales son bases de datos especializadas que están diseñadas para guardar y consultar los datos altamente dimensionales que suelen utilizarse en las aplicaciones de IA. 
• Capa de modelo: contiene los modelos de IA que se utilizan para hacer predicciones o generar resultados. Algunos de los modelos de IA populares para la generación de contenido son GPT-4, Anthropic, Cohere, LLama 2 y Amazon Bedrock.
• Framework de orquestación: los frameworks de orquestación como LangChain proporcionan una manera de vincular los distintos componentes de una aplicación de IA, como el procesamiento de datos, la invocación de modelos y el postprocesamiento. 
• Capa de aplicaciones: contiene las aplicaciones que son visibles para los usuarios y que interactúan con los modelos de IA.

New Relic AIM:
APM para inteligencia artificial 

New Relic AIM incorpora el poder de la observabilidad en todo el stack. Así como los ingenieros monitorean su stack de aplicaciones con New Relic APM, New Relic AIM les proporciona una visibilidad completa en todos los componentes del stack de IA para darte la oportunidad de monitorear, depurar y mejorar tus aplicaciones de IA en relación al rendimiento, la calidad y los costos, además de garantizar el cumplimiento de los reglamentos correspondientes. 

Configuración rápida y fácil

Los agentes de New Relic permiten realizar una configuración rápida y fácil para el monitoreo de inteligencia artificial sin necesidad de instrumentación adicional. Ofrecen soporte integrado para modelos populares tales como OpenAI y AWS Bedrock, así como frameworks de orquestación como LangChain. Esto da visibilidad completa, de extremo a extremo, además de información de rastreos profundos en todo el stack de IA permitiendo identificar y analizar fácilmente el rendimiento de los componentes individuales, rastrear el flujo de datos e identificar los cuellos de botella potenciales en tus aplicaciones de IA.

Depura más rápido gracias a la visibilidad completa de todo el stack de IA

New Relic AIM se integra perfectamente con New Relic APM 360 para dar una visibilidad de extremo a extremo en todo el stack de IA, desde la capa de servicio hasta la infraestructura pasando por los modelos de IA. Ahora puedes correlacionar el rendimiento de una aplicación de IA con las tendencias ascendentes y descendentes para comprender cómo los problemas afectan otras partes de la aplicación en tiempo real. Esto elimina las suposiciones y hace que la solución de problemas sea intuitiva y eficiente para todos los ingenieros. 

A continuación podemos ver una captura de pantalla del resumen de New Relic APM 360 con la vista de AIM integrada. Esta vista unificada brinda una perspectiva instantánea de las métricas clave de la capa de IA, como el número total de solicitudes, el tiempo de respuesta promedio, el uso de tokens, los comentarios de los usuarios y las tasas de errores de respuesta, junto con las señales doradas del APM, información de infraestructura y los logs. Ahora imagínate que ves un aumento en los errores de la aplicación y también en los errores de respuesta de la IA integrada en la vista de resumen de New Relic APM 360. El problema se puede aislar rápidamente en la capa de IA y luego se puede examinar a fondo la vista de las respuestas de IA hasta llegar a la causa raíz del problema.

Optimizar el rendimiento, la calidad y el costo de una aplicación de IA gracias a la información a fondo 

New Relic AIM proporciona rastreos profundos por cada respuesta que te da la visibilidad que necesitas para comprender cómo están funcionando tus aplicaciones de IA y tomar decisiones informadas sobre cómo corregir el rendimiento, cómo abordar los problemas de calidad (sesgo, toxicidad y alucinación) y cómo controlar los costos. Con la IU de respuesta de New Relic AIM, podrás:

• Identificar los valores atípicos y las tendencias: AIM ofrece una vista consolidada, agrupada, de todas las respuestas de IA. De esta manera es más fácil identificar valores atípicos y tendencias en las respuestas.

• Rastrea todo el ciclo de vida de cada respuesta: New Relic AIM te permite ver el ciclo de vida de la respuesta de extremo a extremo. A partir de la invitación, pasando por todas las etapas de los componentes de la aplicación con una vista de cascada fácil de entender, como se puede apreciar en la captura de pantalla que sigue.

Además, puedes ver todos los detalles: la invitación, los comentarios negativos y los metadatos por cada respuesta para que puedas identificar rápidamente y corregir problemas relacionados con el rendimiento o la calidad.

Compara el rendimiento y los costos en todos los modelos

La comparación de modelos es un aspecto clave del monitoreo de inteligencia artificial porque te permite identificar el mejor modelo para tus necesidades, rastrear el rendimiento a lo largo del tiempo y optimizar los costos. New Relic AIM proporciona una sola vista fácil de usar para identificar problemas, comparar y optimizar las distintas invitaciones de LLM y las respuestas en relación con el rendimiento, los costos y los problemas de calidad (alucinación, sesgo y toxicidad) en todos los modelos. 

Si se desea optimizar los costos de la aplicación de IA, con frecuencia se hace una comparación de modelos de AIM. Cuando se hace un seguimiento del uso de tokens en todos los modelos de IA, se puede identificar qué modelos son los más caros de implementar. Y eso te permite elegir modelos menos caros para optimizar la arquitectura de aplicaciones de IA.

Monitorea al instante cualquier ecosistema de IA con el conjunto más amplio de integraciones

New Relic AIM ofrece más de 50 integraciones para el ecosistema de IA. Esto comprende los populares modelos de lenguaje extensos (LLM), las bibliotecas de aprendizaje automático, las bases de datos vectoriales, además de frameworks que los agentes de New Relic no admiten en este momento. Estas integraciones comprenden dashboards preconfigurados, alertas y otros elementos de observabilidad fundamentales que te dan visibilidad instantánea del rendimiento y del estado de la aplicación de IA.

New Relic: al frente del monitoreo de inteligencia artificial

New Relic está liderando la observabilidad con la introducción de AIM. AIM te permite tener una visibilidad sin precedentes, una integración perfecta e información a fondo de todo el stack de IA. Gracias a su integración con New Relic APM 360, puedes identificar fácilmente los problemas de rendimiento, costos y calidad que afectan las aplicaciones de IA. Al abrirse camino hacia la observabilidad de inteligencia artificial, AIM da a las organizaciones la oportunidad de adoptar con plena confianza la IA en sus aplicaciones, cultivar la confianza con sus clientes y socios e ir un paso por delante de los reglamentos que tienen que ver con el siempre cambiante panorama de la inteligencia artificial.