Integraciones para monitorear tu stack completo de IA

A medida que las organizaciones integran la inteligencia artificial (IA) en sus stacks de tecnología para mejorar la eficiencia y ofrecer mejores experiencias a sus clientes, surgen más herramientas para desarrollar y desplegar aplicaciones de IA. Sin embargo, que las aplicaciones pasen del prototipo a la producción no es tan fácil. Los componentes de IA tales como los modelos de lenguaje extensos (LLM) y las bases de datos vectoriales, aunque potentes, también pueden ser opacos y provocar, entre otros problemas, resultados imprecisos o sesgados, vulnerabilidades de seguridad y nuevos tipos y cantidades exorbitantes de datos de telemetría que es necesario analizar.

Para ayudar a resolver ese problema, introdujimos el monitoreo New Relic AI (AIM). Esta solución innovadora aporta una impresionante visibilidad de extremo a extremo de las aplicaciones impulsadas por IA, permitiendo optimizar el rendimiento, la calidad y el costo del desarrollo de aplicaciones de IA. Con el monitoreo New Relic AI, la inteligencia artificial es más fácil de adoptar y, además, se puede aprovechar con confianza todo su potencial para impulsar el crecimiento y la eficiencia del negocio.

Para llevar la observabilidad a herramientas y tecnologías especializadas, hemos desarrollado más de 50 integraciones de inicio rápido que ayudan a proporcionar visibilidad lista para usar en cada capa de tu stack de tecnología de inteligencia artificial:

• Modelos de base (por ejemplo, modelos de lenguaje extensos o LLM)
• Frameworks de orquestación
• Bibliotecas de aprendizaje automático
• Servicio de modelos
• Almacenamiento y registros
• Infraestructura

Frameworks de orquestación: LangChain

Los frameworks de orquestación como LangChain permiten a los desarrolladores vincular los distintos componentes de una aplicación de IA, como el procesamiento de datos, la invocación de modelos y el postprocesamiento. Así resulta más fácil crear y desplegar aplicaciones de inteligencia artificial que son modulares, ampliables y escalables. 

LangChain es un framework de orquestación muy usado por su flexibilidad y facilidad de uso. Ofrece una biblioteca de componentes prediseñados que se pueden combinar para crear aplicaciones de IA personalizadas.

La integración de inicio rápido New Relic LangChain muestra en una sola vista todos los componentes de la aplicación de IA, incluidos modelos, cadenas y herramientas. El dashboard de inicio rápido prediseñado presenta los tiempos de predicción y el uso de tokens, e incluso desglosa el contenido de las instrucciones y respuestas. Así podrás hacer seguimiento del rendimiento, identificar cuellos de botella y optimizar tu aplicación para que sea más eficiente. Además, la integración puede detectar automáticamente distintos modelos como OpenAI y Hugging Face para que puedas comparar y optimizar los LLM.

Modelos de base de IA: OpenAI, Amazon Bedrock, PaLM 2, Hugging Face

Los modelos de IA son algoritmos que se han entrenado con datos para realizar determinadas tareas, como reconocer objetos en imágenes, traducir idiomas o generar texto. OpenAI ofrece varios modelos de inteligencia artificial generativa de uso común, así como las API necesarias para integrar esta funcionalidad en las aplicaciones. New Relic introdujo la primera integración de observabilidad con OpenAI de la industria, que ayuda a monitorear el uso, analizar el rendimiento de los modelos y optimizar los costos de las aplicaciones de OpenAI. Con solo agregar dos líneas de código, puedes acceder a métricas de rendimiento clave como costos, solicitudes y tiempos de respuesta, además de a entradas del usuario y resultados de IA de muestra.

Además, New Relic también se integra con Amazon Bedrock, un servicio completamente administrado por AWS que hace más accesible el diseño y escalado de aplicaciones de inteligencia artificial generativa, ya que proporcionar acceso por API a los modelos de base utilizados por empresas de IA líderes como AI21 Labs, Anthropic, Cohere y Stability AI. Ahora, con la integración Amazon Bedrock, puedes monitorear fácilmente el rendimiento y el uso de la API de Amazon Bedrock y sus LLM conectados.

Además, si encadenas varios modelos a LangChain, podrás comparar el rendimiento de los LLM dentro del mismo dashboard prediseñado. Esto incluye las integraciones con los modelos más usados y con plataformas de hosting tan conocidas como PaLM 2 y Hugging Face.

Bibliotecas de aprendizaje automático: PyTorch, Keras, TensorFlow, scikit-​​learn

Las bibliotecas de aprendizaje automático son un componente esencial del stack de inteligencia artificial porque son justamente las herramientas y bibliotecas que los desarrolladores necesitan para diseñar y entrenar los modelos de IA. New Relic se ha integrado con bibliotecas de aprendizaje automático de uso generalizado como PyTorch, Keras, TensorFlow y scikit-learn para combatir el deterioro de los modelos a través del monitoreo de métricas de rendimiento y de estado, como la latencia de inferencia, la utilización de la memoria y la desviación de datos. Esto te permitirá detectar los problemas a tiempo y te ayudará a identificar el mejor momento para optimizar las bibliotecas de aprendizaje automático.

Servicio de modelos: Amazon SageMaker, Azure Machine Learning

La capa de servicio y despliegue de modelos pone los modelos de IA a disposición de los usuarios. Se ocupa de cargar y ejecutar modelos de IA, así como de proporcionar una API u otra interfaz para que los usuarios puedan interactuar con los modelos. Desarrollar aplicaciones de IA es un proceso complejo que consume muchos recursos, lo que exige una plataforma centralizada para administrar íntegramente el ciclo de vida de desarrollo de IA, desde el diseño hasta el despliegue. 

Las plataformas de IA más usadas que ofrecen esta funcionalidad son Amazon SageMaker y Azure Machine Learning. Las integraciones de inicio rápido Amazon Sagemaker y Azure Machine Learning ofrecen visibilidad de los trabajos de entrenamiento, las invocaciones de extremos y la eficiencia operativa con dashboards prediseñados y alertas. Gracias al monitoreo de métricas clave como las ejecuciones de trabajos, los despliegues de extremos y el uso de CPU y GPU, podrás garantizar que tu infraestructura sea capaz de dar el soporte adecuado a los proyectos de inteligencia artificial a la vez que identificas problemas relacionados con la experiencia del usuario.

Encontrarás más información sobre la integración con Azure Machine Learning en esta publicación del blog.

Almacenamiento y registros: Pinecone, Weaviate, Milvus, FAISS

Las aplicaciones de inteligencia artificial necesitan guardar y acceder a grandes cantidades de datos. Las bases de datos vectoriales son bases de datos especializadas que están diseñadas para guardar y consultar datos de alta dimensión de una manera más eficiente y con búsqueda de similitudes, en lugar de búsqueda de coincidencias exactas. Suelen usarse para aplicaciones de inteligencia artificial porque pueden reducir el costo e incrementar la velocidad para entrenar y desplegar modelos de IA.

Para ayudar a monitorear el estado en que se encuentra la base de datos, New Relic ofrece dashboards prediseñados y de inicio rápido para diversas soluciones de almacenamiento de datos y registros como Pinecone, Weaviate, Milvus y FAISS. Además de mostrar métricas de bases de datos clave como la latencia de ejecución y respuesta, las solicitudes y la utilización del espacio en el disco, los dashboards también te permiten hacer seguimiento de métricas específicas para bases de datos vectoriales, como el rendimiento de la indexación. Los datos se pueden conectar a través de cadenas en LangChain o a través del extremo Prometheus de Pinecone.

Infraestructura: AWS, Azure, Google Cloud Platform, Kubernetes

La infraestructura de inteligencia artificial es la base ideal para desarrollar y desplegar aplicaciones de IA. Comprende GPU y CPU potentes que sirven para entrenar y desplegar modelos de IA, así como plataformas de computación en la nube como AWS, Azure y Google Cloud Platform (GCP) que proporcionan una manera escalable de desplegar aplicaciones de IA. Diseñar estas aplicaciones, agruparlas en clústeres y desplegarlas genera cargas de trabajo que consumen una gran cantidad de recursos, por lo que es imprescindible que cuentes con visibilidad en tu infraestructura. Y para esto hay que poder monitorear los recursos de computación, como la utilización de GPU y CPU, así como los recursos de almacenamiento y redes.

New Relic proporciona monitoreo flexible y dinámico de toda tu infraestructura, desde los servicios que se ejecutan en la nube o en hosts dedicados hasta contenedores que se ejecutan en entornos orquestados. Puedes conectar el estado y el rendimiento de todos tus hosts al contexto de aplicaciones, los logs y los cambios en la configuración.

New Relic ofrece una amplia gama de soluciones de monitoreo de infraestructura, entre ellas:

• Nuestro agente de infraestructura para los sistemas operativos Linux, macOS y Windows.
• Nuestras integraciones con Kubernetes y Pixie.
• Nuestras integraciones en la nube para Amazon, Azure y Google Cloud Platform.
• Nuestras integraciones con Prometheus.
• Nuestras integraciones en el host para servicios como Apache Spark, MySQL, NGINX, Cassandra y Kafka (por nombrar unos pocos). La mayoría de las integraciones en el host se instalan con el agente de infraestructura y colaboran con él para enviar datos.

Trabajar con las tecnologías de inteligencia artificial y de aprendizaje automático más modernas te permite crear experiencias formidables. Pero como sucede con cualquier otra experiencia de software, tu estrategia de monitoreo será clave para que el usuario tenga siempre la mejor experiencia posible. Con nuestras integraciones para inteligencia artificial y monitoreo del rendimiento de los modelos, New Relic te ayuda a visualizar el rendimiento de cada capa de tu stack de IA para identificar fácilmente el rendimiento, los costos y los problemas de calidad que afectan las aplicaciones de IA.