Presentamos AI Evaluation: cierra el círculo a lo largo de todo el ciclo de vida de la IA

Los equipos de ingeniería se apresuran a desplegar agentes autónomos y arquitecturas RAG, pero el paso de la IA generativa de la fase piloto a producción deja al descubierto una brecha crítica de visibilidad en el monitoreo tradicional de software. Mientras que las soluciones puntuales aíslan las llamadas individuales a los LLM en un entorno de pruebas, las aplicaciones de IA empresariales funcionan mediante transacciones complejas y probabilísticas que abarcan sistemas distribuidos. Observar la IA de forma aislada genera puntos ciegos peligrosos respecto de los efectos operativos en las etapas anteriores y posteriores del proceso, además de acentuar la desconexión entre los desarrolladores de IA y los equipos de ingeniería de producción. El monitoreo tradicional mide la capacidad de procesamiento y la latencia, pero pasa por alto las fallas semánticas, lo que impide que los equipos detecten alucinaciones, filtraciones de información de identificación personal (PII) y desviaciones inesperadas del modelo.

New Relic AI Evaluation resuelve este problema de confianza al integrar controles automatizados de calidad directamente en tu flujo de trabajo de observabilidad actual. Gracias a un servicio asincrónico que utiliza un LLM como juez, evalúa automáticamente los prompts y las respuestas generadas en tiempo real según estrictos parámetros de seguridad y precisión, y vincula esas métricas de calidad directamente con tus rastreos distribuidos. Al vincular directamente la calidad semántica de las respuestas con los spans del software subyacente y los costos de infraestructura, los responsables obtienen el control en tiempo real necesario para proteger la reputación de la marca, optimizar el gasto en LLM y escalar las aplicaciones de IA en producción con confianza.

Escalar la GenAI empresarial de forma segura

AI Evaluation, desarrollada como una capacidad de New Relic AI Observability, transforma la forma en que los equipos de ingeniería gestionan las aplicaciones no deterministas al ampliar el monitoreo tradicional del rendimiento para incluir la observabilidad semántica y cualitativa. En lugar de tratar las respuestas de los LLM como cajas negras cuyo funcionamiento no se puede examinar, los equipos ahora pueden medir automáticamente la precisión, la seguridad y la relevancia de las entradas y las respuestas generadas por la IA, junto con la telemetría principal de las aplicaciones.

Mediante modelos de evaluación especializados, el servicio evalúa muestras del contenido de los prompts y de las respuestas generadas por el modelo según parámetros predefinidos de calidad y seguridad. Cada interacción evaluada recibe una puntuación normalizada de 0 a 1, un resultado claro de aprobación o rechazo basado en umbrales personalizables y una explicación del razonamiento utilizado. De esta manera, tu equipo obtiene información útil para tomar medidas ante fallas que pasan desapercibidas, como las alucinaciones o las fugas de datos.

A diferencia de las soluciones puntuales independientes que aíslan los datos de evaluación, AI Evaluation está integrada de forma nativa en la plataforma de New Relic. Las puntuaciones de calidad, los indicadores de fallas y las justificaciones de las evaluaciones se envían automáticamente a la plataforma y se incorporan como atributos directamente a los rastreos distribuidos originales. Esta integración fluida vincula las puntuaciones probabilísticas de calidad directamente con las causas raíz de los problemas de software, lo que te permite pasar de una puntuación que indica una respuesta de baja calidad al span del prompt específico, a la llamada de recuperación de datos de una base de datos vectorial o al servicio de backend que provocó el problema, todo desde una única vista.

Optimiza tu gasto en IA

A medida que se extiende el despliegue de IA en las empresas, los líderes de ingeniería y los equipos de plataforma enfrentan el desafío cada vez mayor de ofrecer experiencias de usuario excepcionales sin que se disparen los costos de procesamiento de los modelos. AI Evaluation conecta la telemetría de rendimiento con la gobernanza financiera al vincular directamente las puntuaciones de calidad de las respuestas con el consumo de recursos de la infraestructura subyacente. Esta visibilidad contextual permite a los equipos evaluar si los modelos más costosos, con una mayor cantidad de parámetros, ofrecen mayor precisión y relevancia que otras alternativas más rápidas y económicas. Gracias a una comprensión clara de la relación entre calidad y costo, las organizaciones pueden optimizar la selección de modelos y reemplazar los LLM que no ofrecen el rendimiento esperado para reducir los costos asociados al consumo de tokens sin comprometer la calidad de las respuestas ni la confianza de los clientes.

Para evitar que la carga adicional de las evaluaciones ejerza una presión excesiva sobre los recursos, AI Evaluation incorpora un sistema de muestreo inteligente con amplias opciones de configuración. Los operadores de la plataforma pueden establecer reglas de muestreo detalladas para el tráfico en tiempo real, como realizar comprobaciones de toxicidad o fugas de datos en una muestra del 10 % de las transacciones, a fin de mantener una supervisión continua de la seguridad sin necesidad de evaluar todas las interacciones. Este procesamiento asincrónico permite monitorear el cumplimiento y detectar vulnerabilidades de manera rigurosa y confiable, al tiempo que mantiene los costos operativos bajo un estricto control. Al adaptar las estrategias de muestreo a las cargas de trabajo específicas de cada aplicación, los equipos de las empresas pueden mantener controles de calidad sólidos y, al mismo tiempo, optimizar el costo total de propiedad de su stack de observabilidad.

Acelerar el lanzamiento al mercado sin comprometer la calidad

Para llevar las aplicaciones de IA generativa de la fase piloto a producción de forma segura, es necesario contar con una supervisión continua que vaya más allá de las métricas técnicas tradicionales. AI Evaluation ofrece un framework operativo integral que evalúa automáticamente la precisión, la seguridad y la relevancia de las interacciones con los LLM, y vincula directamente los resultados de esas evaluaciones con la telemetría subyacente de tus aplicaciones. Al combinar barreras de seguridad en tiempo real, el aislamiento de fallas en la arquitectura y la integración nativa con los rastreos distribuidos, esta capacidad proporciona a los responsables de ingeniería y de negocios el control necesario para proteger la reputación de la marca, minimizar los riesgos de incumplimiento y acelerar el lanzamiento al mercado.

Barreras de seguridad y cumplimiento en tiempo real

AI Evaluation ofrece evaluadores listos para usar, sin necesidad de realizar ninguna configuración inicial. Estos controles de seguridad pueden integrarse directamente en el tráfico de las aplicaciones en tiempo real para proteger la reputación de la marca y mantener el cumplimiento normativo. Al evaluar automáticamente muestras de los prompts de entrada y las respuestas generadas por el modelo, el sistema identifica riesgos de seguridad y de incumplimiento antes de que provoquen daños a la reputación o consecuencias legales.

• Defensa contra la inyección de prompts y los ataques de jailbreak: identifica instrucciones maliciosas de los usuarios e intentos de eludir las barreras de seguridad para restringir la generación de contenido no autorizado.
• Mitigación de fugas de datos: analiza los datos de entrada y las respuestas generadas por el modelo para detectar información confidencial e identifica automáticamente la información PII.
• Detección de toxicidad y sesgos: detecta automáticamente el lenguaje dañino, ofensivo o abusivo, así como el trato injusto o discriminatorio basado en atributos protegidos.

Aislamiento de fallas de rendimiento en arquitecturas RAG y agentes

Cuando un agente autónomo o un sistema de generación aumentada por recuperación (RAG) proporciona una respuesta inexacta, es fundamental identificar qué componente está fallando. AI Evaluation permite aislar los distintos tipos de fallas mediante la evaluación de la calidad a partir de métricas especializadas de recuperación y generación:

• Fidelidad (seguimiento de alucinaciones): mide si las respuestas generadas son fácticamente coherentes con el contexto de recuperación proporcionado.
• Relevancia de la respuesta y del contexto: mide en qué medida la información recuperada responde a la consulta del usuario y si la respuesta final aborda directamente el prompt.

Integración directa con los rastreos distribuidos

A diferencia de algunas herramientas independientes de observabilidad de LLM que almacenan las puntuaciones de evaluación en silos aislados, AI Evaluation incorpora los resultados de las evaluaciones directamente a tu flujo principal de telemetría.

• Contexto a nivel de transacción: en lugar de evaluar las llamadas a los LLM de forma aislada, AI Evaluation analiza la transacción en su conjunto y vincula directamente las puntuaciones de calidad de las respuestas con los prompts de las etapas anteriores, las consultas de recuperación de datos en bases de datos vectoriales y el consumo de recursos de cómputo en las etapas posteriores, todo desde una única vista.
• Enriquecimiento de atributos: las puntuaciones de calidad normalizadas, los estados de aprobación o rechazo y las cadenas de texto que explican el razonamiento utilizado se incorporan nuevamente a la plataforma y se agregan directamente como atributos al rastreo distribuido original.
• Visibilidad unificada del stack: los ingenieros pueden visualizar el contenido de los prompts, las justificaciones de las evaluaciones y el comportamiento de las aplicaciones en los distintos componentes del stack desde una única pantalla.
• Resolución más rápida de problemas: cuando una interacción no cumple con un umbral de calidad, los equipos encargados de resolver incidentes pueden pasar directamente de la alerta de evaluación al span de ejecución específico, a la llamada de recuperación de datos de la base de datos vectorial o al servicio de backend responsable de la falla.

ROI estratégico en toda la empresa

Al ampliar la observabilidad más allá de las métricas tradicionales del sistema para incluir la evaluación semántica, New Relic AI Evaluation transforma los prototipos de IA, cuyo desarrollo se ha estancado, en servicios empresariales seguros y listos para su uso en producción. La automatización de los controles de calidad y las barreras de seguridad elimina las revisiones manuales de los logs que generan importantes cuellos de botella en el despliegue. Esto permite a las organizaciones lanzar aplicaciones de IA generativa más rápidamente y, al mismo tiempo, proteger su marca frente a riesgos reputacionales y de incumplimiento. Esta capacidad aporta beneficios específicos a tres perfiles clave:

• Ingenieros de AI/ML y LLMOps: estos profesionales obtienen puntuaciones de evaluación en tiempo real vinculadas directamente a los rastreos distribuidos, lo que permite reemplazar las hojas de cálculo de logs que dificultan la escalabilidad y las revisiones manuales. Al ajustar los prompts del sistema u optimizar la lógica de recuperación de RAG, los ingenieros pueden comprobar de inmediato si las modificaciones mejoran la relevancia de las respuestas o provocan involuntariamente regresiones, como alucinaciones fácticas.
• Ingenieros de plataforma, SRE y líderes de DevOps: los responsables de plataforma pueden alinear la confiabilidad del sistema y el rendimiento de los recursos de cómputo con la gobernanza financiera. Al correlacionar las métricas de calidad de las respuestas con los costos asociados al consumo de tokens, los operadores pueden evaluar si los modelos más costosos justifican el gasto en recursos de cómputo y establecer reglas de muestreo inteligentes para mantener el rendimiento de la plataforma sin aumentar excesivamente los presupuestos de infraestructura.
• Responsables de seguridad y cumplimiento: estos profesionales cuentan con la supervisión continua y automatizada necesaria para autorizar el uso en producción de bots autónomos y agentes de IA que interactúan con el público. La detección automatizada de ataques de inyección de prompts, jailbreaks, filtraciones de información PII y respuestas tóxicas permite mitigar los riesgos de forma proactiva y garantizar que las aplicaciones de IA cumplan con estrictos estándares de privacidad de datos y las directrices de la marca.

Acelera tus despliegues de IA hoy mismo

Desplegar AI Evaluation en tu flujo de trabajo de telemetría actual no requiere configuraciones complejas ni reescribir código personalizado. Como los agentes APM nativos capturan automáticamente el contenido de los prompts de entrada y los datos de salida del modelo como parte de la instrumentación estándar de rastreo, tu equipo puede comenzar a recopilar telemetría cualitativa de inmediato. Solo tienes que configurar los criterios que prefieras para identificar posibles problemas, establecer tus reglas de muestreo y observar cómo las puntuaciones de calidad en tiempo real enriquecen automáticamente tus rastreos distribuidos.

No permitas que las fallas que pasan desapercibidas, los riesgos de fuga de datos o las regresiones en los prompts impidan que tus aplicaciones de IA generativa superen la fase piloto. Solicita una demostración en vivo hoy mismo para descubrir cómo New Relic AI Evaluation incorpora barreras de seguridad en tiempo real a tu arquitectura de LLM, o consulta nuestra documentación técnica para comenzar a evaluar tus cargas de trabajo de IA en producción.

Acompáñanos en New Relic Now 2026 para obtener más información e inscribirte para participar en la versión preliminar pública.