Observabilidad económica: escalar el logging con un presupuesto limitado

La administración de logs eficiente es crucial para que las organizaciones puedan lograr la observabilidad, resolver los problemas con eficacia y mantener un rendimiento óptimo del sistema. A medida que la complejidad de los sistemas de software va en aumento, escalar el logging ajustándose a un presupuesto se convierte en un desafío importante. Pero con las estrategias adecuadas, es posible conseguir una administración de logs económica sin sacrificar la calidad.

En esta publicación del blog, presentamos sugerencias y técnicas valiosas para ayudarte a escalar el logging con un presupuesto limitado, optimizar los procesos de administración de logs y generar valor para tu organización con la ayuda de New Relic. Estos son los aspectos que abordamos:

• Elegir la solución de logging correcta 
• Evitar los errores comunes al seleccionar una solución de logging 
• Poner en práctica los consejos de administración de logs para escalar el logging con un presupuesto limitado
• Centralizar la administración de logs 
• Implementar políticas de rotación y retención de logs 
• Optimizar la recopilación de logs

Elegir la solución de logging correcta

En el momento de elegir una solución de logging, tendrás muchas opciones, que incluyen productos comerciales y de código abierto. Es imprescindible que evalúes tus opciones en función de las necesidades, los recursos y el presupuesto de tu organización para determinar la mejor solución.

Algunos factores para tener en cuenta al seleccionar una solución de logging son: escalabilidad, fiabilidad, facilidad de uso, seguridad y costo. La escalabilidad se refiere a la capacidad de la solución de logging de manejar un volumen creciente de logs a medida que la organización va creciendo. La fiabilidad implica asegurarse de que la solución de logging proporcione garantías de tiempo de actividad y cumpla los contratos de nivel de servicio de la organización. La facilidad de uso es imprescindible para la integración con los flujos de trabajo existentes y la adopción del equipo. 

La seguridad es esencial para proteger los logs y los datos de la organización, por tanto se necesita una solución que cuente con medidas de seguridad robustas. Un ejemplo de ello es la capacidad de ofuscar los datos críticos en los logs para proteger la información de identificación personal (PII) de los usuarios y reducir el riesgo de almacenar esa información. 

Por último, el costo determina el presupuesto asignado al logging y las características disponibles en la solución elegida.

Evitar estos errores comunes

Si quieres asegurarte de que tu organización se beneficie de una administración de logs eficiente y se ahorre gastos innecesarios, debes evitar estos errores comunes a la hora de elegir una solución de logging. Los siguientes son algunos problemas comunes:

• Compras en exceso: comprar una solución con más características de las que se necesitan puede elevar los costos sin aportar un valor adicional. Evalúa cuidadosamente los requisitos de logging de tu organización para elegir una solución que satisfaga las necesidades, sin características excesivas.
• Compras insuficientes: optar por una solución que no satisface las necesidades de una organización puede resultar en capacidades de logging inadecuadas lo que dificulta el monitoreo y la resolución de los problemas. Evalúa cuidadosamente tus requisitos para asegurarte de que la solución elegida ofrezca las características y la escalabilidad necesarias para el crecimiento de tu organización.
• Dependencia de un solo proveedor: elegir una solución que dificulte una futura migración a otra solución puede limitar la flexibilidad de tu organización y ser problemática si tienes que cambiar de proveedor porque tus necesidades han cambiado. Para una integración fácil con otros sistemas, New Relic permite una migración perfecta (en caso necesario) con casi 600 integraciones de inicio rápido y compatibilidad con OpenTelemetry.
• Trampas de precios y facturación: algunos proveedores emplean modelos de precios confusos o incluyen tarifas ocultas, lo que hace que estimar el total de los costos generales sea difícil. Comprender estas trampas puede ayudarte a tomar una decisión bien fundamentada a la hora de seleccionar una solución de logging.

Consejos para una administración de logs económica

Para escalar el logging con un presupuesto limitado, adopta las mejores prácticas para una administración de logs económica, como las cuatro que describimos a continuación.

Administrar los logs desde un lugar centralizado

Implementa un sistema de administración de logs centralizado, como New Relic, que se ocupe de agregar los logs de distintas fuentes, como aplicaciones, servidores, dispositivos de red y otros componentes de infraestructura. Dicha centralización permite que el análisis, el monitoreo y la resolución de problemas relacionados con los logs sean más fáciles y más eficientes, lo que se traduce en una mejor visibilidad del rendimiento del sistema, de la seguridad y de otros aspectos operativos sin tener que cambiar de contexto con una y otra herramienta.

Implementar políticas de rotación y retención de logs 

Determinar por cuánto tiempo mantener y almacenar los logs supone todo un desafío, y también requiere comprender el ciclo de vida de los logs. Para mayores detalles, consulta el artículo sobre cómo administrar un log de aplicación. 

• Archivar y borrar los logs antiguos: los costos de almacenamiento y procesamiento aumentan con el volumen de logs. La rotación de logs es imprescindible para una administración de logs económica porque ayuda a administrar de manera eficiente el uso del almacenamiento y controlar los costos al archivar o borrar periódicamente los logs antiguos, lo que garantiza que se conserven solo los datos relevantes. Es importante observar que la rotación de logs es una estrategia más apropiada para el almacenamiento on-premises. 
• Retener lo necesario solamente por el tiempo necesario: las políticas de retención de logs son indispensables para una administración de logs económica porque definen por cuánto tiempo deben conservarse los logs. De esta forma se puede garantizar que el almacenamiento se use de manera eficiente al retener solo los datos necesarios. Esta estrategia no solo ayuda a controlar los costos de almacenamiento, sino que también ayuda a satisfacer los requisitos de cumplimiento y a simplificar el análisis de datos. Para fines operativos, 30 días es un tiempo más que suficiente para almacenar los logs, aunque algunas empresas e industrias podrían exigir 90 días o más por motivos de cumplimiento. 
• Revisar y actualizar las políticas regularmente: revisar y actualizar las políticas de rotación y retención de logs con regularidad garantiza que continúen ajustándose a los requisitos, las obligaciones de cumplimiento y las limitaciones de almacenamiento de la organización. Si se quiere mantener una administración de logs económica, conservar los datos necesarios y reducir al mínimo los gastos para operar el almacenamiento, es necesario adaptarse a los cambios del sistema o el panorama regulatorio.

Optimizar la manera de recopilar logs

• Identificar los logs esenciales: determina qué logs son vitales para monitorear el rendimiento de la aplicación, la seguridad y el cumplimiento. Concéntrate en recopilar logs que proporcionan información importante e información accionable.
• Implementar reglas de filtro de eliminación y agregar los logs: implementa filtros de eliminación de logs en New Relic, para recopilar y reenviar solo los logs relevantes. Agrega los logs similares para reducir el volumen de datos sin dejar de capturar información vital, usando New Relic para crear datos de métricas.
• Utilizar el logging estructurado: implementa el logging estructurado para crear logs de formatos invariables, que puedan ser leídos por máquina. Así será más fácil y eficiente procesar, analizar y guardar los logs.
• Implementar el muestreo de logs: emplea el muestreo de logs para recopilar un subconjunto representativo de logs. De esta manera, se reducirá el volumen de logs recopilados sin dejar de proporcionar información valiosa.
• Enriquecer los logs con metadatos: enriquece tus logs con metadatos adicionales —como información de la aplicación, del entorno o del usuario— para proporcionar más contexto y facilitar el análisis y la resolución de problemas.
• Monitorear la recolección de logs en tiempo real: monitorea la recolección de logs continuamente para identificar problemas, cuellos de botella o ineficiencias. Esto permite hacer ajustes y mejoras rápidamente al proceso de recopilación de logs.
• Automatizar la recopilación y administración de logs: emplea herramientas y técnicas de automatización para simplificar la recopilación de logs, reducir la intervención manual y garantizar una administración de logs sistemática y eficiente.
• Evaluar y ajustar periódicamente: revisa y actualiza regularmente tu estrategia de recopilación de logs en función de los requisitos de negocio cambiantes, las actualizaciones de la aplicación o las necesidades de cumplimiento. Esto garantiza que tu proceso de recopilación de logs siga siendo económico y eficaz.

Monitorear y analizar los logs en tiempo real

• Aprovecha una plataforma de observabilidad como New Relic para obtener información valiosa del rendimiento de la aplicación, del estado de la infraestructura y del análisis de los logs, para abordar los problemas en tiempo real con el objeto de reducir el tiempo medio de resolución (MTTR) y el tiempo medio de detección (MTTD).
• Utiliza los datos de logs para identificar y priorizar los problemas, optimizar la recopilación de logs y reducir el volumen de logs en general.
• Sé proactivo y ocúpate de los problemas potenciales para prevenir el alto costo del tiempo de inactividad, las violaciones a la seguridad o el deterioro del rendimiento.
• Además de poder ver, organizar y utilizar la información de los logs que reenvías a New Relic, también puedes usar los logs combinados con otras herramientas para contar con una perspectiva más amplia de lo que sucede en todo el sistema.

Preguntas y preocupaciones comunes del logging con presupuesto limitado

Vamos a abordar algunas de las preguntas que suelen surgir en relación a escalar el logging cuando el presupuesto es limitado y cómo New Relic puede ayudar.

¿Cómo puedo reducir los costos de almacenamiento de logs?

Con la administración de logs de New Relic, puedes optimizar la recopilación de logs si configuras las reglas de filtro de eliminación para excluir logs innecesarios antes de que sean ingeridos. Al recopilar solo los logs esenciales, puedes reducir los costos de almacenamiento.

Más información: administración de logs de New Relic y reglas de filtro de eliminación

¿Cómo puedo garantizar que mi solución de logging sea fiable y segura?

New Relic ofrece una plataforma segura y fiable que cumple con las medidas de seguridad estándar en la industria. Proporciona encriptación en tránsito para garantizar que los datos de los logs se transmitan de manera segura. Al combinar los datos de los logs con los datos de la infraestructura y del monitoreo sintético de New Relic, puedes detectar los posibles riesgos de seguridad y aprovechar esos datos de logs para prevenir riesgos futuros. Para garantizar la privacidad de los datos y observar las pautas de seguridad de logs de tu organización, el servicio de administración de logs de New Relic incluye la capacidad de ofuscar la información de identificación personal (PII), los tokens de acceso y cualquier otro dato privado o regulado. 

Más información: seguridad de New Relic y Control de la privacidad de los datos con opciones de ofuscación de logs de New Relic

¿Cuáles son las mejores prácticas para la retención y rotación de logs?

New Relic permite configurar la retención de logs dándote la oportunidad de almacenar los logs por el tiempo que sea necesario para tu organización. Si bien New Relic no administra directamente la rotación de logs, puedes configurarla para que funcione con las soluciones de rotación de logs que ya tienes.

Más información: administración de la retención de datos

¿Cómo puedo administrar la rotación de logs de manera eficiente?

Puedes usar herramientas y procesos externos para manejar la rotación de logs e integrarlos en tu configuración de New Relic. Si centralizas la administración de logs con New Relic, puedes monitorear y analizar los logs en un sinnúmero de fuentes, y eso simplifica la administración de la rotación de logs.

Más información: reenvío de logs

¿Cómo puedo reducir los costos de almacenamiento de logs y a la vez mantener la observabilidad?

Para reducir los costos de almacenamiento de logs sin sacrificar la observabilidad, utiliza la administración de logs de New Relic para optimizar la recopilación de logs, eliminar los logs innecesarios y analizar los logs esenciales de forma más eficaz. Usa las funciones de consulta y visualización de New Relic para obtener información sobre el rendimiento de la aplicación, el estado de la infraestructura y el análisis de los logs. Esta estrategia te ayuda a mantener niveles adecuados de observabilidad a la vez que reduces los costos de almacenamiento.

Más información: administración de logs de New Relic

Conclusión

Escalar el logging con un presupuesto limitado supone adoptar prácticas de administración de logs económicas. Al centralizar la administración de logs, implementar las políticas de rotación y retención de logs, optimizar la recopilación de logs y utilizar un logging estructurado, se pueden reducir los gastos innecesarios a la vez que se obtiene el máximo valor. El monitoreo y el análisis de los logs en tiempo real, junto con la automatización, simplifican los procesos y mejoran la eficiencia. La evaluación y el ajuste frecuentes de las estrategias de administración de logs garantizan la adaptabilidad a las necesidades cambiantes del negocio.

Si sigues estos consejos y utilizas herramientas como New Relic, puedes lograr que la administración de logs sea económica y tendrás la oportunidad de obtener información valiosa, mejorar las capacidades de resolución de problemas y optimizar el rendimiento del sistema sin salirte del presupuesto. Con el enfoque correcto, escalar el logging con un presupuesto limitado se convierte en un objetivo alcanzable, lo que permite a las organizaciones alcanzar la observabilidad y la excelencia operacional.