Datos de telemetría: el costo variable más importante para la observabilidad
¿Por qué los datos de telemetría crecen tan rápido? Con la aceleración de la migración a la nube y la transformación digital, los datos de telemetría suelen ser el costo variable más importante para la observabilidad. A medida que haces el cambio de on premises (on-prem) a la nube y de una arquitectura monolítica a los microservicios, puedes encontrarte con cientos de servicios pequeños en lugar de unos pocos servicios grandes.
Estos son algunos escenarios comunes:
- Traslado de cargas de trabajo de los servidores on-prem o físicos a máquinas virtuales (VM) en la nube
- Traslado de cargas de trabajo de los servidores y las máquinas virtuales (VM) a Kubernetes (K8) y contenedores
- Cambio de una arquitectura monolítica a otra de microservicios en las aplicaciones
- Lanzamientos más frecuentes de aplicaciones
- Despliegues azul-verde
- Adopción de funciones serverless
Los clientes suelen reportar aumentos de entre 2 y 10 veces el volumen de datos de telemetría o más. Y los datos pueden duplicarse cada dos o tres años: una explosión de datos. Los costos de red, almacenamiento y computación asociados pueden acumularse rápidamente.
Cómo la migración a la nube y la transformación digital pueden aumentar el volumen de datos de telemetría
¿Qué son datos de telemetría?
Los datos de telemetría son resultados externos que incluyen métricas, eventos, logs y trazas (MELT), que son los tipos de datos esenciales de la observabilidad. Cuando instrumentas todo y usas MELT para adquirir un conocimiento práctico y fundamental de las conexiones —las relaciones y dependencias que existen dentro de tu sistema— así como el rendimiento y el estado detallados, estás practicando la observabilidad.
Explosión de datos que te duplica la factura
Un desafío común es que los volúmenes de logs pueden ser impredecibles cuando se trata de predecir costos.
Por ejemplo, considera los modelos de precios de estos proveedores:
- La carga del sistema y de los usuarios junto con cambios de código inesperados pueden hacer que los costos de administración de logs de Datadog se disparen. Datadog utiliza una fórmula complicada para calcular cómo se usan los logs que puede agregar más de US$2.50–$3.75 por millón de eventos de logging en 30 días de retención. Con un promedio de 1.5–2 GB por millón de eventos, eso sería US$1.00–$2.50 por GB, mucho más que la tarifa de ingesta de datos promocionada que es de US$0.10/GB.1
- Splunk cobra aproximadamente US$4.00 por GB para los logs.2 3
- Elastic cobra por servidor en el clúster de Elasticsearch y un aumento de los loggings de datos implica un aumento en los servidores de Elasticsearch.4
En pocas palabras, una duplicación de la ingesta de datos puede duplicar el tamaño del clúster y los costos.
Bajo costo incremental para la administración de logs
Es importante garantizar que la adopción de la nube sea capaz de resistir el paso del tiempo, y eso es lo que un proveedor de observabilidad como New Relic brinda al ofrecer un costo de datos reducido por GB. También es importante tener en cuenta que aunque los precios de algunos proveedores pueden parecer económicos a simple vista, los términos del contrato pueden sepultar otros costos, como las tarifas de excedentes y multas.
Eso resulta más evidente con los datos de logs en los casos donde los clientes han pasado de soluciones de logging heredadas a New Relic y han conseguido ahorros importantes. Por ejemplo, Intelligent Growth Solutions (IGS) redujo los costos de monitoreo y logging en un 58% (de £20,000–£24,000 al mes a £8,000–£10,000 al mes).
Veamos cómo se comparan los costos de logs de otros proveedores de observabilidad con New Relic.
Ten cuidado con las trampas de precios/facturación:
- Precios que te dan “gato por liebre” (costos iniciales reducidos, pero con complementos caros)
- Precios introductorios bajos con estructuras de precios impredecibles y complejas a medida que escalas
- Multas por exceder los compromisos mensuales
- Se paga una tarifa más alta cuando se exceden los límites de facturación
- Se paga extra por OpenTelemetry
- Tarifas por la salida de datos y tarifas adicionales para indexar, retener o rehidratar logs
- Facturación por uso máximo o uso promedio en lugar de uso real
Amazon CloudWatch comparado con New Relic
Una comparación de los costos de administración de logs ilustra que Amazon CloudWatch puede ser hasta dos veces más caro que New Relic.
Comparación de costos mensuales de administración de logs de Amazon CloudWatch y New Relic para 300 GB con 30 días de retención
Alerta de precios engañosos
Amazon CloudWatch tiene una tarifa de ingesta de datos de US$0.50/GB ingeridos para los logs pero también cobra tarifas adicionales por retención de datos (US$0.03/
GB), consultas (US$0.005/GB de datos escaneados) y protección de datos (US$0.12/GB de datos escaneados) que aumentan el costo total por GB (en este caso, US$0.54/GB).5
En cambio, los costos de datos de New Relic de US$0.30/GB ingerido incluyen hasta 30 días de retención, además de consultas, dashboards y más.
Datadog comparado con New Relic
La misma comparación de los costos de administración de logs muestra que Datadog puede resultar hasta 4 veces más caro que New Relic.
Comparación de costos mensuales de administración de logs de Datadog y New Relic para 300 GB con 30 días de retención
Alerta de precios engañosos
A simple vista, Datadog aparenta tener una tarifa baja de ingesta de datos para los logs (US$0.10/GB ingerido), pero las tarifas adicionales que cobra por la retención de datos (US$2.50/millón de eventos de logs al mes) aumentan considerablemente el costo total por GB (a US$1.23/GB ingerido en este caso). En breve, con Datadog puede resultar más caro retener los datos que ingerirlos. Y también tienes que elegir cuánto quieres indexar.6
En cambio, New Relic te da acceso a todos los datos con un precio de ingesta de US$0.30/GB ingerido, lo que también incluye hasta 30 días de retención, además de consultas, dashboards y más.
ELK comparado con New Relic
El gráfico que sigue, que se basa en la hoja de cálculo subyacente, muestra que los logs de Elasticsearch, Logstash y Kibana (ELK) pueden ser entre 2 y 3 veces más caros que los de New Relic.
Comparación de costos mensuales de administración de logs de ELK y New Relic para 10,000 GB
Por ejemplo, Simply Business estaba usando varias herramientas para logs —entre ellas ELK— y estaba por invertir un millón de dólares al año solo en herramientas de observabilidad, algo que no era sostenible ni ofrecía la rentabilidad (ROI) que lo justificara. Después de cambiarse a la administración de logs de New Relic, el ex ingeniero de DevOps de Simply Business, Mikio Tsunematsu, afirmó: “Enfocarnos en una sola herramienta nos ha ahorrado dinero y energía mental”.
Alerta de precios engañosos
Para poder utilizar ELK, también hay que comprar la infraestructura necesaria para ejecutarlo, lo que significa que el costo total de los logs refleja los costos de infraestructura y hardware.7
Debido a que New Relic se basa en SaaS, puede ajustarse automáticamente según la demanda y sin un aumento de costos adicional más allá de los datos ingeridos. Por ejemplo, no tienes que pagar más si tu día transcurre de maravilla.
Sumo Logic comparado con New Relic
El gráfico que sigue, que se basa en la hoja de cálculo subyacente, muestra que los logs de Sumo Logic pueden ser entre 2 y 4 veces más caros que los de New Relic.
Comparación de costos mensuales de administración de logs de Sumo Logic y New Relic para 5,000 GB, 10,000 GB y 30,000 GB
Alerta de precios engañosos
Al igual que con ELK, también hay que comprar la infraestructura para poder ejecutar Sumo Logic, lo que significa que el costo total de los logs refleja también los costos de la infraestructura y del hardware. Además de que el costo de los logs de Sumo Logic es alto en general (US$3.00/GB o más), el precio por GB se calcula suponiendo que existe un compromiso anual, se ingiere un promedio de 1 GB de logs al día y se despliega en Estados Unidos.8
Debido a que New Relic se basa en SaaS, puede ajustarse automáticamente según la demanda y sin un aumento de costos adicional más allá de los datos ingeridos. Por ejemplo, no tienes que pagar más si tu día transcurre de maravilla.
Optimización de la ingesta de datos
Además del bajo costo incremental para la administración de logs, tu solución de logging debe ofrecerte maneras de optimizar la ingesta de datos para pagar solo por lo que usas.
Reglas de eliminación de datos
Para reducir la cantidad de datos ingeridos (y las facturas por ingesta de datos), debería ser posible administrar la ingesta de datos a través de la configuración de reglas para eliminar datos que se encarguen de filtrar datos sin importancia, de poco valor o superfluos, además de los datos potencialmente confidenciales.
Reglas de conversión de logs a métricas
Los logs están repletos de información que quizás solo tengas que retener por un corto tiempo y resumir en métricas para hacerles seguimiento a largo plazo. Asegúrate de que tu proveedor admita reglas que se ocupen de convertir los logs en métricas (es decir, que creen datos de métricas a partir de datos que no son de métricas) para sacar provecho de lo mejor de ambas opciones a un precio óptimo.
Capacidades de consulta, seguimiento y alertas
Poder hacer consultas, seguimiento y recibir alertas sobre el uso relacionado con la facturación es una de las mejores prácticas porque permite ajustarse al tamaño correcto y fijar precios de una manera más fácil. Por ejemplo, deberías poder crear una alerta si el uso de los datos excede un umbral mensual fijo para los gigabytes. Lamentablemente, no todos los proveedores de observabilidad ofrecen estas capacidades, entonces vale la pena preguntar si la ofrecen y de ser así, cómo.
La ventaja de New Relic
New Relic es una plataforma de datos de telemetría unificada que guarda todas las métricas, los eventos, los logs y las trazas (MELT) en un almacén de datos único. Esta capacidad te permite correlacionar todos los datos de telemetría de todo el stack en un solo lugar. No importa si utilizas el monitoreo del rendimiento de aplicaciones (APM), la infraestructura, Kubernetes o las trazas, tus logs estarán ahí. La plataforma altamente escalable te permite hacer búsquedas rápidas en los archivos de los logs para encontrar datos de logs relevantes y en contexto por toda la plataforma junto con el resto de tus datos de telemetría. Gracias a las interfaces de usuario perfeccionadas, los problemas se detectan y resuelven más rápido.
Precios y facturación basados en el uso
El precio de la plataforma de observabilidad completa de New Relic se basa solamente en dos métricas fundamentales: los usuarios (una de las unidades de precios más estables) y la ingesta de datos (a un costo bajo por GB de datos ingeridos a partir de solo US$0.30/GB que incluye hasta 30 días de retención de datos). No se cobran multas por ajustar a escala.
Por el contrario, los precios de la mayoría de los otros proveedores de observabilidad se basan en la infraestructura subyacente y la ingesta de datos. Eso quiere decir que si duplicas la infraestructura y los datos con otros proveedores, tu factura se podría duplicar, mientras que el costo de New Relic solo aumentaría en un 30%, en promedio, porque los datos normalmente aumentan a un ritmo mucho más acelerado que el número de empleados.
Los usuarios aprovisionados tienen acceso a más de 30 capacidades automáticamente, incluida la administración de logs, de modo que todos tus datos, herramientas y equipos están reunidos en un solo lugar. El modelo de facturación basado en el uso quiere decir que solo pagas por lo que usas (no por el uso máximo). Y la plataforma tiene distintas capacidades para ayudarte a administrar la ingesta y consulta de datos, el seguimiento y las alertas sobre el uso relacionado con la factura.
New Relic está cambiando la economía de la observabilidad al equipar a las empresas con lo que necesitan para aprovechar toda la telemetría disponible a un costo notablemente más bajo que antes.
Hacer el cambio
Qué mejor momento que ahora para evaluar otras soluciones de observabilidad —como New Relic— a fin de determinar si son más adecuadas para satisfacer tus necesidades de administración de logs. New Relic puede ayudar a los equipos de desarrollo y operaciones (DevOps e ITOps) a cambiarse de herramientas de monitoreo aisladas a una plataforma de observabilidad completa y potente.
Más de 15,000 clientes de New Relic ya están cosechando el valor comercial de la plataforma de observabilidad de New Relic, y tú también puedes hacerlo.
Estos son algunos ejemplos verdaderamente contundentes del valor comercial que los clientes de New Relic han experimentado:
- IGS disminuyó los costos de monitoreo y logging en un 58% (de £20 mil–£24 mil al mes a £8 mil–£10 mil al mes).
- 27Global abrevió el tiempo necesario para poner en marcha un nuevo proyecto a la mitad y ahorró US$1,500 al mes.
- Gett redujo el MTTD de cinco minutos a menos de dos minutos, disminuyó el MTTR en un 50% y bajó los costos.
- Chegg redujo el MTTR de 197 minutos a 24 minutos en un año.
- PicPay mejoró su tiempo de inactividad total en un 51% y el MTTR en un 30%.
Tener una sola vista con New Relic me ha salvado la vida. Cuando vinculamos logs a una aplicación y tratamos de averiguar los factores contribuyentes, puedo ir a un solo lugar en vez de a tres herramientas distintas, como antes.
Próximos pasos
Hacer el cambio es fácil, puedes migrar tus logs a New Relic en minutos. Obtén más información acerca de los precios de New Relic y regístrate para una cuenta gratis para que tú mismo lo compruebes (no se necesita tarjeta de crédito).
Contacta a New Relic ahora mismo, para que te ayuden a calcular los posibles ahorros y planificar la migración.
Recursos
Amazon Web Services (AWS). n.d. “Amazon CloudWatch Pricing.” Amazon AWS. Accessed March 21, 2023. https://aws.amazon.com/cloudwatch/pricing/.
Datadog. n.d. “Datadog Log Management Pricing.” Datadog. Accessed March 17, 2023. https://www.datadoghq.com/pricing/?product=log-management#log-management.
Elasticsearch. n.d. “Elastic Cloud Value Estimator.” Elastic. Accessed March 31, 2023. https://www.elastic.co/cloud/value-calculator.
Elasticsearch. n.d. “Elastic Pricing FAQ.” Elastic. Accessed March 17, 2023. https://www.elastic.co/pricing/faq.
Splunk. n.d. “Splunk Observability Pricing.” Splunk. Accessed March 17, 2023. https://www.splunk.com/en_us/products/pricing/observability.html.
Splunk. n.d. “Splunk Observability SC Bundle.” Splunk. Accessed March 17, 2023. https://www.splunk.com/en_us/legal/o11y-sc-bundle.html.
Sumo Logic. n.d. “Sumo Logic Pricing Tiers.” Sumo Logic. Accessed March 31, 2023. https://www.sumologic.com/pricing/tiers.
