Dados de telemetria: o maior custo variável da observabilidade
Por que os dados de telemetria crescem tão rápido? Com a migração para a nuvem e a transformação digital aceleradas, os dados de telemetria costumam ser o maior custo variável da observabilidade. Conforme você muda do local (on prem) para a nuvem e de uma arquitetura monolítica para uma de microsserviços, pode ficar com centenas de pequenos serviços, em vez de poucos serviços grandes.
Os cenários comuns incluem:
- Mover cargas de trabalho de servidores locais ou físicos para máquinas virtuais (VMs) na nuvem
- Mover cargas de trabalho de servidores e VMs para Kubernetes (K8s) e contêiners
- Refazer a arquitetura de aplicativos monolíticos para microsserviços
- Lançar aplicativos com mais frequência
- Fazer implantações azul/verde
- Adotar funções serverless
Os clientes costumam relatar aumentos de duas a dez vezes no volume de dados de telemetria, às vezes até mais. E os dados podem duplicar a cada dois ou três anos, ou seja, uma explosão de dados. Os custos de rede, armazenamento e computação associados podem se acumular rapidamente.
Como a migração para a nuvem e transformação digital podem aumentar o volume de dados de telemetria
O que são dados de telemetria?
Os dados de telemetria são saídas externas que incluem métricas, eventos, logs e traces (MELT), que são tipos de dados essenciais para observabilidade. Quando você instrumenta tudo e usa MELT para formar um conhecimento de trabalho fundamental das conexões, ou seja, as relações e as dependências que existem no seu sistema, bem como dos detalhes sobre o desempenho e a saúde, está praticando a observabilidade.
Explosão de dados dobrando sua conta
Um desafio comum é que os volumes de logs podem ser imprevisíveis quando se trata de previsão de custos.
Por exemplo, considere estes modelos de preços de provedores:
- A carga de sistema e usuário junto com alterações de código inesperadas podem fazer com que os custos do gerenciamento de logs do Datadog explodam. A Datadog tem uma fórmula complicada para calcular quantos logs são usados que pode adicionar mais de US$ 2,50 a US$ 3,75 por um milhão de eventos de logs para 30 dias de retenção. Com uma média de 1,5 a 2 GB por milhão de eventos, isso custaria em torno de US$ 1,00 a US$ 2,50 por GB. É muito mais do que a tarifa de ingestão de dados anunciada de US$ 0,10/GB.1
- A Splunk cobra aproximadamente US$ 4,00 por GB de logs.2 3
- A Elastic cobra por servidor no seu cluster do Elasticsearch, sendo que um aumento de logs de dados requer um aumento nos servidores do Elasticsearch.4
Por isso, duplicar sua ingestão de dados pode dobrar o tamanho do seu cluster e seus custos.
Custo incremental baixo para gerenciamento de logs
É importante proteger a adoção da nuvem contra obsolescência com um provedor de observabilidade como a New Relic, que oferece baixo custo de dados por GB. Pode até parecer que alguns provedores oferecem preços econômicos à primeira vista, mas lembre que podem introduzir nas cláusulas contratuais custos ocultos, taxas por excedentes e multas.
É mais fácil demonstrar isso com dados de log em que os clientes fizeram a transição de soluções de logs legadas para o New Relic e perceberam uma economia significativa. Por exemplo, a Intelligent Growth Solutions (IGS) reduziu os custos com monitoramento de logs em 58% (indo de entre £ 20.000 e 24.000 por mês para £ 8.000 a 10.000 por mês).
Vamos conferir como os custos dos logs de alguns outros provedores de observabilidade se comparam com os da New Relic.
Cuidado com as armadilhas de preços e cobrança:
- Precificação "enganosa", que oferece baixo custo de entrada com complementos caros
- Preços iniciais baixos com estruturas de custo imprevisíveis e complexas conforme você dimensiona
- Multas por exceder os compromissos mensais
- Pagamento de uma taxa mais alta quando os limites de cobrança são excedidos
- Pagamento adicional para OpenTelemetry
- Taxas para egresso de dados e taxas adicionais para indexação, retenção e reimportação de logs
- Cobrança por uso em horário de pico ou média de uso em vez do uso real
Amazon CloudWatch versus New Relic
Uma comparação dos custos do gerenciamento de logs mostra que o Amazon CloudWatch pode ser até duas vezes mais caro que o New Relic.
Comparação entre os custos mensais do gerenciamento de logs do Amazon CloudWatch e do New Relic para 300 GB com retenção de 30 dias
Alerta de armadilha de preços
O Amazon CloudWatch tem uma taxa de ingestão de dados de US$ 0,50/GB ingerido para logs, mas são as taxas adicionais para retenção de dados (US$ 0,03/GB), consulta (US$ 0,005/GB de dados monitorados) e proteção de dados (US$ 0,12/GB de dados monitorados) que elevam o custo total por GB (US$ 0,54/GB, nesse caso).5
Em contraste, o custo dos dados do New Relic de US$ 0,30/GB ingerido inclui até 30 dias de retenção, além de consultas, dashboards e muito mais.
Datadog versus New Relic
A mesma comparação dos custos do gerenciamento de logs mostra que o Datadog pode ser até quatro vezes mais caro que o New Relic.
Comparação entre os custos mensais do gerenciamento de logs do Datadog e do New Relic para 300 GB com retenção de 30 dias
Alerta de armadilha de preços
À primeira vista, o Datadog parece ter uma baixa taxa de ingestão de dados para logs (US$ 0,10/GB), mas suas taxas adicionais para retenção de dados (US$ 2,50/milhão de eventos de log por mês) elevam significativamente o custo total por GB para US$ 1,23/GB, nesse caso. Portanto, com o Datadog, pode ser mais custoso reter seus dados do que os ingerir. Você também precisa escolher quanto deseja indexar.6
Em contraste, o New Relic dá acesso a todos os dados com um preço de ingestão de US$ 0,30/GB, o que também inclui até 30 dias de retenção, além de consultas, dashboards e muito mais.
ELK versus New Relic
O gráfico a seguir com base na planilha subjacente mostra que os logs do Elasticsearch, Logstash e Kibana (ELK) podem ser de duas a três vezes mais caros que os do New Relic.
Comparação entre os custos mensais do gerenciamento de logs do ELK e do New Relic para 10.000 GB
Por exemplo, a Simply Business estava usando várias ferramentas para logs, incluindo o ELK, e estava a ponto de gastar um milhão de dólares por ano apenas em ferramentas de observação, o que era insustentável e não havia retorno sobre o investimento (ROI) que justificasse isso. Após trocar para o gerenciamento de logs da New Relic, o ex-engenheiro de DevOps da Simply Business, Mikio Tsunematsu, disse: "Ter o foco em uma ferramenta nos economizou dinheiro e energia mental".
Alerta de armadilha de preços
Para executar o ELK, você precisa comprar a infraestrutura para isso. Portanto, seu custo total para logs reflete os custos de infraestrutura e hardware.7
Como o New Relic é baseado em SaaS, pode se autodimensionar de acordo com sua demanda sem aumento de custos adicionais além da ingestão de dados. Por exemplo, você não precisa pagar pelo premium quando tem seu melhor dia.
Sumo Logic versus New Relic
O gráfico a seguir com base na planilha subjacente mostra que os logs do Sumo Logic podem ser de duas a quatro vezes mais caros que os do New Relic.
Comparação entre os custos mensais do gerenciamento de logs do Sumo Logic e do New Relic para 5.000 GB, 10.000 GB e 30.000 GB
Alerta de armadilha de preços
Como o ELK, você também precisa comprar a infraestrutura para executar o Sumo Logic, então o custo total dos logs reflete os custos de infraestrutura e hardware. Além dos custos dos logs do Sumo Logic serem altos no geral (US$ 3,00/GB ou mais), o preço por GB é calculado pressupondo que você tem um compromisso anual, ingere uma média de 1 GB de logs por dia e roda nos Estados Unidos.8
Como o New Relic é baseado em SaaS, pode se autodimensionar de acordo com sua demanda sem aumento de custos adicionais além da ingestão de dados. Por exemplo, você não precisa pagar pelo premium quando tem seu melhor dia.
Otimização da ingestão de dados
Além do custo incremental baixo para gerenciamento de logs, sua solução de logs deve oferecer maneiras de otimizar sua ingestão de dados, assim você paga apenas pelo que usa.
Regras para eliminação de dados
Para reduzir a quantidade de dados ingeridos (e as contas de ingestão de dados), você deve ser capaz de gerenciar sua ingestão de dados configurando regras de eliminação de dados que filtram dados não importantes, de baixo valor ou supérfluos e dados potencialmente confidenciais.
Regras para criar métricas a partir de logs
Os logs contêm muitas informações que talvez você só precise manter por um curto período e resumir em métricas para rastrear a longo prazo. Garanta que seu provedor seja compatível com regras para criar métricas a partir de logs, ou seja, com a criação de dados de métricas a partir de dados que não são métricas, para assim entregar o melhor de dois mundos a um ótimo preço.
Funcionalidades de consulta, rastreamento e alertas
Consultar, rastrear e alertar com relação ao uso relacionado a cobranças é uma prática recomendada porque faz com que o dimensionamento seja preciso e os preços mais fáceis. Por exemplo, você deve ser capaz de criar um alerta quando o uso de dados exceder um limite mensal fixo de gigabytes. Infelizmente, nem todos os provedores de observabilidade fornecem essas funcionalidades, então pergunte se isso é oferecido e, em caso afirmativo, como.
A vantagem do New Relic
Independentemente de você estar navegando por monitoramento do desempenho de aplicativos (APM), infraestrutura, Kubernetes ou traces, seus logs estão em um só lugar. Você pode pesquisar em arquivos de log rapidamente com a plataforma altamente dimensionável e encontrar dados de logs contextualizados e relevantes em toda a plataforma, junto com o restante dos seus dados de telemetria. Usando a interface customizada, você pode detectar e resolver problemas ainda mais rápido.
Preços e cobrança com base no uso
Os preços da New Relic para a plataforma de observabilidade completa se baseiam em apenas duas métricas principais: usuários (uma das unidades de preço mais estáveis) e ingestão de dados (com um baixo custo por GB de dados ingeridos começando em apenas US$ 0,30/GB, o que inclui até 30 dias retenção de dados), sem multas por dimensionamento.
Em contraste, a maioria dos outros provedores de observabilidade têm seus preços com base na infraestrutura subjacente e na ingestão de dados. Assim, duplicar a infraestrutura e a ingestão de dados com outros provedores poderia dobrar sua conta, enquanto os custos do New Relic cresceriam apenas 30%, em média, porque os dados costumam crescer muito mais rápido do que a contagem de funcionários.
Seus usuários provisionados têm acesso automaticamente a mais de 30 funcionalidades, incluindo gerenciamento de logs, assim todos os seus dados, ferramentas e equipes ficam em um só lugar. O modelo de cobrança com base no uso significa que você paga apenas pelo que usa, sem cobrança em período de pico. Além disso, a plataforma inclui funcionalidades que ajudam você a gerenciar a ingestão de dados e a consultar, rastrear e alertar com relação ao uso relacionado a cobranças.
A New Relic está mudando a economia da observabilidade ao capacitar empresas a usar toda a telemetria disponível a um custo muito baixo jamais visto.
A hora da troca
O agora é a melhor hora para analisar outras soluções de observabilidade, como o New Relic, e avaliar se atendem melhor às suas necessidades de gerenciamento de logs. O New Relic pode ajudar suas equipes de desenvolvimento e operações (DevOps e ITOps) a trocarem as ferramentas de monitoramento em silos por uma plataforma de observabilidade completa poderosíssima.
Mais de 15.000 clientes da New Relic já experimentaram o valor que a plataforma de observabilidade da New Relic proporciona aos negócios, e você também pode ter essa experiência.
Aqui estão alguns exemplos muito convincentes do valor proporcionado aos negócios dos clientes da New Relic:
- A IGS reduziu os custos de registro em log e monitoramento em 58%, de £ 20 a 24 mil por mês para £ 8 a 10 mil por mês.
- A 27Global reduziu pela metade o tempo para erguer um novo projeto e economizou US$ 1.500 por mês.
- A Gett reduziu o MTTD de cinco minutos para menos de dois minutos e diminuiu o MTTR em 50%, além de cortar custos.
- A Chegg reduziu o MTTR de 197 minutos para 24 minutos em um ano.
- A PicPay melhorou seu período de inatividade total em 51% e o MTTR em 30%.
Ter uma visualização única com o New Relic é fundamental para mim. Quando unimos os logs a um aplicativo e tentamos entender os fatores que estão contribuindo, posso ir a um único lugar, em vez de acessar três ferramentas diferentes como antes.
Próximos passos
Fazer a troca é fácil, você pode migrar seus logs para o New Relic em minutos. Saiba mais sobre os preços do New Relic e cadastre-se em uma conta gratuita para experimentar (não é necessário cartão de crédito).
Entre em contato com a New Relic hoje mesmo para saber mais, ter ajuda para estimar quanto poderia economizar e planejar sua migração.
Recursos
Amazon Web Services (AWS). n.d. “Amazon CloudWatch Pricing.” Amazon AWS. Accessed March 21, 2023. https://aws.amazon.com/cloudwatch/pricing/.
Datadog. n.d. “Datadog Log Management Pricing.” Datadog. Accessed March 17, 2023. https://www.datadoghq.com/pricing/?product=log-management#log-management.
Elasticsearch. n.d. “Elastic Cloud Value Estimator.” Elastic. Accessed March 31, 2023. https://www.elastic.co/cloud/value-calculator.
Elasticsearch. n.d. “Elastic Pricing FAQ.” Elastic. Accessed March 17, 2023. https://www.elastic.co/pricing/faq.
Splunk. n.d. “Splunk Observability Pricing.” Splunk. Accessed March 17, 2023. https://www.splunk.com/en_us/products/pricing/observability.html.
Splunk. n.d. “Splunk Observability SC Bundle.” Splunk. Accessed March 17, 2023. https://www.splunk.com/en_us/legal/o11y-sc-bundle.html.
Sumo Logic. n.d. “Sumo Logic Pricing Tiers.” Sumo Logic. Accessed March 31, 2023. https://www.sumologic.com/pricing/tiers.
