eBook : Optimisation des coûts de gestion des logs

Les données télémétriques : le coût variable le plus important de l'observabilité

Pourquoi les données télémétriques augmentent-elles aussi rapidement ? Avec la migration accélérée dans le cloud et la transformation numérique, les données télémétriques sont généralement la source de coûts variables la plus importante de l'observabilité. Lorsque vous passez du stockage sur site au cloud et de l'architecture monolithique aux microservices, il peut y avoir des centaines de petits services au lieu de quelques gros services.

Les scénarios les plus courants comprennent :

Déplacement des workloads du site ou serveurs physiques aux machines virtuelles dans le cloud
Déplacement des workloads des serveurs et des machines virtuelles vers Kubernetes et des conteneurs
Refonte de l'architecture des applications, du monolithique aux microservices
Sorties plus fréquentes des nouvelles versions
Déploiements bleus/verts
Adoption de fonctions serverless

Les clients indiquent généralement un volume de données télémétriques d'au moins 2 à 10 fois plus important. Et la quantité de données peut doubler tous les deux ou trois ans, ce qui crée une explosion de données. Les frais de réseau, le stockage et les calculs associés peuvent eux aussi augmenter rapidement.

Comment la migration cloud et la transformation numérique peuvent augmenter le volume de données télémétriques.

Que sont les données télémétriques ?
Les données télémétriques sont des sorties externes comprenant les métriques, les événements, les logs et les traces (MELT), qui sont les types de données télémétriques essentielles d'observabilité. Lorsque nous instrumentons tout et utilisons les MELT pour établir une connaissance fondamentale et fonctionnelle des connexions (les relations et les dépendances au sein de votre système), ainsi que de ses performances et de sa santé, vous pratiquez l’observabilité.

Quand l'explosion des données double votre facture

En ce qui concerne la prévision des coûts, l'imprévisibilité des volumes de logs peut souvent présenter un défi.

Considérez par exemple les modèles de tarification de fournisseurs suivants :

La charge du système et des utilisateurs ainsi que les changements de code inattendus peuvent entraîner l'explosion des coûts de gestion des logs de Datadog. En effet, la formule suivie par Datadog pour calculer l'utilisation des logs est compliquée et peut ajouter plus de 2,50 à 3,75 USD par million d'événements de log pour une rétention de 30 jours. Si l'on considère une moyenne de 1,5 à 2 Go par million d'événements, cela représente entre 1,00 et 2,50 USD par Go ! Soit beaucoup plus que le tarif d'ingestion des données annoncé de 0,10 USD/Go¹.
Splunk facture environ 4,00 USD par Go pour les logs^2,3.
Elastic facture par serveur dans votre cluster Elasticsearch et une augmentation des loggings de données déclenche une augmentation du nombre de serveurs Elasticsearch⁴.

Ainsi, quand l'ingestion de données double, la taille de vos clusters et les coûts peuvent également doubler.

De faibles coûts marginaux pour la gestion des logs

Il est essentiel d'avoir une approche de l'adoption du cloud à l'épreuve du temps avec un fournisseur d'observabilité, comme New Relic, qui propose un faible coût de données par Go. N'oubliez pas que certains fournisseurs d'observabilité peuvent au premier abord sembler proposer des prix abordables, mais il peut y avoir des coûts cachés, des frais de dépassement et des pénalités enfouis dans le contrat.

Cela est particulièrement évident avec les données de log lorsque les clients ont fait la transition des solutions de logging legacy vers New Relic et ont réalisé des économies majeures. Par exemple, Intelligent Growth Solutions (IGS) a réduit le monitoring et les frais de logging de 58 % (le coût mensuel qui s'élevait entre 20 et 24 000 £ est maintenant entre 8 et 10 000 £).

Comparons les coûts de logging de quelques autres fournisseurs d'observabilité à New Relic.

Faites attention aux pièges de tarification/facturation :

Leurre d'une tarification faible (de faibles coûts d'entrée, mais des ajouts coûteux)
Faible prix de démarrage avec des structures de coûts imprévisibles et complexes lorsque vous évoluez
Pénalités en cas de dépassement des engagements mensuels
Paiement d'un taux plus cher une fois que les seuils de facturation sont dépassés
Supplément pour OpenTelemetry
Frais de sortie des données et autres suppléments pour indexer, retenir ou réhydrater les logs
Facturation des pics d'utilisation ou de la moyenne d'utilisation plutôt que de l'utilisation réelle

Amazon CloudWatch et New Relic

Un comparatif des coûts de gestion des logs montre qu'Amazon CloudWatch peut être 2 fois plus cher que New Relic.

Amazon CloudWatch et New Relic - Comparatif des coûts mensuels pour la gestion des logs avec 300 Go et une rétention de 30 jours

Alerte ! Piège tarifaire.
Amazon CloudWatch a un taux d'ingestion des données de 0,50 USD/Go ingéré pour les logs, mais des frais supplémentaires pour la rétention des données (0,03 USD/Go), les requêtes (0,005 USD/Go de données scannées) et la protection des données (0,12 USD/Go de données scannées) augmentent le coût total par Go (0,54 USD/Go dans ce cas)⁵.

Par contre, le coût des données de New Relic est de 0,30 USD/Go ingéré et comprend jusqu'à 30 jours de rétention, les requêtes, les dashboards et plus encore.

Datadog et New Relic

Le même comparatif des coûts de gestion des logs montre que Datadog peut être jusqu'à 4 fois plus cher que New Relic.

Datadog et New Relic - Comparatif des coûts mensuels pour la gestion des logs avec 300 Go et une rétention de 30 jours

Alerte ! Piège tarifaire.
Au premier abord, le prix d'ingestion des logs de Datadog semble faible (0,10 USD/Go ingéré), mais ses frais supplémentaires pour la rétention des données (2,50 USD/million d'événements de log par mois) augmentent nettement le coût total par Go (1,23 USD/Go ingéré dans ce cas). La rétention des données peut donc coûter plus cher que l'ingestion avec Datadog ! Vous devez choisir le volume à indexer⁶.

Par contre, New Relic vous donne accès à toutes les données avec un tarif d'ingestion de 0,30 USD/Go ingéré qui comprend jusqu'à 30 jours de rétention, les requêtes, les dashboards et plus encore.

ELK et New Relic

Le graphique ci-dessous, basé sur la feuille de calcul sous-jacente, montre que les logs Elasticsearch, Logstash et Kibana (ELK) peuvent être 2 à 3 fois plus chers qu'avec New Relic.

ELK et New Relic - Comparatif des coûts mensuels de gestion des logs avec 10 000 Go

Par exemple, Simply Business utilisait plusieurs outils pour les logs — dont ELK — et était en bonne posture pour dépenser un million de dollars US par an sur les seuls outils d'observation. Cette somme n'était pas viable dans le temps et n'assurait pas le retour sur investissement (RSI) nécessaire pour justifier cette dépense. Après le passage à la gestion des logs New Relic, Mikio Tsunematsu, ancien ingénieur DevOps de Simply Business, déclarait : « Le recentrage sur un seul outil nous a permis de non seulement faire des économies, mais aussi de préserver notre énergie mentale ».

Alerte ! Piège tarifaire.
Pour exécuter ELK, vous devez aussi acheter l'infrastructure. Le coût total pour les logs reflète donc les frais d'infrastructure et de matériel⁷.

New Relic étant basé SaaS, la solution peut évoluer automatiquement à la demande sans augmentation supplémentaire des coûts basés sur l'ingestion des données. Par exemple, vous ne devez pas payer plus pour votre meilleure journée.

Sumo Logic et New Relic

Le graphique ci-dessous, basé sur la feuille de calcul sous-jacente, montre que les logs Sumo Logic peuvent être 2 à 4 fois plus chers qu'avec New Relic.

Sumo Logic et New Relic - Comparatif des coûts mensuels de gestion des logs avec 5 000 Go, 10 000 Go et 30 000 Go

Alerte ! Piège tarifaire.
Comme ELK, vous devez aussi acheter l'infrastructure pour exécuter Sumo Logic. Le coût total pour les logs reflète donc les frais d'infrastructure et de matériel. Outre le prix globalement élevé des logs Sumo Logic (3,00 USD/Go ou plus), le tarif par Go calculé présuppose un engagement annuel, une ingestion moyenne de 1 Go de log par jour et le déploiement aux États‑Unis⁸.

Optimisation de l'ingestion des données

Outre un faible coût incrémentiel de gestion des logs, votre solution de logging devrait proposer des moyens d'optimiser l'ingestion des données pour que vous ne payiez que ce que vous utilisez.

Règles de suppression des données

Pour réduire la quantité de données ingérées (et le montant de ces factures), vous devriez pouvoir organiser l'ingestion de vos données en configurant les règles de suppression pour filtrer les données sans importance, de faible valeur ou superflues et potentiellement sensibles.

Règles de conversion des logs en métriques

Les logs contiennent beaucoup d'informations que vous devez peut‑être conserver que pendant une courte période et résumer en métriques pour un suivi à long terme. Assurez-vous que votre fournisseur prend en charge les règles de conversion des logs en métriques (la création de données métriques à partir de données non métriques), car cela vous apporte tous les avantages à un prix optimal.

Capacités de requêtes, de suivi et d'alertes

Les requêtes, le suivi et l'envoi d'alertes sur la facturation à l'utilisation sont une bonne pratique, car ces capacités facilitent la mesure et le calcul du prix. Par exemple, vous devriez pouvoir créer une alerte lorsque l'utilisation des données dépasse un seuil mensuel fixe en gigaoctets. Malheureusement, les prestataires d'observabilité ne fournissent pas tous ces capacités. Demandez-leur donc s'ils le font et si oui, comment ils le font.

L'avantage New Relic

New Relic est une plateforme de données télémétriques unifiées et uniformisées où les MELT sont stockés ensemble dans un seul datastore, qui vous permet de corréler toutes vos données télémétriques sur tout le stack en un seul et même endroit. Que vous parcouriez le monitoring des performances des applications (APM), l'infrastructure, Kubernetes, ou les traces, vous avez accès à vos logs. Vous pouvez rapidement lancer des recherches dans les fichiers de log grâce à la plateforme très évolutive et trouver les données de log pertinentes dans leur contexte sur toute la plateforme avec le reste de vos données télémétriques. En utilisant les interfaces organisées et personnalisées, vous pouvez détecter et résoudre les problèmes encore plus vite.

Tarification et facturation à l'utilisation

New Relic détermine les tarifs de sa plateforme d’observabilité tout-en-un en fonction de deux métriques clés : les utilisateurs (l'une des unités de tarification les plus stables qui soit) et l'ingestion des données (à un faible coût par Go de données ingéré à partir de seulement 0,30 USD/Go incluant jusqu'à 30 jours de rétention des données) sans imposer de pénalités d'évolutivité.

Par contre, la plupart des autres fournisseurs d'observabilité fixent leur prix en fonction de l'infrastructure sous-jacente et de l'ingestion des données. Ainsi, le doublement de l'infrastructure et des données avec d'autres fournisseurs peut également doubler votre facture alors que les frais avec New Relic n'augmenteraient que de 30 %, en moyenne, car la quantité de données augmente généralement beaucoup plus rapidement que l'effectif de l'entreprise.

Les utilisateurs provisionnés obtiennent automatiquement un accès à plus de 30 capacités — dont la gestion des logs — pour que vos données, outils et équipes soient tous au même endroit. Ce modèle de facturation à l'utilisation signifie que vous ne payez que pour ce que vous utilisez (pas de facturation particulière pour les pics d'utilisation). En outre, la plateforme comprend des capacités qui vous aident à gérer l'ingestion et l'interrogation des données, le suivi et les alertes concernant l'utilisation associée à la facturation.

New Relic change l'économie de l'observabilité en donnant aux entreprises les moyens d'utiliser toute la télémétrie à un prix nettement inférieur.

Une transition simple

Il n'y a pas de meilleur moment que le présent pour envisager d'autres solutions d'observabilité — telles que New Relic — et évaluer si elles répondent mieux à vos besoins en matière de gestion des logs. New Relic peut aider vos équipes de développement et d'opérations (DevOps et ITOps) à faire la transition des outils de monitoring en silo à une plateforme d’observabilité tout-en-un puissante.

Plus de 15 000 clients de New Relic profitent déjà des avantages commerciaux de sa plateforme d’observabilité, et vous pouvez les rejoindre.

Voici quelques cas d'étude très probants de la valeur commerciale dont les clients ont bénéficié avec New Relic :

IGS a réduit les coûts de monitoring et de logging de 58 % (le coût mensuel qui s'élevait entre 20 et 24 000 £ est maintenant entre 8 et 10 000 £).
27Global a réduit le temps de création complète d'un projet de moitié et a économisé 1 500 USD par mois.
Gett a réduit son temps moyen de détection (MTTD) de cinq à moins de deux minutes, a vu son temps moyen de résolution (MTTR) baisser de 50 % et a aussi fait des économies.
Chegg a réduit son MTTR de 197 à 24 minutes en un an.
PicPay a réduit le temps d’arrêt total de 51 % et amélioré le MTTR de 30 %.

Le fait d'avoir une vue unique avec New Relic me sauve la vie. Quand on associe les logs à une application et qu'on essaie de trouver les facteurs connexes, je peux aller directement dans un seul endroit au lieu de devoir ouvrir trois outils différents comme je le faisais auparavant.

Étapes suivantes

La transition est simple — vous pouvez migrer vos logs vers New Relic en quelques petites minutes. Apprenez-en plus sur la tarification de New Relic et inscrivez-vous pour obtenir un compte gratuit pour l'essayer vous-même (sans nécessiter de carte bancaire).

Contactez New Relic dès aujourd'hui pour en savoir plus, obtenir de l'aide pour estimer les économies potentielles que vous pourriez faire et planifier votre migration.

Ressources

Amazon Web Services (AWS). Aucune date indiquée. « Tarification nd'Amazon CloudWatch » Amazon AWS. Consulté le 21 mars 2023. https://aws.amazon.com/cloudwatch/pricing/.

Datadog. Aucune date indiquée. “Datadog Log Management Pricing.” Datadog. Consulté le 17 mars 2023. https://www.datadoghq.com/pricing/?product=log-management#log-management.

Elasticsearch. Aucune date indiquée. “Elastic Cloud Value Estimator.” Elastic. Consulté le 31 mars 2023. https://www.elastic.co/cloud/value-calculator.

Elasticsearch. Aucune date indiquée. “Elastic Pricing FAQ.” Elastic. Consulté le 17 mars 2023. https://www.elastic.co/pricing/faq.

Splunk. Aucune date indiquée. “Splunk Observability Pricing.” Splunk. Consulté le 17 mars 2023. https://www.splunk.com/en_us/products/pricing/observability.html.

Splunk. Aucune date indiquée. “Splunk Observability SC Bundle.” Splunk. Consulté le 17 mars 2023. https://www.splunk.com/en_us/legal/o11y-sc-bundle.html.

Sumo Logic. Aucune date indiquée. “Sumo Logic Pricing Tiers.” Sumo Logic. Consulté le 31 mars 2023. https://www.sumologic.com/pricing/tiers.