L'observabilité abordable : un logging évolutif pour votre budget

Pour obtenir l'observabilité dont elles ont besoin, les organisations doivent assurer une gestion efficace des logs, résoudre les problèmes rapidement et garantir la performance optimale du système. Avec l'intensification continue de la complexité des systèmes logiciels, la scalabilité du logging présente souvent des défis en termes de budget. Il existe toutefois certaines stratégies judicieuses qui permettent de gérer efficacement les logs sans compromettre la qualité.

Cet article explore quelques techniques et conseils précieux qui vous aideront à faire évoluer vos logs sans vous ruiner, mais aussi à optimiser les processus de gestion des logs et à créer plus de valeur pour votre organisation à l'aide de New Relic :

• Comment choisir la solution de logging qui vous convient 
• Comment éviter les erreurs les plus courantes lors de la sélection d'une solution de logging 
• Quelques conseils pour faire évoluer le logging sans vous ruiner
• Comment centraliser la gestion de vos logs
• Comment mettre en place des politiques de rotation et de rétention des logs 
• Comment optimiser la collecte des logs

Comment choisir la solution de logging qui vous convient

Lorsqu'il s'agit d'adopter une solution de logging, les options sont nombreuses et vous avez le choix entre des produits open source et des produits commerciaux. Il est essentiel d'évaluer ces options en fonction des besoins, des ressources et du budget de votre organisation pour être sûr de trouver la solution qui vous convient le mieux.

Lors de la sélection d'une solution de logging, tenez compte des facteurs suivants : scalabilité, fiabilité, facilité d'utilisation, sécurité et coût. La scalabilité fait référence à la capacité de la solution à traiter le volume croissant de logs qui accompagne l'expansion de votre organisation. La fiabilité est assurée lorsque les temps de disponibilité fournis par la solution de logging sont garantis et répondent aux accords de niveau de service (SLA) de l'organisation. La facilité d'utilisation est vitale pour l'intégration avec les workflows existants et l'adoption de la solution par les équipes. 

La sécurité est fondamentale à la protection des logs et des données de l'organisation, choisissez donc une solution qui propose des mesures de sécurité robustes. Par exemple, vous pouvez obfusquer les données critiques dans les logs pour protéger les renseignements personnels et réduire le risque de stockage de ces renseignements. 

Et pour finir, le coût détermine le budget alloué pour le logging et les fonctionnalités disponibles de la solution choisie.

Comment éviter ces erreurs courantes

Pour vous assurer que votre organisation bénéficie d'une gestion efficace des logs sans dépenses inutiles, vous devez esquiver certaines erreurs courantes lors du processus de sélection d'une solution. En voici quelques-unes à éviter :

• Sur-achat : l'achat d'une solution comportant plus de fonctionnalités que nécessaire peut entraîner l'augmentation des frais sans fournir de valeur supplémentaire. Évaluez attentivement les besoins de logging de votre organisation et choisissez la solution qui répond à vos besoins sans fonctionnalités inutiles.
• Sous-achat : une solution qui ne répond pas complètement aux besoins de l'organisation peut entraîner des capacités de logging inadéquates et rendre difficiles le monitoring et la résolution des problèmes. Évaluez attentivement vos besoins pour vous assurer que la solution choisie fournit les fonctionnalités nécessaires à la croissance de votre organisation.
• Dépendance vis‑à‑vis du fournisseur : si vous choisissez une solution à partir de laquelle vous aurez du mal à migrer, vous risquez de limiter la flexibilité de votre organisation et rendre le changement de fournisseur difficile si vos besoins évoluent. Pour l'intégration simple à d'autres systèmes, New Relic permet la migration transparente avec presque 600 intégrations quickstart et prend aussi en charge OpenTelemetry.
• Pièges de tarification ou de facturation : certains fournisseurs emploient des modèles de tarification qui prêtent à confusion ou qui comprennent des frais cachés et rendent difficile l'évaluation des coûts totaux. Pour prendre des décisions éclairées lors de la sélection d'une solution de logging, il est important de bien comprendre ces pièges.

Conseils pour une gestion abordable des logs

Pour faire évoluer le logging sans vous ruiner, adoptez les bonnes pratiques de gestion des logs comme les quatre méthodes suivantes.

Gérez vos logs à partir d'un emplacement centralisé

Mettez en place un système de gestion centralisé, comme New Relic, qui regroupe les logs provenant de différentes sources (applications, serveurs, périphériques réseau et autres composants d'infrastructure, par exemple). Cette centralisation rend plus simples et plus efficaces les analyses, le monitoring et le dépannage des logs. Elle assure aussi une plus grande visibilité sur les performances du système, la sécurité et les autres aspects opérationnels sans devoir changer de contexte en passant d'un outil à l'autre.

Mettez en place des politiques de rotation et de rétention des logs 

S'il est difficile de déterminer combien de temps garder et stocker les logs, il est également important de bien comprendre le cycle de vie des logs. Pour plus de détails, découvrez comment gérer un log d'application. 

• Archivage et suppression des anciens logs : les coûts de stockage et de traitement augmentent avec le volume de logs. La rotation des logs est essentielle à leur gestion, car elle aide à gérer efficacement l'utilisation du stockage et à contrôler les coûts en archivant ou supprimant régulièrement les anciens logs, ce qui garantit que seules les données pertinentes sont conservées. Il est important de noter que la rotation des logs est une stratégie qui convient le mieux au stockage sur site. 
• Rétention de ce qui est nécessaire aussi longtemps qu'il le faut : les politiques de rétention des logs sont cruciales pour la gestion efficace des logs, car elles définissent la durée de conservation des logs et garantissent l'utilisation efficace du stockage en retenant seulement les données nécessaires. Cette approche permet non seulement de contrôler les coûts de stockage, mais elle aide également à respecter la conformité et à simplifier l'analyse des données. À des fins opérationnelles, 30 jours suffisent largement pour le stockage de vos logs. Cependant, certains secteurs et entreprises peuvent requérir une rétention de 90 jours ou plus afin de respecter les exigences de conformité. 
• Révision et mise à jour régulières des politiques : la révision et la mise à jour des politiques de rotation et de rétention garantissent leur alignement avec l'évolution des besoins de l'organisation, les obligations de conformité, et les limites de stockage. En vous adaptant aux changements des systèmes ou de la réglementation, vous pouvez garantir que la gestion des logs reste abordable tout en préservant les données nécessaires et minimisant les frais généraux de stockage.

Optimisez la collecte des logs

• Identification des logs essentiels : déterminez les logs qui sont cruciaux pour le monitoring des performances des applications, la sécurité et la conformité. Concentrez-vous sur la collecte des logs qui apportent des informations importantes et exploitables.
• Implémentation des règles de filtres de suppression et regroupement des logs : mettez en place les filtres de suppression des logs dans New Relic, de telle sorte que seuls les logs pertinents sont collectés et envoyés. Regroupez les logs qui sont similaires afin de réduire le volume de données tout en capturant toujours les informations essentielles, et utilisez New Relic pour créer les métriques.
• Utilisation d'un logging structuré : mettez en place un logging structuré pour créer des logs dans des formats cohérents lisibles à la machine, ce qui facilite leurs traitement, analyse et stockage efficaces.
• Implémentation de l'échantillonnage des logs : utilisez l'échantillonnage des logs pour collecter des sous-ensembles représentatifs et réduire le volume de logs collecté tout en fournissant toujours des informations précieuses.
• Enrichissement de vos logs avec les métadonnées : enrichissez les logs avec des métadonnées supplémentaires (application, environnement ou informations utilisateur, par exemple), pour fournir plus de contexte et faciliter l'analyse et le dépannage.
• Monitoring en temps réel de la collecte de logs : monitorez en continu la collecte des logs pour identifier les problèmes, les goulots d’étranglement et les inefficacités. Cela vous permet ainsi d'ajuster ou d'améliorer rapidement le processus de collecte.
• Automatisation de la collecte et de la gestion des logs : utilisez les outils et techniques d'automatisation pour rationaliser la collecte de logs, réduire les interventions manuelles et assurer une gestion cohérente et efficace des logs.
• Évaluation et ajustement périodiques : examinez et mettez à jour votre stratégie de collecte des logs en fonction des changements apportés à la stratégie commerciale, des mises à jour des applications ou des besoins de conformité. Ainsi, votre processus de collecte des logs reste efficace et rentable.

Monitorez et analysez les logs en temps réel

• Profitez d'une plateforme d’observabilité comme New Relic pour obtenir des informations précieuses sur les performances des applications, la santé de l'infrastructure et l'analyse des logs afin de résoudre les problèmes en temps réel et de réduire les délais moyens de résolution (MTTR) et de détection (MTTD).
• Utilisez les données de log pour identifier et prioriser les problèmes, optimiser la collecte des logs et réduire le volume global des logs.
• Résolvez les problèmes potentiels pour empêcher des temps d’arrêt coûteux, les failles de sécurité ou la dégradation des performances.
• Vous pouvez non seulement voir, trier et utiliser les informations sur les logs que vous envoyez à New Relic, mais vous pouvez également les utiliser avec d'autres outils pour obtenir une vue plus large de ce qui se passe dans tout votre système.

Questions courantes sur le logging sans se ruiner

Vous trouverez ci-dessous des réponses à quelques questions fréquentes sur la manière de faire évoluer le logging sans se ruiner et sur la façon dont New Relic vous aide à y arriver.

Comment puis-je réduire les coûts de stockage des logs ?

Avec la gestion des logs New Relic, vous pouvez optimiser la collecte des logs en configurant des règles de filtre de suppression pour les logs non pertinents avant leur ingestion. Vous réduisez ainsi les frais de stockage en ne collectant que les logs essentiels.

En savoir plus sur la gestion des logs New Relic et les règles de filtres de suppression.

Comment puis-je m'assurer que la solution de logging est fiable et sécurisée ?

New Relic propose une plateforme sécurisée et fiable qui respecte la conformité avec les normes de sécurité du secteur. Le chiffrement en transit est assuré ce qui garantit la transmission sécurisée des données de logs. En combinant vos données de logs avec les données d'infrastructure et le monitoring synthétique de New Relic, vous pouvez détecter les risques potentiels à la sécurité et utiliser ces données de logs pour prévenir les risques. Afin de garantir la confidentialité des données et de respecter les directives sur la sécurité de votre organisation, le service de gestion des logs de New Relic offre une capacité d'obfuscation des renseignements personnels, des jetons d'accès et de toutes données privées ou réglementées. 

En savoir plus sur la sécurité avec New Relic et le contrôle des données confidentielles avec les options d'obfuscation des logs de New Relic

Quelles sont les bonnes pratiques de rotation et rétention des logs ?

New Relic offre des paramètres configurables de rétention de logs qui vous permettent de stocker les logs aussi longtemps que le requiert votre organisation. La plateforme New Relic ne gère pas directement la rotation des logs, mais vous pouvez la configurer pour qu'elle fonctionne avec les solutions que vous utilisez pour le faire.

En savoir plus sur l'affichage et la gestion de la rétention des données. 

Comment puis-je efficacement gérer la rotation des logs ?

Vous pouvez utiliser des outils et processus externes pour traiter la rotation des logs et les intégrer à votre configuration New Relic. En centralisant la gestion des logs avec New Relic, vous pouvez monitorer et analyser les logs de différentes sources et simplifiez ainsi la gestion de la rotation des logs.

En savoir plus sur l'envoi des logs

Comment puis-je réduire les coûts de stockage des logs tout en maintenant l'observabilité ?

Pour réduire les coûts de stockage des logs sans sacrifier l'observabilité, utilisez la gestion des logs New Relic pour optimiser la collecte des logs, la suppression des logs non pertinents et l'analyse des logs essentiels plus efficacement. Utilisez les fonctionnalités de requête et de visualisation de New Relic pour obtenir des informations précieuses sur les performances des applications, la santé de l'infrastructure et l'analyse des logs. Cette approche vous aide à maintenir les niveaux adéquats d'observabilité tout en réduisant les coûts de stockage.

En savoir plus sur la gestion des logs de New Relic.

Conclusion

L'évolutivité du logging sans se ruiner requiert la mise en œuvre de pratiques de gestion des logs qui soient rentables . Avec la centralisation de la gestion des logs, la mise en œuvre des politiques de rotation et de rétention des logs, l'optimisation de la collecte des logs et l'utilisation d'un logging structuré, vous pouvez réduire les dépenses inutiles tout en optimisant la valeur apportée. Conjugués à l'automatisation, le monitoring et l'analyse des logs en temps réel rationalisent les processus et améliorent l'efficacité. Les stratégies d'évaluation et d'ajustement réguliers de la gestion des logs assurent l'adaptabilité aux besoins changeants de votre activité.

En suivant ces conseils et en utilisant des outils comme New Relic, vous pouvez atteindre une gestion des logs efficaces, obtenir des informations précieuses, améliorer les capacités de dépannage et optimiser les performances sans vous ruiner. Avec la bonne approche, il est possible de faire évoluer le logging sans se ruiner, ce qui permet aux organisations d'atteindre l'observabilité et l'excellence opérationnelle.