Simplifiez l'observabilité des flux de messages grâce au monitoring des files d'attente et des flux de données.

L'architecture event-driven permet aux applications de communiquer entre elles en produisant des événements ou en y réagissant. Par exemple, les applications de covoiturage utilisent les flux d'événements pour traiter les demandes, avec des services déclencheurs d'événements, comme l'itinéraire, l'attribution d'un conducteur et le traitement des paiements. De même, les plateformes d'e-commerce gèrent les commandes via des événements qui mettent à jour l'inventaire, envoient les e-mails de confirmation, lancent l'expédition et mettent à jour les comptes client. Nous pouvons facilement voir comment ce type d'architecture est essentiel à l'expérience numérique.  Toutefois, les applications modernes dépendant de plus en plus des files d'attente de messages et des données de streaming, le monitoring de ces systèmes complexes peut s'avérer difficile. Le volume croissant des événements complique les problèmes — goulots d’étranglement, restriction temporaire du débit (throttling) et latence des données — et certains d'entre eux passent inaperçus jusqu'à ce qu'ils impactent les utilisateurs.

Nous sommes ravis d'annoncer aujourd'hui le monitoring des files d'attente et flux de données, New Relic Queues and Streams, la première solution de monitoring intégrée apportant des informations détaillées et des insights bidirectionnels sur toute votre architecture event-driven. Cette capacité complète offre des informations granulaires en temps réel sur les clusters Kafka et un monitoring proactif avec des conditions d'alertes prêtes à l'emploi basées sur les données de tendances, éliminant ainsi le délai type de 2 minutes des autres solutions de monitoring Kafka.

Vue unifiée et uniformisée des clusters : évaluez rapidement l'intégrité de vos clusters Kafka 

New Relic Queues and Streams fournit une visibilité de bout en bout riche en contexte pour les files d'attente et les flux de données des messages. Sa capacité bidirectionnelle distincte d'exploration en profondeur connecte les sujets aux services des producteurs et des consommateurs, ce qui permet aux équipes DevOps de rapidement identifier et résoudre les problèmes tels que les producteurs lents, la surcharge des sujets ou les consommateurs rencontrant des problèmes. Les capacités clés comprennent :

• Des informations granulaires sur l'intégrité de Kafka jusqu'au niveau du cluster, de la partition, du broker, du sujet, du producteur et du consommateur.
• Une analyse rapide de la cause profonde et des performances grâce à la capacité bidirectionnelle d'exploration en profondeur des services jusqu'au sujet et vice-versa.
• L'identification proactive des problèmes éventuels avec des conditions d’alerte prêtes à l'emploi et la détection des anomalies en temps réel|. 

Dépannage plus rapide avec des recherches approfondies bidirectionnelles 

Lorsque des problèmes apparaissent dans les applications message-driven, la plus grande difficulté est souvent l'identification précise des causes profondes. La capacité de recherche bidirectionnelle de New Relic apporte sans interruption des informations détaillées et corrélées en temps réel sur les clusters Kafka aux producteurs et consommateur (services d'APM) — et inversement. Cette visibilité contextuelle permet aux ingénieurs de rapidement déterminer si l'erreur vient de producteurs hyperactifs, de consommateurs léthargiques ou des limites sur les ressources des brokers, ce qui réduit drastiquement le temps moyen de détection (MTTD) et le temps moyen de résolution (MTTR), améliore la résilience du système et assure le flux des données sur toutes les architectures distribuées.

Détection instantanée des anomalies et alertes proactives

Le monitoring des flux Kafka comprend des délais qui empêchent une action immédiate. New Relic les atténue grâce aux métriques Kafka en temps réel via notre agent Java, ce qui permet à votre équipe de repérer les anomalies instantanément sur tous les composants clients Kafka — qu'il s'agisse des producteurs ou des consommateurs. En outre, les alertes proactives (prochainement disponibles) amélioreront encore plus votre expérience de monitoring en atténuant les retards inhérents de Kafka et en notifiant aussitôt votre équipe des problèmes éventuels avant qu'ils ne s'aggravent.

Identifiez et optimisez le débit des données

Le flux efficace des données est essentiel pour les performances. Avec les informations détaillées de New Relic sur les métriques telles que la latence, les taux de throttling, la longueur de la file d'attente et le nombre de tentatives, votre équipe peut rapidement repérer les goulots d’étranglement qui ont un impact sur le débit. En outre, notre solution identifie les flux de données non compressées, ce qui vous permet d'optimiser votre système avec des stratégies de compression efficaces et d'améliorer les performances globales.

Informations complètes sur les topics Kafka

Il est essentiel de bien comprendre les performances des topics (catégories). La vue détaillée de New Relic sur les topics permet aux utilisateurs de rapidement accéder aux 20 premières entités de topics dans leurs clusters, avec des métriques en temps réel telles que les débits entrant et sortant et la cadence des messages. Ces données granulaires garantissent que les équipes peuvent gérer et optimiser les performances spécifiques aux topics et l'attribution efficace des ressources.

Démarrage

L'intégration du monitoring des files d'attente et flux de données dans votre workflow est simple et claire :

Étape 1 : Paramétrage de l'intégration

• Choisissez votre fournisseur Kafka (Amazon MSK ou Confluent Cloud) et suivez les étapes d'installation guidées.

Étapes 2 : Navigation dans l'interface New Relic

• Connectez-vous à New Relic, ouvrez la page one.newrelic.com > All capabilities > Queues & Streams.
• Utilisez les filtres et recherchez la fonctionnalité pour rapidement identifier les clusters Kafka.

Étape 3 : Monitoring et diagnostic

• Utilisez Kafka Navigator pour rapidement identifier l'état de santé ou les clusters problématiques.
• Examinez les métriques profondes et la corrélation avec vos services d'APM.

Pour des instructions plus détaillées sur le paramétrage, consultez notre documentation sur New Relic Queues and Streams.