Queues & Streams によるメッセージフローのオブザーバビリティの合理化

イベント駆動型アーキテクチャは、イベントを生成し、それに反応することでアプリケーション間の通信を可能にします。たとえば、ライドシェアアプリはイベントストリームを用いて乗車リクエストを処理し、イベントがマッピング、ドライバー割り当て、支払い処理といったサービスをトリガーします。同様に、eコマースプラットフォームは、インベントリの更新、確認メールの送信、発送の開始、顧客アカウントの更新といったイベントを通じて注文を処理します。このようなアーキテクチャがデジタルエクスペリエンスにとっていかに重要であるかは容易に理解できます。しかし、最新のアプリケーションはメッセージキューやストリーミングデータにますます依存しており、これらの複雑なシステム監視は困難を極めています。イベント数の増加により、ボトルネック、スロットリング、データレイテンシといったデバックの問題が深刻化し、ユーザーに影響が出るまで問題に気づかないことがよくあります。

本日、New RelicのQueues & Streamsを発表できることを誇りに思います。これは、イベント駆動型アーキテクチャー全体に双方向のインサイトを提供する、業界初の完全統合型監視ソリューションです。この包括的な機能は、Kafkaクラスタに関するリアルタイムで詳細なインサイトと、トレンドを示すデータに基づく、すぐに使用できるアラート条件によるプロアクティブな監視を独自に提供し、他のKafka監視ソリューションで一般的に見られる2分間の遅延を克服します。

統合クラスタビュー：Kafkaの健全性を迅速に評価

New RelicのQueues ＆ Streamsは、メッセージキューとストリームに対して、豊富なコンテキストとエンドツーエンドの可視性を提供します。その独特の双方向ドリルダウン機能により、トピックをプロデューサーとコンシューマーの各サービスに接続し、DevOpsチームが問題（遅いプロデューサー、過負荷のトピック、コンシューマーの負荷低下など）を迅速に特定して解決できるようにします。主な機能には以下のものがあります。

• クラスター、パーティション、ブローカー、トピック、プロデューサー、コンシューマーのレベルに至るまでの、Kafkaの健全性に関する詳細な情報
• サービスからトピック、またその逆の双方向ドリルダウン機能により、迅速な根本原因分析とパフォーマンス分析を実現
• すぐに使用できるアラート条件とリアルタイムの異常検出により、潜在的な問題をプロアクティブに特定

双方向ドリルダウンによる迅速なトラブルシューティング

メッセージ駆動型アプリケーションで問題が発生した場合、根本原因の特定が最大の課題となることがよくあります。New Relicの双方向ドリルダウン機能は、Kafkaクラスタからプロデューサーとコンシューマー（APMサービス）、またその逆方向に関するシームレスでリアルタイムな相関分析情報を提供します。このコンテキストに基づく可視性により、エンジニアは問題の原因が過剰なプロデューサー、低速なコンシューマー、ブローカーのリソース制約のいずれにあるかを迅速に判断できます。これにより、平均検出時間（MTTD）と平均修復時間（MTTR）が大幅に短縮され、システムの耐障害性が高まり、分散アーキテクチャー全体にわたるシームレスなデータフローを確保できます。

即時の異常検出とプロアクティブなアラート

Kafkaストリームの監視では、遅延が発生し、迅速な対応を妨げることがよくあります。New Relicは、Javaエージェントを介して、リアルタイムのKafkaメトリクスを提供することで、この問題を軽減し、Kafkaクライアントコンポーネント全体（プロデューサーとコンシューマーの両方）の異常をチームが即座に特定できるようにします。さらに、プロアクティブアラート（近日公開）により、Kafka固有の監視遅延が軽減され、潜在的な問題がエスカレーションする前に迅速にチームに通知されるため、監視のエクスペリエンスがさらに向上します。

データスループットの特定と最適化

効率的なデータフローはパフォーマンスの向上に不可欠です。New Relicは、レイテンシ、スロットリング率、キュー深度、リトライ回数といったメトリクスに関する詳細なインサイトを提供し、スループットに影響を与えるボトルネックを迅速に特定します。さらに、New Relicのソリューションは圧縮されていないデータストリームを特定し、効果的な圧縮戦略を用いてシステムを最適化し、全体的なパフォーマンスを向上させることができます。

Kafkaトピックに関する包括的なインサイト

個々のトピックのパフォーマンスを理解することはとても重要です。New Relicの詳細なトピックビューでは、クラスタ内の上位20件のトピックエンティティに素早くアクセスでき、受信および送信スループットやメッセージレートなどのリアルタイムメトリクスも表示されます。この詳細なデータにより、チームはトピック固有のパフォーマンスとリソース割り当てを効果的に管理して、最適化できます。

始める

Queues & Streams をワークフローに統合するのは簡単です。

ステップ1：インテグレーション設定

• Kafkaプロバイダー（Amazon MSKまたはConfluent Cloud）を選択し、ガイド付きのインストール手順に従います

ステップ2：New Relic UIの操作

• New Relicにログインし、one.newrelic.com > All capabilities > Queues & Streams に移動します
• 直感的なフィルターと検索機能を使用して、Kafkaクラスタを素早く特定します

ステップ3：モニタリングと診断

• 視覚的なKafka Navigatorを活用して、正常なクラスターと問題のあるクラスターを迅速に特定します
• APMサービスの詳細メトリクスとの相関関係をドリルダウンして確認できます

詳細な設定手順については、Queues & Streamsのドキュメントをご覧ください。