業界初AIアプリケーション向けAPM、New Relic AI Monitoringの紹介

AIは最新のアプリケーションを新たな高みに押し上げていますが、同時にAIアプリケーションを構築・実行するエンジニアにAIアプリケーション特有の課題をもたらしています。従来のアプリケーションとは異なり、AIアプリケーションには、大規模言語モデル（LLM）やベクトルデータストアなどの高度なコンポーネントを組み込んだ新しい技術スタックが必要です。さらに、AIアプリケーションの安全性、セキュリティ、信頼性を確保する上で考慮する必要がある、品質やコストなどの追加のテレメトリーデータも生成します。特にAIシステムの安全性、信頼性、倫理的な開発と導入を保証する基準を確立するというバイデン政権の先日の大統領令を考慮すると、複雑さによって生じる課題に対処し、アプリケーションを最適化することは、AIの将来にとって不可欠です。

当社はNew Relic AI Monitoring（AIM）の提供を開始します。AI駆動型のアプリケーションにエンドツーエンドの可視性を提供する、業界初のAPMソリューションです。AIMは現在限定プレビュー中です。エンジニアにAIスタック全体にわたる新たな可視性とインサイトを提供し、安全で責任あるAIアプリケーションを構築・実行できるようにします。

AIMの技術的な側面を説明する前に、AIモニタリングがなぜ重要なのか、そしてAIアプリケーションの適切な動作確認にモニタリングする必要がある、スタックの各コンポーネントを見てみましょう。

AIアプリケーションを監視すべき理由

AIアプリケーションを監視すべき理由は以下の通りです。

• 品質と精度：複雑なAIモデルのバイアス、有害性、幻覚症状を監視して、公正で信頼性の高い結果を実現します
• パフォーマンスのチューニング：AIの応答のボトルネックを特定して解決し、応答性が高く効率的なAIアプリケーションを維持します
• コスト管理：トークン処理を追跡して、AIモデルのコストを効果的に管理し、予算制限内に収めます
• 責任ある使用：AIの応答に、弊害をもたらす恐れのあるバイアスや有害性がないことを確認します
• セキュリティ：AIアプリケーションの脆弱性を監視し、潜在的なセキュリティ攻撃を軽減する修正措置を講じます

New Relic AIMは、AIアプリケーションのデバッグ、モニタリング、改善に必要な洞察を提供することで、AIに取り組むエンジニアにオブザーバビリティの威力をもたらします。AIアプリケーションが意図したとおりに動作し、正確な結果を提供し、責任ある使用に関する新たな基準を満たすことを保証します。

AIスタックを理解する

AIスタックとは、AIアプリケーションの開発とデプロイに使用するツールとテクノロジーの複雑なセットです。前述したように、AIスタックは一連の新しいテレメトリーデータを提供するだけでなく、従来の技術スタックよりもさらに多くのデータやコンピューティングリソース、より専門的なツールやテクノロジーを必要とすることがよくあります。

以下は、AI技術スタックの主要コンポーネントです。

• インフラストラクチャ層：AIアプリケーションをデプロイするスケーラブルな方法を提供するクラウドコンピューティングプラットフォーム（AWS、Azure、Google Cloud Platform（GCP）など）とともに、AIモデルをトレーニングしデプロイする強力なGPUとCPUなど、AIの開発とデプロイメントの基盤を提供します
• データストレージ/ベクトルデータストア：AIアプリケーションは、大量のデータを保存し、アクセスする必要があります。ベクトルデータベースは、AIアプリケーションでよく使用される高次元データの保存と、クエリを行うように設計された特殊なデータベースです
• モデル層：予測を行ったり出力を生成したりする際に使用する、AIモデルが含まれます。コンテンツ生成用の一般的なAIモデルには、GPT-4、Anthropic、Cohere、LLama 2、Amazon Bedrockなどがあります
• オーケストレーションフレームワーク：LangChainのようなオーケストレーションフレームワークは、データ処理、モデルの呼び出し、後処理など、AIアプリケーションのさまざまなコンポーネントを連結する方法を提供します
• アプリケーション層：AIモデルと対話するユーザー向けアプリケーションが含まれます

New Relic AIM：AIアプリ向けAPM

New Relic AIMは、スタック全体にオブザーバビリティの威力をもたらします。エンジニアがNew Relic APMを使用してアプリケーションスタックを監視する方法と同様に、AIMによりエンジニアはAIスタックの全コンポーネントを完全に可視化できるため、AIアプリケーションのパフォーマンス、品質、コストを簡単に監視、デバッグ、改善して、コンプライアンスに準拠できます。

素早く簡単な設定

New Relicエージェントは、追加の計装を必要とせずに、AIモニタリングのための迅速かつ簡単な設定を提供します。OpenAIやAWS Bedrockなど、よく導入されているモデルや、LangChainなどのオーケストレーションフレームワークへの組み込みサポートを提供します。これにより、AIスタック全体にわたる完全なエンドツーエンドの可視性と詳細なトレースに関する洞察が得られます。その結果、個々のコンポーネントのパフォーマンスを簡単に特定して分析し、データの流れを追跡し、AIアプリケーションの潜在的なボトルネックを正確に特定できるようになります。

AIスタック全体を完全に可視化し、デバッグを迅速化

New Relic AIMはNew Relic APM 360とシームレスに連携し、サービス層からインフラストラクチャ、AIモデルに至るまで、AIスタック全体にわたるエンドツーエンドの可視性を提供します。AIアプリケーションのパフォーマンスを上流および下流の傾向と関連付けて、問題がアプリケーションの他の部分に与える影響をリアルタイムで把握できるようになりました。これにより、憶測での作業を減らし、すべてのエンジニアが直感的かつ効率的にトラブルシューティングを行えるようになります。

以下は、統合されたAIMビューを含む、New Relic APM 360の概要のスクリーンショットです。この統合ビューにより、APMゴールデンシグナル、インフラストラクチャの洞察、ログのほか、合計リクエスト数、平均応答時間、トークンの使用状況、ユーザーフィードバック、応答エラー率など、AIレイヤーの主要なメトリクスに対する洞察をリアルタイムに取得できます。アプリケーションエラーの急増と、New Relic APM 360の概要ビューに統合されたAI応答エラーの急増が表示されたとしましょう。AI応答ビューにドリルダウンすることで、問題の根本原因をすばやく見つけることができます。

AIアプリケーションのパフォーマンス、品質、コストを最適化

New Relic AIMは、あらゆる応答に対して詳細なトレースを提供します。これにより、AIアプリケーションがどう動作しているかを理解し、パフォーマンスの改善方法、バイアスや有害性、幻覚症状などの品質問題への対処方法、コストの管理方法についてデータに基づいた意思決定を行う上で必要な可視性が提供されます。AI Responses UIにより、以下のことが可能になります。

• 外れ値と傾向を特定：AIMは、すべてのAI応答についてのメトリクスを集約したビューを提供します。ここでは、応答の外れ値や傾向を簡単に特定できます

• すべての応答のライフサイクル全体をトレース：New Relic AIMでは、AIの応答のライフサイクル全体を確認できます。以下のスクリーンショットに示すように、プロンプトから始まり、アプリケーションコンポーネントのすべての段階を、わかりやすいウォーターフォールビューで表示します

さらに、各応答のプロンプト、ネガティブなフィードバック、メタデータなどの詳細を表示できるため、パフォーマンスや品質に関連する問題を速やかに発見して、修正できます。

モデル間のパフォーマンスとコストを比較

モデルの比較はAIモニタリングでの重要な部分です。ニーズに最適なモデルを特定し、長期にわたるパフォーマンスを追跡し、コストを最適化することができます。New Relic AIMでは使いやすい単一のビューを提供し、すべてのモデルにわたるパフォーマンス、コスト、セキュリティ、品質問題（幻覚症状、バイアス、有害性など）に関するトラブルシューティング、比較、最適化を行うことができます。

AIアプリケーションのコストの最適化は、AIMのモデル比較の一般的な使用例の1つです。AIモデル全体でトークンの使用状況を追跡することで、実行コストが最も高いモデルを特定できます。その後、より低コストのモデルを選択して、AIアプリケーションのアーキテクチャを最適化できます。

豊富なインテグレーションで、あらゆるAIエコシステムを即座に監視

New Relic AIMは、AIエコシステムを構成する50超のコンポーネントとのインテグレーションを提供します。これには、一般的なLLM、機械学習（ML）ライブラリ、ベクトルデータベースのほか、現在New Relicエージェントでサポート対象外のフレームワークが含まれます。これらのインテグレーションには、事前設定済みのダッシュボード、アラート、AIアプリケーションのパフォーマンスと健全性を即座に可視化する、その他のオブザーバビリティ構築ブロックが含まれています。

New Relic：AIモニタリングで業界をリード

New Relicは、AIMの導入によりオブザーバビリティにおいて先駆けた存在です。AIMは、これまでにない可視性、シームレスな連携、AIスタック全体の深い洞察を提供します。New Relic APM 360との連携により、AIアプリケーションに影響を与えるパフォーマンス、コスト、品質の問題を簡単に特定できます。AIMは、AIのオブザーバビリティに一歩踏み出すことで、組織が自信を持って自社のアプリケーションにAIを導入し、顧客やパートナーとの信頼を築き、人工知能の絶え間なく変化する状況において規制当局に先んじて対処できるようにします。