New RelicでのOpenAI GPTアプリケーション使用状況の監視

すでにOpenAIのGPT-3、GPT-3.5およびGPT-4を大規模に使用しているか、その予定があるなら、平均リクエストタイム、総リクエスト数、総コストなどのメトリクスを監視することが重要です。そうすることで、ChatGPTのようなOpenAI GPTシリーズのAPIが期待通りに動作していることを確認できます。特に、これらのサービスがカスタマーサービスやサポートのような重要な機能に必要な場合です。

New RelicでOpenAIを監視する

New Relicは、詳細な監視インサイトを提供し、現在の技術スタックと統合する価値あるAIおよびMLツールの提供に注力しています。OpenAIのGPT-3、GPT-3.5およびGPT-4のバージョンとのMLOps統合は業界初で、このサービスを監視するためのシームレスな経路を提供します。当社の軽量なライブラリは、OpenAIの補完クエリを監視するのに役立ちます。

たった数行コードを追加するだけで、monitorモジュールをnr_openai_monitorライブラリからインポートし、コスト、リクエスト、平均応答時間、さらにリクエストごとの平均トークンなど、GPT-3、GPT-3.5およぎGPT-4のさまざまな主要パフォーマンスメトリクスを表示するダッシュボードが自動的に作成できます。

開始するには、New Relicインスタントオブザーバビリティ（I/O）からOpenAI オブザーバビリティをインストールしてください。New RelicをGPTアプリケーションに統合し、カスタムダッシュボードをデプロイする方法については、Data Bytesの動画をご覧になるか、GitHubリポジトリで詳細な手順をご確認ください。

GPT-3、GPT-3.5およびGPT-4の主要なオブザーバビリティメトリクス

OpenAIでもっとも強力なDavinciモデルの使用は1,000トークンあたり$0.12で、これはすぐに加算されていくため、大規模運用が難しくなることがあります。そのため、監視の価値がある重要なメトリクスのひとつは、ChatGPTの運用コストです。GPT-3、GPT-3.5およびGPT-4のNew Relicへのインテグレーションにより、ダッシュボードではリアルタイムのコスト追跡が可能になります。OpenAI使用に関する金銭的な示唆が得られるため、より効率的なユースケースを決定できるようになります。 

もう一つの重要な指標は、平均応答時間です。ChatGPT、Whisper API、その他のGPTリクエストの速度は、モデルを改善し、OpenAIアプリケーションの背後にある価値を顧客に迅速に提供するのに役立ちます。New RelicでGPT-3、GPT-3.5およびGPT-4を監視することで、OpenAIリクエストのパフォーマンスを把握することができ、利用状況の把握、MLモデルの効率化、最適な応答時間を確保することができます。

New Relicダッシュボードに含まれるその他のメトリクスは、総リクエスト数、平均トークン／リクエスト、モデル名、サンプルです。これらのメトリクスは、ChatGPTとOpenAIの使用状況と効果に関する貴重な情報を提供し、GPTのユースケースを中心にパフォーマンスを向上させるのに役立ちます。

全体として、New RelicのOpenAIインテグレーションは迅速で使いやすく、リアルタイムでのメトリクスの確認が可能になるため、使用の最適化やMLモデルの改善、コスト削減、さらにGPT-3、GPT-3.5およびGPT-4モデルのよりよいパフォーマンスを実現しやすくなります。

New Relic MLOpsの設定方法や、自社オブザーバビリティインフラストラクチャーでのOpenAIのGPT-3、GPT-3.5およびGPT-4アプリケーションの統合方法については、公式ドキュメンテーションまたはインスタントオブザーバビリティのOpenAI向けクイックスタートをご確認ください。