すでにOpenAIのGPT-3、GPT-3.5およびGPT-4を大規模に使用しているか、その予定があるなら、平均リクエストタイム、総リクエスト数、総コストなどのメトリクスを監視することが重要です。そうすることで、ChatGPTのようなOpenAI GPTシリーズのAPIが期待通りに動作していることを確認できます。特に、これらのサービスがカスタマーサービスやサポートのような重要な機能に必要な場合です。
New RelicでOpenAIを監視する
New Relicは、詳細な監視インサイトを提供し、現在の技術スタックと統合する価値あるAIおよびMLツールの提供に注力しています。OpenAIのGPT-3、GPT-3.5およびGPT-4のバージョンとのMLOps統合は業界初で、このサービスを監視するためのシームレスな経路を提供します。当社の軽量なライブラリは、OpenAIの補完クエリを監視するのに役立ちます。
たった数行コードを追加するだけで、monitor
モジュールをnr_openai_monitor
ライブラリからインポートし、コスト、リクエスト、平均応答時間、さらにリクエストごとの平均トークンなど、GPT-3、GPT-3.5およぎGPT-4のさまざまな主要パフォーマンスメトリクスを表示するダッシュボードが自動的に作成できます。
開始するには、New Relicインスタントオブザーバビリティ(I/O)からOpenAI オブザーバビリティをインストールしてください。New RelicをGPTアプリケーションに統合し、カスタムダッシュボードをデプロイする方法については、Data Bytesの動画をご覧になるか、GitHubリポジトリで詳細な手順をご確認ください。
New Relicインスタントオブザーバビリティからクイックスタートをインストールして、ビルド済みのGPT-3 OpenAI監視ダッシュボードを手に入れましょう。
GPT-3、GPT-3.5およびGPT-4の主要なオブザーバビリティメトリクス
OpenAIでもっとも強力なDavinciモデルの使用は1,000トークンあたり$0.12で、これはすぐに加算されていくため、大規模運用が難しくなることがあります。そのため、監視の価値がある重要なメトリクスのひとつは、ChatGPTの運用コストです。GPT-3、GPT-3.5およびGPT-4のNew Relicへのインテグレーションにより、ダッシュボードではリアルタイムのコスト追跡が可能になります。OpenAI使用に関する金銭的な示唆が得られるため、より効率的なユースケースを決定できるようになります。
もう一つの重要な指標は、平均応答時間です。ChatGPT、Whisper API、その他のGPTリクエストの速度は、モデルを改善し、OpenAIアプリケーションの背後にある価値を顧客に迅速に提供するのに役立ちます。New RelicでGPT-3、GPT-3.5およびGPT-4を監視することで、OpenAIリクエストのパフォーマンスを把握することができ、利用状況の把握、MLモデルの効率化、最適な応答時間を確保することができます。
New Relicダッシュボードに含まれるその他のメトリクスは、総リクエスト数、平均トークン/リクエスト、モデル名、サンプルです。これらのメトリクスは、ChatGPTとOpenAIの使用状況と効果に関する貴重な情報を提供し、GPTのユースケースを中心にパフォーマンスを向上させるのに役立ちます。
確認するには、one.newrelic.comでAlerts & AIを選択し、New Relicダッシュボードのサンプルメトリクスをご覧ください。
全体として、New RelicのOpenAIインテグレーションは迅速で使いやすく、リアルタイムでのメトリクスの確認が可能になるため、使用の最適化やMLモデルの改善、コスト削減、さらにGPT-3、GPT-3.5およびGPT-4モデルのよりよいパフォーマンスを実現しやすくなります。
New Relic MLOpsの設定方法や、自社オブザーバビリティインフラストラクチャーでのOpenAIのGPT-3、GPT-3.5およびGPT-4アプリケーションの統合方法については、公式ドキュメンテーションまたはインスタントオブザーバビリティのOpenAI向けクイックスタートをご確認ください。
次のステップ
オブザーバビリティは、プラットフォームエンジニアリングに欠かせない要素です。無料のNew Relicアカウントで、APMとオブザーバビリティをわずか数分で開始できます。アカウントには、毎月100GBの無料データ取り込み、1名の無料フルアクセスユーザー、および無制限の無料ベーシックユーザー、500以上のビルド済みクイックスタートインテグレーションが含まれます。
本ブログに掲載されている見解は著者に所属するものであり、必ずしも New Relic 株式会社の公式見解であるわけではありません。また、本ブログには、外部サイトにアクセスするリンクが含まれる場合があります。それらリンク先の内容について、New Relic がいかなる保証も提供することはありません。