New Relicは、オブザーバビリティ体験を拡張して、人工知能（AI）チームや機械学習（ML）チームが可視化のサイロを打破するための新しい方法を提供します。この最新イノベーションにより、AI/MLチームやDevOps チームは、アプリやインフラストラクチャと一緒に再現性、精度、モデルの正確性、などの重要シグナルを1か所で可視化することができます。
MLパフォーマンスを数分で測定。この動画では、New RelicのMLモデルパフォーマンス監視を設定して、AIとMLアプリケーションの価値を生み出す期間をどのように加速化するかについてご紹介しています。
MLモデルデータをNew Relic Oneに統合
AI/MLエンジニアやデータサイエンティストは、モデルパフォーマンスのテレメトリーデータをNew Relic Oneに送信し、最新の機械学習運用（MLOps）プラットフォームと統合することにより、運用中のMLモデルに関する問題を監視できるようになります。カスタムダッシュボードと可視化により完全な可視化が実現し、MLへの投資パフォーマンスを示すことができます。
ML駆動アプリケーションの完全な可視化
通常のソフトウェアとは異なり、AIとMLモデルはコードと基礎となるデータに依存しています。現実世界は常に変化しているため、静的データに基づいて開発されたモデルは、時間とともに無関係になったり、「ドリフト」して精度が低下することがあります。生産MLモデルのパフォーマンス監視は、適正な顧客体験を継続的に提供する上で欠かせません。
MLモデルパフォーマンス監視にNew Relic Oneを利用することで、開発データサイエンスチームは以下のことが可能になります。
- お客様のMLデータを取り込む、またはデータサイエンスプラットフォームに統合して、MLモデルやインフラなどその他のアプリケーションコンポーネントの相互依存関係を監視します。
- カスタムダッシュボードを作成して、信頼性と洞察力を得て、MLモデルの正確性をさらに高めます。
- New Relic AlertsとApplied Intelligenceからの予測アラートをMLモデルに適用し、通常と異なる変化や未知の状態を早期に発見して、顧客への影響を阻止します。
- 高機能モデルの維持に欠かせない重要シグナルがないか、MLモデルのテレメトリーデータを確認します。
- 本番環境と連携し、ビジネスに影響を与える前に、アラート、通知、インシデントをコンテクスチュアルに把握することができます。
- データにアクセスし、イノベーションの推進、決定事項の計画立案、信頼性の向上、顧客体験の改善など、データ駆動型の決定を下せるようにします。
MLモデルデータをNew Relic Oneに統合
AI/MLエンジニアやデータサイエンティストは、モデルパフォーマンスのテレメトリーデータをNew Relic Oneに送信し、最新の機械学習運用（MLOps）プラットフォームと統合することにより、運用中のMLモデルに関する問題を監視できるようになります。カスタムダッシュボードと可視化により完全な可視化が実現し、MLへの投資パフォーマンスを示すことができます。
ML駆動アプリケーションの完全な可視化
通常のソフトウェアとは異なり、AIとMLモデルはコードと基礎となるデータに依存しています。現実世界は常に変化しているため、静的データに基づいて開発されたモデルは、時間とともに無関係になったり、「ドリフト」して精度が低下することがあります。生産MLモデルのパフォーマンス監視は、適正な顧客体験を継続的に提供する上で欠かせません。
MLモデルパフォーマンス監視にNew Relic Oneを利用することで、開発データサイエンスチームは以下のことが可能になります。
- お客様のMLデータを取り込む、またはデータサイエンスプラットフォームに統合して、MLモデルやインフラなどその他のアプリケーションコンポーネントの相互依存関係を監視します。
- カスタムダッシュボードを作成して、信頼性と洞察力を得て、MLモデルの正確性をさらに高めます。
- New Relic AlertsとApplied Intelligenceからの予測アラートをMLモデルに適用し、通常と異なる変化や未知の状態を早期に発見して、顧客への影響を阻止します。
- 高機能モデルの維持に欠かせない重要シグナルがないか、MLモデルのテレメトリーデータを確認します。
- 本番環境と連携し、ビジネスに影響を与える前に、アラート、通知、インシデントをコンテクスチュアルに把握することができます。
- データにアクセスし、イノベーションの推進、決定事項の計画立案、信頼性の向上、顧客体験の改善など、データ駆動型の決定を下せるようにします。
監視は、MLOpsの最大かつ最重要な面の1つとして急速に浮上しており、New Relicがオブザーバビリティプラットフォームを発売したことに高揚感を抱いています。
企業によるAI/MLの利用事例が拡大し、複雑化しているため、フルスタックのMLアプリケーションオブザーバビリティを先端チームの焦点にする必要があります。また生産における重要決定を行う際には、自社モデルを追跡するための適正な手段も必要となります。AIインフラストラクチャアライアンスでは、重要構成要素を今後のAIアプリケーションに一体化していきます。そのミッションにおいてNew Relicと提携できることをうれしく思っています。
機械学習モデルのテレメトリーから瞬時に価値を得る
毎月100GBのフリー容量と既成ライブラリを利用すれば、お客様のMLモデルの推測/パフォーマンスデータを、Jupyter ノートブックやクラウドサービスからNew Relicにわずか数分で取り込むことができ、メトリクスのような静的データや未来・予測ディストリビューションが得られます。
またNew Relicのオープンソースエコシステムを利用すれば、融通性に富むクイックスタートも可能で、貴社のMLモデルデータから素早く価値を引き出すことができます。AWS SageMaker、DataRobot (Algorithmia)、Aporia、Superwise、Comet、DAGsHub、Mona、TruEraのような最新データサイエンスプラットフォームとの広範な統合化には、自社モデルを瞬時に可視化する事前設定済みパフォーマンスダッシュボードその他のオブザーバビリティ構成要素も含まれます。New Relic Oneがなければ、自社MLモデルのデータから価値を引き出すのは容易ではありません。
不正確なMLのレコメンデーションや予測に要する企業コストは数百万ドルにも上ります。New Relicのモデルパフォーマンス監視なら、チームはMLモデルパフォーマンスを測定して、投資利益率を最大化できます。
機械学習モデルパフォーマンス監視を始める
当社は、全てのエンジニアにとってオブザーバビリティが日々のベストプラクティスとなるよう取り組んでいます。New Relic MLモデルパフォーマンス監視の発売とともに、当社は統一データオブザーバビリティプラットフォームを提供し、ML/AIチームやDevOpsチームは、MLベースアプリのパフォーマンスに前例のない可視性を実現できます。必要なものをすべて一箇所に集めたNew Relicは、オブザーバビリティを未来に広げます。
利用可能な全てのNew Relic MLモデルパフォーマンス監視オブザーバビリティインテグレーションは、New Relic Instant Observability（インスタントオブザーバビリティ）の一部であり、今後さらに拡張されます。
お客様のMLモデルのテレメトリーをNew Relic Oneに取り込む方法については、XGBoostモデルのPythonライブラリとノートブックの例をご覧ください。インテグレーションに関するステップバイステップの説明もご用意しています。
次のステップ
New Relic MLモデルパフォーマンス監視の設定方法やMLモデルパフォーマンスを自社オブザーバビリティインフラに統合するための方法は、New RelicのMLOps文書ページをご覧ください。
New Relicを初めて使う方で、さらに詳しい情報をお知りになりたい場合は、 永久無料のアカウントに登録し、 New Relic Oneをご体験ください。
本ブログに掲載されている見解は著者に所属するものであり、必ずしも New Relic 株式会社の公式見解であるわけではありません。また、本ブログには、外部サイトにアクセスするリンクが含まれる場合があります。それらリンク先の内容について、New Relic がいかなる保証も提供することはありません。
このブログには、将来のAI/MLや関連オブザーバビリティニーズなどに関して、連邦セキュリティ法に定める将来予想に関する記述が含まれています。この将来予想的な記述の中で言及される物事の達成度や成功度は、現時点における当社の予測・見込・判断に基づくものです。そのため重大なリスク、不確実性、憶測を含み、状況の変化に応じて将来予測に関する記述の中で言及・示唆される内容と実際の成績、パフォーマンス、達成度は大きく異なる場合があります。当社の財務成績など各種成績に影響を及ぼし得る要因や、本投稿に含まれる将来予想的な記述の詳細は、当社の最新版四半期報告書（主に「リスク要因」と「財政状態および経営成績に関する経営者による説明と分析」の部分）など、当社が証券取引委員会と随時作成中の文書をご確認ください。こちらの文書のコピーをご希望の方は、当社の投資家様向けウェブサイト（http://ir.newrelic.com）または証券取引委員会のウェブサイト（www.sec.gov）をご確認ください。当社は法律により求められる場合を除き、将来予想に関する記述を更新する義務も方針もいっさい有しておりません。
