モデルパフォーマンス監視機能により、機械学習にフルスタックの観測性を拡張する。

公開済み 所要時間:約 6分
青い線

New Relicは、オブザーバビリティ体験を拡張して、人工知能(AI)チームや機械学習(ML)チームが可視化のサイロを打破するための新しい方法を提供します。この最新イノベーションにより、AI/MLチームやDevOps チームは、アプリやインフラストラクチャと一緒に再現性、精度、モデルの正確性、などの重要シグナルを1か所で可視化することができます。

MLパフォーマンスを数分で測定。この動画では、New RelicのMLモデルパフォーマンス監視を設定して、AIとMLアプリケーションの価値を生み出す期間をどのように加速化するかについてご紹介しています。

MLモデルデータをNew Relic Oneに統合

AI/MLエンジニアやデータサイエンティストは、モデルパフォーマンスのテレメトリーデータをNew Relic Oneに送信し、最新の機械学習運用(MLOps)プラットフォームと統合することにより、運用中のMLモデルに関する問題を監視できるようになります。カスタムダッシュボードと可視化により完全な可視化が実現し、MLへの投資パフォーマンスを示すことができます。

ML駆動アプリケーションの完全な可視化

通常のソフトウェアとは異なり、AIとMLモデルはコードと基礎となるデータに依存しています。現実世界は常に変化しているため、静的データに基づいて開発されたモデルは、時間とともに無関係になったり、「ドリフト」して精度が低下することがあります。生産MLモデルのパフォーマンス監視は、適正な顧客体験を継続的に提供する上で欠かせません。

MLモデルパフォーマンス監視にNew Relic Oneを利用することで、開発データサイエンスチームは以下のことが可能になります。

  • お客様のMLデータを取り込む、またはデータサイエンスプラットフォームに統合して、MLモデルやインフラなどその他のアプリケーションコンポーネントの相互依存関係を監視します。
  • カスタムダッシュボードを作成して、信頼性と洞察力を得て、MLモデルの正確性をさらに高めます。
  • New Relic AlertsとApplied Intelligenceからの予測アラートをMLモデルに適用し、通常と異なる変化や未知の状態を早期に発見して、顧客への影響を阻止します。
  • 高機能モデルの維持に欠かせない重要シグナルがないか、MLモデルのテレメトリーデータを確認します。
  • 本番環境と連携し、ビジネスに影響を与える前に、アラート、通知、インシデントをコンテクスチュアルに把握することができます。
  • データにアクセスし、イノベーションの推進、決定事項の計画立案、信頼性の向上、顧客体験の改善など、データ駆動型の決定を下せるようにします。
NEW RELIC ALGORITHMIA INTEGRATION
Algorithmia logo

MLモデルデータをNew Relic Oneに統合

AI/MLエンジニアやデータサイエンティストは、モデルパフォーマンスのテレメトリーデータをNew Relic Oneに送信し、最新の機械学習運用(MLOps)プラットフォームと統合することにより、運用中のMLモデルに関する問題を監視できるようになります。カスタムダッシュボードと可視化により完全な可視化が実現し、MLへの投資パフォーマンスを示すことができます。

ML駆動アプリケーションの完全な可視化

通常のソフトウェアとは異なり、AIとMLモデルはコードと基礎となるデータに依存しています。現実世界は常に変化しているため、静的データに基づいて開発されたモデルは、時間とともに無関係になったり、「ドリフト」して精度が低下することがあります。生産MLモデルのパフォーマンス監視は、適正な顧客体験を継続的に提供する上で欠かせません。

MLモデルパフォーマンス監視にNew Relic Oneを利用することで、開発データサイエンスチームは以下のことが可能になります。

  • お客様のMLデータを取り込む、またはデータサイエンスプラットフォームに統合して、MLモデルやインフラなどその他のアプリケーションコンポーネントの相互依存関係を監視します。
  • カスタムダッシュボードを作成して、信頼性と洞察力を得て、MLモデルの正確性をさらに高めます。
  • New Relic AlertsとApplied Intelligenceからの予測アラートをMLモデルに適用し、通常と異なる変化や未知の状態を早期に発見して、顧客への影響を阻止します。
  • 高機能モデルの維持に欠かせない重要シグナルがないか、MLモデルのテレメトリーデータを確認します。
  • 本番環境と連携し、ビジネスに影響を与える前に、アラート、通知、インシデントをコンテクスチュアルに把握することができます。
  • データにアクセスし、イノベーションの推進、決定事項の計画立案、信頼性の向上、顧客体験の改善など、データ駆動型の決定を下せるようにします。
監視は、MLOpsの最大かつ最重要な面の1つとして急速に浮上しており、New Relicがオブザーバビリティプラットフォームを発売したことに高揚感を抱いています。   企業によるAI/MLの利用事例が拡大し、複雑化しているため、フルスタックのMLアプリケーションオブザーバビリティを先端チームの焦点にする必要があります。また生産における重要決定を行う際には、自社モデルを追跡するための適正な手段も必要となります。AIインフラストラクチャアライアンスでは、重要構成要素を今後のAIアプリケーションに一体化していきます。そのミッションにおいてNew Relicと提携できることをうれしく思っています。

機械学習モデルのテレメトリーから瞬時に価値を得る

毎月100GBのフリー容量と既成ライブラリを利用すれば、お客様のMLモデルの推測/パフォーマンスデータを、Jupyter ノートブックやクラウドサービスからNew Relicにわずか数分で取り込むことができ、メトリクスのような静的データや未来・予測ディストリビューションが得られます。

またNew Relicのオープンソースエコシステムを利用すれば、融通性に富むクイックスタートも可能で、貴社のMLモデルデータから素早く価値を引き出すことができます。AWS SageMakerDataRobot (Algorithmia)AporiaSuperwiseCometDAGsHubMonaTruEraのような最新データサイエンスプラットフォームとの広範な統合化には、自社モデルを瞬時に可視化する事前設定済みパフォーマンスダッシュボードその他のオブザーバビリティ構成要素も含まれます。New Relic Oneがなければ、自社MLモデルのデータから価値を引き出すのは容易ではありません。

不正確なMLのレコメンデーションや予測に要する企業コストは数百万ドルにも上ります。New Relicのモデルパフォーマンス監視なら、チームはMLモデルパフォーマンスを測定して、投資利益率を最大化できます。

機械学習モデルパフォーマンス監視を始める

当社は、全てのエンジニアにとってオブザーバビリティが日々のベストプラクティスとなるよう取り組んでいます。New Relic MLモデルパフォーマンス監視の発売とともに、当社は統一データオブザーバビリティプラットフォームを提供し、ML/AIチームやDevOpsチームは、MLベースアプリのパフォーマンスに前例のない可視性を実現できます。必要なものをすべて一箇所に集めたNew Relicは、オブザーバビリティを未来に広げます。

利用可能な全てのNew Relic MLモデルパフォーマンス監視オブザーバビリティインテグレーションは、New Relic Instant Observability(インスタントオブザーバビリティ)の一部であり、今後さらに拡張されます。

お客様のMLモデルのテレメトリーをNew Relic Oneに取り込む方法については、XGBoostモデルのPythonライブラリノートブックの例をご覧ください。インテグレーションに関するステップバイステップの説明もご用意しています。