現代の開発ワークフローでは、AIコーディングアシスタントが中心的な役割を担っています。開発者はClaude Code、Cursor、GitHub Copilot、Windsurfなどのツールを利用してリリース速度を向上させています。しかし、多くの開発者にとって、そのスピードが死角を生む可能性もあります。セッションでは大量のトークンを消費する可能性があり、トークンの使用にはコストがかかります。ほとんどのチームは、その支出が成果につながっているのか、単にノイズを生んでいるだけなのかを十分に把握できていません。長時間のコーディングセッションを終えたとき、多くの開発者は、そのセッションにどのくらいのコストがかかったのか、AIが効率的に動作していたのか、セッションを重ねるたびに同じミスが繰り返されていないかを把握できていません。
New Relic Preflight（リリース時の名称：AI Coding Observability）はオープンソースのMCPサーバーであり、AI支援開発の包括的な可視化を可能にします。New Relic PreflightはAIコーディングアシスタントと直接連携し、セッションメトリクス、コストの内訳、挙動パターン、効率性スコアといった構造化されたテレメトリーを収集します。アカウントを作成せずにローカル環境で実行できるほか、New Relicと連携して収集データを既存のオブザーバビリティプラットフォームに取り込み、実稼働システムのデータと併せてNRQLでクエリを実行することもできます。
Preflightによってワークフローのどの部分を可視化できるのかを詳しくご紹介します。
AI支援開発に伴う隠れたコスト
AIコーディングアシスタントはトークン単位で利用料が発生します。集中して行われた生産性の高いセッションも、焦点が定まらず無駄の多いセッションも、少なくとも利用料を請求されるまでは、外からはどちらも同じように見えるかもしれません。Preflightはセッション単位、日単位、週単位でトークン使用量を追跡し、その内訳をモデル別とツールタイプ別に示します。さらに注目すべき特長として、閾値の設定が可能です。セッション単位、日単位、週単位の予算上限を設定し、上限を超える前にアラートを受け取ることができます。その結果、これまで予測不可能だったAI支出を、他のクラウドコストと同様に計画・管理できるようになります。
AIが逆効果となっている状況を検知
AIの動作が常に生産的とは限りません。特にコストのかかるインタラクションが、同時に最も無駄の多いインタラクションである場合もあります。しかし、セッション中にそれを見極めるのは困難です。アンチパターン検出機能を使うと、4つの一般的な失敗パターンを検出できます。
- スラッシング：進展がないまま、同じツールを何度も連続して呼び出す現象
- 再読み込み：AIがすでにコンテキスト内に保持しているファイルを再取得し、理由なくトークン使用量を増加させる現象
- ブラインドエディット：出力結果を事前に検証せずにコードを変更する現象
- スタックループ：いつまでも解決に至らない循環的な意思決定の連鎖
これらのパターンは、どの開発者のワークフローでも発生する可能性があります。パターンを明確に把握することが、それを打破するための第一歩となります。時間をかけて、特にコストのかかっているセッションと相関するパターンを特定することで、プロンプトの作成方法やタスクの組み立て方を根本から変えることができます。
個人別の効率性スコアの自動算出
Preflightは、メトリクスをコンテキストと併せて整理した週次コーチングレポートを作成します。効率性スコアとは、成果あたりのコスト、タスク完了率、ツール選定の質、アンチパターンの発生頻度を単一の数値に集約したもので、継続的な追跡が可能です。
パーソナルコーチングレポートではさらに、その週の状況を過去のベースラインと比較して、改善が見られた点を明らかにするとともに、成果あたりのコストが最も高いセッションの種類を具体的に示します。ほとんどの開発者にとって、このような振り返りを自ら行う時間を確保することは極めて困難ですが、Preflightが毎週の終わりにレポートを自動生成します。
New Relicとの連携にも、単独での利用にも対応
Preflightは導入後すぐにすべての機能を利用できます。New Relicアカウントは不要です。ローカルモードでは、完全なダッシュボード、セッション履歴、週次サマリー、効率性に関するコーチング、アラート機能が利用可能で、すべてのデータがお使いのコンピューターに保存されます。
既存のオブザーバビリティプラットフォームにデータを取り込む準備ができたら、簡単にNew Relicアカウントと連携できます。AIコーディングのテレメトリーは実稼働システムのデータと併せて取り込まれ、NRQLでクエリを実行したり、クラウドダッシュボードで確認したり、New Relicのアラートワークフローを通じて管理したりできます。New Relicと連携すると、NerdGraphを介して組織全体のデータを集約できるようになります。これにより、エンジニアリングリーダーは開発者ごとにセットアップを行うことなく、開発者全体の状況を把握できます。
数分で導入可能
Preflightは、既存のAIコーディングアシスタントと併用する形でインストールできます。Claude Code、Cursor、GitHub Copilot、Windsurf、Zed、Continue.dev、Amazon Qのほか、MCPに対応した汎用クライアントにも対応しています。
5分もかからずに利用を開始できます。必要なのは以下の手順だけです。
- リポジトリをクローンしてビルドする：
git clonehttps://github.com/newrelic-experimental/preflight&& cd preflight && npm install && npm run build && npm link - 対話形式のセットアップウィザードを起動する：
preflight setup - セットアップウィザードで、フックスクリプトのインストール、New Relicでのキーの検証、開発者名の事前入力を行います。
- AIコーディングアシスタントでセッションを開始する：すぐにメトリクスの収集が始まります。
New Relicアカウントがない場合は次の手順で進めてください。セットアップウィザードでキーの入力をスキップして、ローカルモードを選択してください。すべてのデータがコンピューターに保存されます。後からNew Relicと連携することもできます。
Top takeaways
New Relic Preflightは、AIコーディングアシスタントを、観測と測定が可能で継続的に改善できるインフラストラクチャとして扱います。トークン消費を可視化して想定外の支出を防ぎ、生産性を損なうアンチパターンを特定するとともに、手作業不要で効率性に関する週次レポートを作成します。さらに、New Relicと直接連携して、アラート機能やセッション横断分析を利用できます。また、ローカルモードではNew Relicアカウントが不要なため、リポジトリをクローンしてセットアップウィザードを実行するだけで、誰でも利用を開始できます。
次のステップ
PreflightはオープンソースプロジェクトとしてGitHubで公開されています。標準搭載のダッシュボードを使えば、AIコーディングアシスタントがこれまでどのようなことを行ってきたのかを確認できます。
本ブログに掲載されている見解は著者に所属するものであり、必ずしも New Relic 株式会社の公式見解であるわけではありません。また、本ブログには、外部サイトにアクセスするリンクが含まれる場合があります。それらリンク先の内容について、New Relic がいかなる保証も提供することはありません。
