NTTドコモ｜新規事業開発に携わる社内外20,000ユーザーが利用する「共通基盤」の安定的なサービス提供のため、クラウド環境の継続的な改善が可能な運用監視環境を整備

NTTドコモ イノベーション統括部は、同社のR&Dの一翼を担う戦略部門である。「技術イノベーションに係わる事業創出・戦略投資・企業連携」というミッションを掲げ、エンターテインメント、アート、XR、IoTデバイス、AI、シェアリングエコノミーなど、従来の枠にとらわれないユニークな事業開発に取り組んでいる。その一環である新規事業創出プログラム「39works」からは、みらい翻訳、複合現実製作所などの新会社がスピンアウトしている。イノベーション統括部 クラウドソリューション担当 課長の住谷哲夫氏 は次のように話す。

「クラウドソリューション担当チームは、 “尖ったサービス”の開発・事業化とその推進を支えるプラットフォームやツールをサービス提供しています。パブリッククラウドを利用するためのNTTドコモ全社への技術コンサルティング支援、事業開発に携わる社員とパートナー企業が利用する『共通基盤』の構築・運用、この２つが大きな役割です」

同チームが蓄積してきたクラウド（AWS）に関するノウハウは、事業開発プロジェクトの迅速な立ち上げやNTTドコモの規定するセキュリティ基準をクリアするために欠かせないものだ。

「また、私たちが構築・運用する『共通基盤』の狙いは、クラウドネイティブの環境を利用して事業開発をスピード化することにあります。共通基盤では、プロジェクト管理ツールやドキュメントコラボレーションツールなど、20,000を超えるユーザーが使う大規模なサービスを提供しています」（住谷氏）

およそ20,000ユーザーが使うプロジェクト管理ツール

新規の事業開発が加速していく過程で、「共通基盤」のユーザー数も右肩上がりで増えていったという。中でも、プロジェクト管理ツール「Backlog」はその利便性の高さから利用ユーザー数の伸長は著しかった。クラウドソリューション担当の守屋裕樹氏は次のように話す。

「Backlogは使い勝手の良いプロジェクト管理ツールとして、私たちにとって欠かせない基盤のひとつです。AWS上にパッケージ版のBacklog Enterpriseを構築しSaaS型で社内外のユーザー20,000にサービス提供しているのですが、おそらくこれほど大規模な利用は製品仕様で想定されていないため、動作が不安定になる現象に悩まされるようになりました。プロジェクト管理だけでなく、ファイル共有やリポジトリとしての活用が進んだこと、APIを介して接続するようなヘビーユーザーが現れてきたことも、システム負荷を高める要因になっていました」

2020年に入りコロナ禍においてリモートワークが進む中、Backlogの利用頻度はさらに高まっていったという。当時の状況を守屋氏は次のように振り返る。

「システム性能を増強するためにAWS EC2インスタンスをスケールアップしたのですが、ユーザー体験は思うように改善しませんでした。CPU使用率には余裕があったため、パフォーマンスのボトルネックが別にあることは明らかでしたが、根本的な原因が特定できないまま運用する日々が続きました。そうした状況を打開してくれたのがNew Relicです」

New Relicは業界を代表するオブザーバビリティ（可観測性）プラットフォームであり、デジタルサービスにおけるあらゆる重要指標の「観測」を可能にする。アプリケーション、インフラ、ユーザー体験の観測を通して、障害やサービスレベルの低下、潜在的な問題・ボトルネックを可視化する。

「New Relic 社のエンジニアが、New Relic One のアプリケーションパフォーマンス管理（APM）機能を利用して、わずか1時間で原因を特定してくれたのです。私たちが数ヶ月を費やしても突き止められなかった問題点が、New Relic上で一目瞭然になったことに驚かされました」（守屋氏）

システムでいま何が起こっているのか、ユーザーの使用感はどうか

イノベーション統括部がサポートするプロジェクトは、アクティブなものだけで3,700を超える。共通基盤の安定稼働がどれだけ重要か、影響範囲の大きさとともに想像できる数字だ。AWSの迅速なスケールアップに加え、New Relic で特定した DB コネクションのボトルネックに対する適切なチューニングを実施して共通基盤の安定稼働とユーザーの快適なアクセスを取り戻したチームは、「ほっと胸をなでおろすとともに、プロアクティブな運用管理の重要性を再認識した」（守屋氏）という。

「New Relicでは、システム全体の可用性を示すインデックスが設定されており、しきい値を下回ったときにアラートが上がるようになっています。おかげで私たちが気づかないシステムの挙動や、問題の予兆を検知できるようになりました。これまでは何らかの問題が起こってから対処していたのですが、問題が顕在化する前に手が打てるようになったことは大きな進化です」と守屋氏は話す。

CloudWatchやZabbixなどのインフラ監視では網羅しきれないアプリケーションの詳細な稼働状況を、New Relicならリアルタイムで容易に把握できる。チームでは共通基盤専用のNew Relicのダッシュボードを整備した。クラウドソリューション担当の神崎由紀氏は次のように話す。

「ダッシュボードで様々な情報を複合的に見られることに大きなメリットを感じています。アクセス数とトランザクション量の関係性や、インフラリソースの負荷状況とアプリケーションの反応速度などを同時に把握でき、システムでいま何が起こっているのか、ユーザーの使用感がどの程度なのか手に取るようにわかるようになりました」

エンジニアとして”データ指向”へ大きく意識が変わった

New Relicの活用が進むにつれ、システム上の問題解決とは違う成果も出始めてきたという。クラウドソリューション担当チームの意識の変化はそのひとつである。

「従来から、ユーザー数やサービスの利用傾向などを定量的に把握しながらシステムを運用してきたつもりでした。しかし、New Relicで定量化・可視化される情報はこれまでとは範囲も深さもまるで違います。データに基づいて次のアクションを論理的に考えていくことの重要性に気づかされたこと、エンジニアとしてデータ指向へ大きく意識が変わったことは、私自身にとって非常に大きな収穫です」と守屋氏は話す。

New Relicによる観測と可視化を起点に、システムを改善し、ユーザー体験を最適化する運用サイクルがチーム内で回り始めた。神崎氏も自分自身の意識と行動の変化を感じているという。

「中長期的な視点からシステムの傾向を見る習慣が身についてきました。曜日や時間による利用傾向はどうか、どのリソースが逼迫しそうか、いつまでに手を打つべきか――といった具合に、サービス品質とユーザー体験を意識しながら運用することを、自然と心がけるようになってきたと思います。New Relicの技術チームが導入後も適切なアドバイスを提供してくれるので、課題を先送りすることなく着実に運用を改善できています」（神崎氏）

イノベーションは改善の積み重ねから生まれる

NTTドコモ イノベーション統括部が採用した「New Relic One」は、デジタルサービスのオブザーバビリティ（可観測性）を実現するためのすべての機能セットを、ユーザーライセンスで横断的かつ包括的に利用できるプラットフォームである。システム規模にコストが比例しないライセンス構造をとっているため、どれだけ大規模なシステムであっても躊躇することなくオブザーバビリティを実装することができる。

「監視対象のシステム数の制限なしに、New Relic Oneの全機能を利用できるメリットは大きいですね。今後は、コストや収支などのビジネスKPIをダッシュボードに組み込んで、企画チームと運用チームでひとつの画面を見ながらサービス改善や生産性向上のためのプランを具体化していきたいと考えています」（住谷氏）

また、クラウドソリューション担当チームでは、パブリッククラウドを効果的に活用するためのノウハウを集約し、クラウド導入を検討している企業向けに「docomo cloud package」としてサービス提供している。

「New Relicが可視化・定量化する情報は、私たちがクラウド環境をより高度に使いこなすための技術の習得にも役立ちます。ここで得たノウハウは、共通基盤サービスだけでなくdocomo cloud packageのアップデートにも役立てられるはずです」（守屋氏）

New Relicとの最初の接点はプロジェクト管理ツールの性能課題の解決だったが、担う役割は次第に大きくなっている。住谷氏は次のように話す。

「制約がある中で共通基盤の安定運用を実現することが最も難しい課題でしたが、New Relicのオブザーバビリティ（可観測性）によってこれを乗り越えることができました。イノベーションとは改善の積み重ねによってこそ生まれると考えています。今後は、他の共通基盤サービスにも幅広くNew Relicを適用し、サービス品質やユーザー体験の継続的な改善に活かしていく考えです。New Relic社には、信頼できるアドバイザーとして私たちのチャレンジを支え続けてもらえることを期待しています」