アラートに対応手順書を添付する | Observability Design Pattern

対象者

システム運用チーム、システム管理者、SRE

効果

日々発生する様々な種類のアラートが発生し、そのたびにシステム運用チームは何らかの対応を求められることになります。アラートの内容は常に親切でわかりやすいものとは限らず、また、対応手順書も各所に散らばっていることもよくある状況で、素早くかつ適切な対応には経験が必要とされます。システム運用者は属人化し、疲弊し、チームの維持が難しくなります。

そこで、アラートの通知に対応手順書を添付しましょう。それにより、アラートの一次対応者が素早く行動に移すことができるようになります。

これにより、MTTR(平均復旧時間)の向上に繋がります。また、アラートを設定するの際に対応手順書の存在に意識が向くようになり、用意する文化ができるようになるでしょう。対応手順書も参照されやすくなり、利用されやすくなることで、内容も確信を持てるようになるはずです。そうなると、アラート対応を自動化も検討できそうです。対応手順とアラートを対で検討することによってアラートを精査できるので、アラート自体を整理するヒントにもなるかもしれません。

New Relic 製品

New Relic Alert

実装方法

対応手順書はRunbookと呼ばれ、New RelicではAlert Condition単位で設定することができます。

例として、既に設定されているAPMのアラートにRunbookの設定を追加してみます。

既存のアラートにRunbookを設定する場合は、上部のAlertから、Alert policiesタブを開くと、既存のアラートが一覧で見えます。Runbookを設定したいアラートを選びましょう。

Conditionを開き、

⊕ Runbook URLを開いて、

対応手順書のURLを入力します。

これで設定は完了です。試しにエラーを起こしてみて、エラー通知とともに対応手順書が一緒に送られることを確かめてみましょう。

もちろん、メール通知だけではなくチャット通知やアラートの設定画面でもRunbookを見ることができます。

New Relic 担当者にもう少し話を聞いてみたい場合はこちらまで！