ニュース

Microsoft 365の大規模障害、原因はサーバーの潜在的なバグ

 11月13日(日本時間、以下同)の深夜に発生し、その後約24時間にわたって続いたMicrosoft 365の大規模障害。メールサービスのExchangeやWeb会議サービスのTeamsなど多くのクラウドサービスに影響を与えた。Microsoftは11月16日、管理者向けに本障害に関する暫定的な報告を行なった。

 レポートによれば、障害が発生していた期間は11月13日1時20分から14日1時10分で、約24時間にわたった。影響を受けたのはExchange、Copilot、Teams、OneDriveなどのMicrosoft 365サービスで、機能にアクセスができなくなったり、一部のアクションが実行できなくなったりした。

 ユーザーへの影響が最も大きかったのはメールサービスのExchange Onlineで、放とんどのユーザーがOutlookなどのメーラーからメールボックスへアクセスできなくなった。加えて、多くのユーザーにおいてメールの配送が遅延した。さらに、Exchange Onlineの機能を利用するそのほかのサービスも、多くはおおむねアクセス可能だったものの影響を受けたとしている。

障害の主な要因は3つ

 同社は本障害の原因について、以下の3つの要因が重なったと説明している。

  1. Windowsサーバーの潜在的なバグ
    潜在的なバグによりWindowsプロセス内でロック競合が発生し、サーバーマシンのCPUおよびメモリのリソースが枯渇。Windowsサーバーが過負荷状態となり、応答不能に陥った
  2. 負荷の急増
    障害発生の約15時間前に、Teamsが代替ネットワークゲートウェイから、Exchange Onlineも利用するプライマリゲートウェイへとフェイルオーバーしたことで負荷が増大し、ネットワークパターンが変化した
  3. サーバー容量の不足
    前日に発生した別の問題により、ネットワークゲートウェイのサーバー容量のうち、約14%が使えない状態にあった

 具体的には、負荷の増大とサーバー容量の減少が重なったことで、潜在的なバグによる不具合が引き起こされ、リクエストが蓄積してサーバーが応答不能となった。これを受けたトラフィック管理システムは通常の動作として、ユーザーを自動的に正常なエンドポイントにルーティングした。

 しかし、トラフィックをリダイレクトされたほかのエンドポイントでも同様の問題が発生し、障害が連鎖的に拡大。最も影響の大きかった場面ではサーバーの80%以上が応答不能に陥っていたという。

 加えて、別リージョンなどへ障害が広がることを防ぐバルクヘッド(隔壁)の仕組みが別の問題によって上手く機能せず、影響がネットワークゲートウェイインフラ全体へと波及。世界的な障害へと発展した。

 なお、要因の1つとなったバグは、7月に展開したネットワークゲートウェイ向けの修正プログラムが原因で、広範なWindows環境には影響しないとしている。

大量のトラフィックやロールバックできない状況で復旧が困難に

 復旧に向けては、TeamsやOneDrive、Officeアプリケーションといったサービスでは、不具合のあるインフラを迂回することで、部分的ながら早期に復旧できたという。

 一方、Exchange Onlineなど一部のサービスでは、スケーラビリティの点からこうした対応が行なえず、さらに大量の待機トラフィックが発生していたため、サーバーが回復しても再び応答不能になってしまう状態に陥った。

 これに加えて、通常の自動復旧プロセスは今回のような広範囲におよぶ応答不能状態からの回復を想定した設計になっていなかった。さらに、原因の1つであるWindowsサーバーのバグも数カ月前に実装されたものだったことから、ロールバックや機能フラグによる変更の迅速な巻き戻しができなかった。

 同社では原因を特定後、正常な状態に戻すためのアップデートを開発。修正の効果的な適用とサービスの段階的な復旧に向けて、サーバーをグループ単位で停止し、修正を適用して再起動した後、サービスに復帰させていった。

 そのほか実施済みの対応として、メール配信ウィンドウを延長し、障害期間中に配信待ちとなったメッセージをすべて処理した。また今後に向けた対応として、復旧支援用の追加容量の確保、トラフィックや接続処理に関するモニタリングの追加、障害の連鎖拡大を防ぐトラフィック分散ガードレールの実装を行なったという。

 なお、今回の事後レポートは暫定的なものであり、今後改めて最終的なレポートを公開する予定だとしている。