5月16日（土）、エージェントは深刻なサーバー遅延、ゲームアクションの認識不良、およびスキャナーの全般的な不安定性を経験しました。重要なのは、これがオリオン・シドニーとオリオン・プラハ・アノマリーのライブイベントに限った問題ではなかったということです。その影響は世界中のプレイヤーに波及しました。
ご存じのとおり、XMアノマリーが発生すると、少数のポータルでデータベース操作が極端に集中します。数百ものエージェントが、同じポータルに同時に展開、攻撃、改造を行います。Ingressは+Gamma Hyderabadおよび+Gamma Buenos Airesアノマリー以前から新しいデータベースで稼働していましたが、Orionはエージェントの活動レベルがこれほど上昇した最初のアノマリーシリーズでした。
先週末、私たちは3つの大きなボトルネックが重なった最悪の事態に見舞われました。
書き込み競合による処理の停滞：
新しいデータベースは、以前のデータベースとは異なる方法で同時更新処理を行います。一定レベルのトラフィックを超えると、再試行回数が初回試行回数を上回り始め、更新処理速度が著しく低下します。
数万件のゴーストレコード：
ポータルやレゾネーターなどのゲームオブジェクトは常に変化するため、データベースはインデックスを使用して各変更を追跡しています。しかし、変更のたびにゴースト、つまり一時的な墓石行が残り、システムに少なくとも1時間は残ります。データベースはゴーストでいっぱいになり、実際のゲームアクションを見つけるために数万件のゴーストレコードをふるいにかける必要があったため、遅延が発生しました。データベースはグローバルデータを扱っているため、これによりグローバルポータルネットワークが遅くなり、アノマリーゾーン外のプレイヤーが経験する波及効果による遅延が発生しました。
自動スケーリングの遅延：
当社では、リクエストが増加すると自動的にクラスタにコンピュータを追加するオートスケーラーまたはシステムを使用しています。異常発生時にはトラフィックが急増しますが、オートスケーラーでは迅速に対応できないため、各異常発生前にシステムに容量を強制的に追加しています。しかし、上記の問題と相まって、オートスケーラーでは依然として対応しきれませんでした。
当チームはすべての異常をリアルタイムで監視し、スコアリングを行っています。また、緊急事態発生時には、追加のチームメンバーが待機しています。自動アラートが問題を検出し、チームメンバーに通知した際、私たちは自動システムを手動でバイパスし、処理負荷に対応するため、サーバーをより高性能なマシンに強制的に移行させました。さらに、データベースインスタンスを自動化された制限をはるかに超える規模に拡張し、バックグラウンドシステムを最大容量で稼働させることで、接続がこれ以上切断されないようにしました。
これらの力技によるアップデートによってIngressのクラッシュは回避できましたが、発生していたアーキテクチャ上の問題は解決されませんでした。今後のイベントでこのようなトラフィックの混雑やゴースト現象が発生しないようにするため、現在以下の対策に取り組んでいます。
インメモリへの移行ポータルアップデート：
ゲームアクションをまずより高速な一時サーバーメモリで処理できるようにする、新しいゲームエンティティシステムを完成させています。
幽霊退治：
私たちは幽霊なんか怖くありませんが、データベースのインデックス作成方法を変更します。これにより、先週末の異常発生時に確認された主要なボトルネックが解消されるはずです。
異常発生ゾーンの事前分割：
異常発生時にトラフィックが増加する地理的な行がわかっているため、それらの行を独自のシャードに分割します。これにより、データベースは異常発生後にアクティブな領域を検出してデータを再編成するのではなく、それらのデータセクションにリソースを割り当てることができます。
追加の緩和策として、XMPが実行される際に同時更新で発生する書き込み競合に対応するため、XMP攻撃範囲を一時的に縮小します。XMP攻撃の強度は高めますが、攻撃範囲を縮小することで、XMPが実行されるたびに攻撃されるポータルの数を減らします。この一時的な調整は、5月26日（火）17:00 UTCに有効になり、6月1日（月）17:00 UTCに現在の攻撃範囲に戻ります。
この度はご迷惑をおかけし申し訳ございません。何が起こったのか、そして弊社がそれに対処するためにどのような対策を講じているのか、皆様にご理解いただければ幸いです。現在、オリオン・アノマリーの担当者と連携し、オリオン・シドニーおよびオリオン・プラハ・アノマリーに貢献し、パスコードが必要なエージェントの皆様にオリオン・アノマリー・メダルのパスコードを配布しております。また、オリオン・シドニーおよびオリオン・プラハ・アノマリーの参加者の皆様への補償についても検討を進めております。
さらに、すべてのエージェントが利用できるストアの無料アイテムカテゴリに、以下のアイテムを含む補償機能を追加します。