▍AI Dev Lab
Web本番障害シミュレーター

Web本番障害シミュレーターができるまで — 壊れた疑似本番環境で障害対応を訓練するサービスの設計

環境変数ミス、ポート競合、CORS、キャッシュ不整合、ロールバック副作用をブラウザで復旧する『Web本番障害シミュレーター』の設計記事。状態機械、疑似FS、学習体験の作り方まで解説します。

·decision主力·stage公開中

#障害対応シミュレーターを、復旧確認まで通せる教材にする

incident-sim は、環境変数・ポート競合・権限・CORS・キャッシュ・ロールバック・TLS証明書期限切れ・ディスク満杯の8つのWeb障害を練習する無料の模擬環境です。ログを読んで設定を直すだけでなく、反映後の応答を確認するところまで扱います。暗い運用コンソール、橙色の警告、等幅のコマンド表示という既存の見た目を維持しています。

#ディスク満杯を、安全な対象整理から復旧確認まで扱う

8本目はENOSPCでショップAPIが起動しない教材です。df -h /varとdf -i /varで容量とinodeを分け、du -ah /var/log/shopで個別ログの割当量を調べます。保持記録には別保管先への退避・読取確認・対象1件の削除承認が与えられています。これは実際のバックアップ処理を再現するものではありません。

疑似rmは確認後のローテート済みログ1件だけを対象にし、現行ログ・DB・複数対象・ワイルドカード・再帰オプションは拒否します。この安全ガードは教材固有で、Linuxのrm自体が保持義務や承認を確認するという意味ではありません。容量のモデルは16 GiBで、古いログ8・現行ログ2・DB5・その他1です。ファイル本文は抜粋であり、文字数からディスク使用量を計算しません。

対象ログはプロセスが開いていない前提です。実際のLinuxでは、削除したファイルをプロセスが開いていると解放が遅れる場合があります。Linux unlinkの説明を参照しています。truncateは内容を失う操作なので、この教材の正解には使いません。GNU Coreutilsでも縮小部分のデータが失われることが説明されています。

整理だけではHTTP 503や停止プロセスを自動的に直しません。整理後のdf、対象サービスの再起動、curlでのHTTP 200まで確認して初めてクリアします。予約領域、疎ファイル、圧縮、削除済み開放待ち、時間経過での再増加は未再現です。実環境の安全性や操作権限を保証する教材ではありません。

#TLS証明書の期限切れを、検証を切らずに復旧する

新教材では、更新済み証明書が置かれていてもnginxが古い証明書を配信し続けています。期限を確認し、設定の参照先を変更して保存し、再読み込み後に検証付きcurlで疎通を確認します。設定変更だけでは配信状態が変わらず、違うホスト名の証明書でも検証は失敗します。

curlの公式説明では証明書とホスト名を標準で検証し、-k/--insecureは検証を省略します。教材でも省略したアクセスを復旧扱いにしません。OpenSSL x509の期限確認を参考に、-dates/-enddate/-subject/-checkendを限定的に模擬します。nginxの制御仕様に合わせ、設定を読み込めないreloadでは既存の配信証明書を維持します。

これは実サーバーや暗号処理ではありません。証明書は教材JSON、鍵は教材ID、日時は2026-10-09T12:00:00.000Zの固定教材時計です。実際のPEM、証明書発行・署名・チェーン検証・SNI・ワイルドカードは扱いません。教材内のコマンドは外部通信しません。実際の認証情報を入力しないでください。

#復旧表示とHTTP応答が食い違っていた

以前の判定は「設定文字列が存在する」「一度再起動した」という条件を別々に見ていました。そのため、壊れた設定のまま再起動してから設定だけ変更しても、復旧扱いになる問題がありました。HTTP応答も初期値のまま残っていました。

キャッシュ教材では、初期コメントに含まれる purge という単語だけでパージ済みと誤判定していました。これは教材の信用を損なう不具合で、説明文や導線を増やすより先に直すべき箇所です。

#操作した瞬間の状態を確定する

再起動の処理に、設定の読み込み・ポート競合・ログの書き込み権限の確認を集約しました。起動できなければプロセスは失敗状態になり、成功時と失敗時でログとHTTP応答が変わります。

設定ファイルを書き換えても、起動中の応答には勝手に反映しません。再起動して初めて新しい設定が適用されるため、操作の順序が結果に現れます。停止したサービスは503を返し、前に確認した結果は無効になります。

#「正常」の確認方法を障害ごとに変える

  • 環境変数・ポート競合: curl で HTTP 200 を確認する。
  • 権限: 再起動時のログ書き込み成功と systemctl status を確認する。
  • CORS: curl -I で本番オリジンの応答ヘッダーを確認する。単に200が返るだけでは不十分。
  • キャッシュ: X-Version: 2.0.0 と X-Cache: MISS を確認する。
  • ロールバック: 認証と決済、両方のエンドポイントを確認する。

CORS設定はファイル一覧から開いて編集できます。許可ヘッダーの行を追加するのではなく、既存の値を変更します。コメントや重複ヘッダーではクリアになりません。

#今回の結果と過去のベストを分ける

復旧確認時点の時間・得点・操作数・ヒント数を固定し、結果画面で今回の応答とログを表示します。再挑戦や再読み込みで良い記録を消さず、今回の成績が悪くても結果画面には今回の値を出します。

#途中の調査をシナリオ別に再開する

同じブラウザの端末保存から、設定ファイル、環境変数、プロセス、ログ、HTTPの確認証拠、コマンド履歴、ヒント、コマンド入力を再開できます。シナリオを切り替えても途中状態は別々に保持し、中断中の時間は採点時間に含めません。復旧した今回結果も保存し、再読み込みで時間や点数が変わらないようにしています。

ファイル編集画面の未保存内容は含めません。「変更を保存する」を押してから中断してください。操作ごとと画面離脱時に保存しますが、ブラウザの強制終了直前の時間や、保存制限・端末データ削除・別端末での再開は保証しません。

破損した保存や教材と一致しない保存は、自動的に初期化せず操作を止めて知らせます。やり直しには確認を挟み、通常はそのシナリオの途中保存だけを初期化します。保存全体が壊れた場合は全シナリオの途中保存を消す確認を出します。ベスト記録は別に保持し、読み取れない旧記録も勝手に上書きしません。

#正解手順と、自分の対応順序を比べる

結果画面に「今回の対応タイムライン」を追加しました。何を直したかだけでなく、直す前に失敗した操作、同じ確認の繰返し、ファイル保存、再起動、その後のHTTPやログ確認を実行順に読めます。出力は実行した瞬間のものなので、復旧後の応答で過去の失敗を塗り替えません。

「エラー出力なし」は復旧や正しい判断の保証ではありません。例えばCORSでは200応答だけでなくヘッダーの確認が必要です。上にある今回の復旧証拠と、下の正解手順・落とし穴を照合して振り返ってください。採点条件は変えていません。

記録は同じ端末の途中保存に含め、直近100操作、各出力は先頭1000文字までに制限します。省略件数を明示し、端末画面をclearしても記録は残します。ヒントや未保存のファイル編集は時系列の操作数には含めません。旧版の途中保存はそのまま再開できますが、過去の時系列は推測せず「未記録」と表示し、再開後の操作から記録します。

既存の暗い障害対応コンソールと橙色の操作を維持し、時系列は結果画面で必要なときに展開できます。記録を破損させた場合も自動で上書きせず、確認付きのやり直しを求めます。模擬環境の教材記録であり、実サーバーの監査ログや技能認定ではありません。

#模擬環境で省略していること

実際のシェルやnginx、systemdを完全には再現していません。権限は rw / r / - の簡略モデルで、export を起動時の上書きとして扱う点も実機とは異なります。

キャッシュの purge.flag は、この教材に設けた起動フックです。nginx の標準機能ではなく、実環境で同じファイルを作ってもキャッシュは消えません。実運用では使用しているキャッシュ層と、実装済みのパージ手段を確認する必要があります。

障害対応シミュレーターを使う

#効果について正直に言うと

復旧判定の矛盾を直したことで、操作結果を信頼できる教材に近づきました。ただし、面白さや検索流入、研修相談、収益の増加を確認したわけではありません。実サーバーでの安全性や運用能力を認定するサービスでもありません。

次の改善候補は、自分の調査順序と修正理由を振り返れる対応記録です。単なる正解手順の表示ではなく、失敗した再起動や確認不足から何を学べたかを残すことを目指します。

[ ./next_action ]

読んだら、 Web本番障害シミュレーター を実際に動かす。

この開発ログは Web本番障害シミュレーター をどう作ったかの記録です。 読み終わったらそのままサービス本体へ戻って、実物で価値を確かめてください。

[ ./related_logs ]

関連する開発ログ

all logs →
StarTrail

重力で近くを通る2粒子を観察する:スロー再生と計算刻みの違い

初期座標・速度・G・dt・軟化を公開した2粒子の数値実験。保存点の最接近をコマ送りで見て、再生速度・表示径・計算刻みを区別します。条件付きPNG/JSONの保存手順と、接触や現実の精度を保証しない限界も説明。

read log →
ShadowTwin

立体パズルの別解を作る:同じ影と最少の積み木

ShadowTwinの開発記録。同じ3方向の影となる別解の仕組みを、A/Bの違いと1操作の投影変化で確認。最高段の維持・床の有無・最少個数を区別し、元判定と保存を変えず検算します。実照明の計算や能力診断ではありません。

read log →
SlitCard

スリットアニメーションを作る:4コマの合成と透明原稿の設計

SlitCardの開発記録。4コマの帯を交互に合成し、すき間と黒帯で別のコマを見せる仕組みを解説。同縮尺の台紙・透明シートSVG、50mm確認線、手動プレビュー・初期非表示、再編集と実出力検査を整理します。

read log →
WindowLight

日当たりシミュレーションを作る:窓の光を床へ投影する幾何モデル

WindowLightの開発記録。太陽位置近似から窓の4隅を床へ投影し、凸多角形を部屋で切り取る設計を解説。国立天文台の16時刻との限定照合、大気差・低高度・実際の採光との違い、SVGと設定の再編集を整理します。

read log →
GridLights

電源構成の比較を作る:割合と実量を100個の電球で読み解く

電源構成比較GridLightsの開発記録。12か国の年次発電データを最大剰余法で100個の電球に変換し、割合とTWhを比較する設計を解説。欠損を0補完しない7分類、予想と実値、出典付きSVGと実データ検証を整理します。

read log →
SoundLoom

音のお絵かきを作る:実WAVから絵を測り直す設計

音のお絵かきの開発記録。描画と編集可能な立ち上がり・消え方をPCM/WAVへ変換し、実音をGoertzel法で測る仕組みを解説。旧JSONの音の互換性、再生音量と保存ピーク、測定窓・量子化の限界と古い処理の抑止を整理します。

read log →