12/06/25 10:41:03.75 8YSPJ7E90 BE:279097237-PLT(18072) ポイント特典
sssp://img.2ch.net/ico/onigiri1.gif
大規模障害の概要と原因について（中間報告）
2012年6月25日 2：00
URLﾘﾝｸ(support.fsv.jp)
●原因1：脆弱性対策のための更新プログラムの不具合
脆弱性対策のためのメンテナンスが必要となる都度、メンテナンスのための
更新プログラムを作成しており、今回も更新プログラムを作成しています。
そのプログラムの記述において、ファイル削除コマンドを停止させるための記述漏れと、
メンテナンスの対象となるサーバー群を指定するための記述漏れが発生していました。
●原因2：メンテナンス時の検証手順
メンテナンスに際しては、検証環境でまず動作確認を行うという手順が定められていましたが、
プログラム実行後の動作確認を行う対象は、あくまでも当該メンテナンス対象サーバー群を
確認すれば足りるとされていたため、検証環境下で対象サーバー以外に影響が及んだことの
確認がないまま、動作確認上は問題なしと判定され本番環境での実施が行われました。
●原因3：メンテナンス仕様
システムを含むデータのバックアップは毎朝6時に取得しております。
しかしながら、脆弱性対策のためのメンテナンスはバックアップをしてあるシステムについても
実施しておかないと、メンテナンス実施後にハードウェア障害が発生してバックアップに
切り替えた途端に脆弱性対策が講じられていないシステムに戻ってしまうことが過去に発生し、
脆弱性対策がなされていないシステムが動き続けていたという反省に立ち、
脆弱性対策のメンテナンスに関しては対象サーバー群とそのサーバー群のバックアップ領域に
対して同時に更新プログラムを適用するという構造に修正して実施しました。
そのため、今回のメンテナンス実施において、対象サーバー群のデータ消失と同時に
バックアップ領域のデータも消失したという事象に至っています。
URLﾘﾝｸ(support.fsv.jp)
前
ファーストサーバ事件の原因が判明 ｢削除コマンドの範囲指定を忘れ、全サーバーのデータが消えた｣
ｽﾚﾘﾝｸ(poverty板)