朝の5時50分くらいに携帯が鳴っていたらしい。　全く気付かず、家を出る8時50分くらいに着信があったことに気づいた。　それから一度も着信が無いので、もう用はないのだろうか？
会社に着いたらサーバートラブルがあったことを知った。　2台で運用しているサービスの、1台のサーバーのHDD障害を起こした様子。　リードはできるけどライトができないような状態だった。
かろうじて、apacheは動いているのでサイト閲覧には支障はなさそうなのだけど、アクセスログなどは一切書き込まれない。　いつ止まってもおかしくないような状態だった。
が、このサイト、ちょっとややこしい事情があって、バーチャルホストが200個近く設定してある。
つまり、200個近く、DNSレコードを追加してある。　ロードバランサという素敵なものを導入してないので、Aレコードに2つのIPを記述する、DNSラウンドロビンという方式なので、200個のゾーンを書き換える作業が発生してしまった。
が、なんとか対応が終わり、1台切り離して原因究明に当たる。　どうやらRAIDカードのファームウェアの問題らしい。
対応はサーバー担当者とサーバー会社におまかせ。
ここ2週間前くらいからロードバランサ導入の準備を進めており、あと2週間もすればDNSをレコードの書き換えなどいう作業は発生しなかったはずなので、悔しいなぁ。