neonをインストールしたらApacheがSegmentation faultを起こしていた

2010/9/8 01:53

6日の深夜から7日朝にかけてMeityの画面が表示されないという障害が発生していました。

朝目が覚めてツイッターを見ると「Meityにつながらない」というツイートをいくつか見つけ、慌てて見てみると確かに画面が真っ白。

「外部監視つけておけば・・・」と後悔する前に原因調査。

サーバーが落ちている様子はなかったので、PHPがエラーを出しているのだろうか？と思ってApacheのエラーログを見てみると以下のようなログがずらっと。

[Tue Sep 07 04:06:32 2010] [notice] child pid 17858 exit signal Segmentation fault (11)

とりあえずApacheを再起動してみると、運良くそれだけで回復しました。

原因ですが、エラーが出ている時間帯から見ておそらく昨夜 neon をインストールしたためだろうと思います。

深夜にサーバー上で Subversion を使っていて、チェックアウトしようとコマンドを打ったところ http プロトコルが使えず、neonをインストールしてSubversionを再コンパイルし、無事チェックアウトができることを確認して力尽き、寝てしまいました。。

サーバーで作業をしたら毎回サイトの状態を確認・・・などというのは面倒なので、対策としてとりあえず外部監視スクリプトを書いて別のサーバーに設置。

障害検知などの仕組みは、大丈夫だろうと思って先送りにしてたらいけないですね。。

最近はもっぱら仕事と育児、どちらかというと育児のほうが忙しいです。もう長いことドットインストールの開発をしています。