F.Ko-Jiの「一秒後は未来」

neonをインストールしたらApacheがSegmentation faultを起こしていた

6日の深夜から7日朝にかけてMeityの画面が表示されないという障害が発生していました。

朝目が覚めてツイッターを見ると「Meityにつながらない」というツイートをいくつか見つけ、慌てて見てみると確かに画面が真っ白。

「外部監視つけておけば・・・」と後悔する前に原因調査。

サーバーが落ちている様子はなかったので、PHPがエラーを出しているのだろうか?と思ってApacheのエラーログを見てみると以下のようなログがずらっと。

[Tue Sep 07 04:06:32 2010] [notice] child pid 17858 exit signal Segmentation fault (11)

とりあえずApacheを再起動してみると、運良くそれだけで回復しました。

原因ですが、エラーが出ている時間帯から見ておそらく昨夜 neon をインストールしたためだろうと思います。

深夜にサーバー上で Subversion を使っていて、チェックアウトしようとコマンドを打ったところ http プロトコルが使えず、neonをインストールしてSubversionを再コンパイルし、無事チェックアウトができることを確認して力尽き、寝てしまいました。。

サーバーで作業をしたら毎回サイトの状態を確認・・・などというのは面倒なので、対策としてとりあえず外部監視スクリプトを書いて別のサーバーに設置。

障害検知などの仕組みは、大丈夫だろうと思って先送りにしてたらいけないですね。。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

著者について

fkoji

F.Ko-Ji

Webエンジニアやってます。最近は ドットインストール の開発がお仕事です。その傍ら、個人で Meity電車遅延なう梅酒.in#グラドル自画撮り部 の部室といったネットサービスを開発・運営してます。梅酒と草野球とリアル脱出ゲームが好きです。

» 詳しいプロフィールや運営サービスの一覧など