テックブログなるものではございますが、私が技術を語るなどとは... オペレータとして培ったこれまでの経験から、「まぁ難なく」という範囲内でひとつこの場をお借りして少しだけ語らせて頂ければ、と思っております。
マネージメント
「まぁ難なく」と言ったところで、まず私の業務内容の範囲がどれだけあるのかお話ししないといけませんよね。業務内容をひと言で言いますと、サーバのマネージメント。単にマネージメントと言いましても、その分野は多岐に亘りサーバのセットアップから始まり、プラットフォームやアプリケーションの構築やパラメータの調整、顧客の運用を手助けするための提案、また安定運用をご提供する為の監視、障害発生時の復旧作業など、様々な分野のマネージメントを行っているのです。
また障害発生時の復旧作業ひとつにおいても、障害発生箇所によってその対応内容は変わってきます。今回は障害がハードウェアで発生した際の復旧作業内容について少しだけお話させて頂きたいと思います。
Standard Server (標準機)
まずはハードウェアで大本となるサーバについてご説明を。一般の方などは見たこともなければ「サーバってビールの？」といった感覚...にはならないと思いますが、実際どの様なものかはわからないと思いますのでライブドアで使用しているサーバの中でも最もスタンダードな2機種のサーバを簡単にご紹介したいと思います。
<< IBM製 System x 3250 M2 >>
IBMと聞いてピンときた方も中にはいらっしゃるのではないでしょうか。そうです。ノートPCのThinkPadで有名なあのIBM社製のサーバです。Webサーバとしてもメールサーバとしても、もちろんDBサーバとしても使用可能なとても使い勝手の良い機種の一つです。
<< サン･マイクロシステムズ製 Sun Fire X4150 >>
こちらはサン･マイクロシステムズ社製のサーバ。前面にある8つの小窓がHDD搭載ドライブで、IBM社製のサーバよりも一段階スペックが高い機種となります。スタイリッシュなボディが格好良く、個人的にはxseries3250 M2よりこちらの方が好みだったりします。ただし総重量がかなり重いのが難点... 2009年後期の時点で、ライブドアデータホテルで一番推奨している機器になります。
どちらのサーバも長細く平たい形をしていますが、データセンターに設置してあるスタンダードなサーバは、大抵この様な形をしています。もちろん何倍もの厚さがあるサーバや皆さんがご自宅で使用しているデスクトップ型PCをサーバとして使用することもあります。
障害のカギ
さて、話は戻りましてサーバの障害について。やはり｢形あるものいつか壊れる」わけでありまして、時にうんともすんとも言わなくなる場合があります。そんな時はもちろんサービスは行えなくなっており、早急な復旧対応が必要とされます。
どこに問題が発生しているのか？
メモリなのかHDDなのか、それとも機器本体の問題なのか？
はたまたHDDと基盤を繋ぐコードの問題なのか・・・？
早急な対応を求められる私たちにとっては、この切り分けがカギとなります。
サーバからの...
そしてそのカギを握るのが、サーバから発せられたダイイングメッセージ。サーバがダウンする寸前に残してくれているこのメッセージはかなり重要で原因の切り分けには必要不可欠なものになります。例えば以下のメッセージ。
何やら英語と記号の羅列の様に見えるこのメッセージですが、内容を良く見ますと『hard error reading』の文言が。訳さなくとも何となく「読めない」と言う意味であることがわかりますよね。サーバで読み書きが行われているのはHDDになりますので、この場合はHDD障害であることが推測されます。
同様のメッセージで
こんなメッセージが出力されていることもあります。先ほどのメッセージより読解が困難ですが、"I/O"の意味がわかってしまえば一目瞭然。「I」はInput、「O」はOutputであり入出力を意味しています。そして「SCSI」というのがそもそもHDDの種類を表していますので、こちらもHDD関連の障害と推測されます。
HDD障害以外でのハードウェア障害を示すメッセージではこの様なものもあります。
『scsi』や『dead』と言った文言から推測するとHDD周りかと思いがちですが、こちらは xseries3250 M2独特のハードウェア不具合であり、現在IBM社による原因解明が進められています。ライブドアではエンジニアの検証により暫定対応としてファームウェアのアップデートで回避可能であることが判明していますが、この様な事態が発生しても、障害時には早急な復旧対応が必要とされます。
この他にも、メモリの障害であったりkernelやRAIDカードの不具合であったり、またアプリケーションによるswap領域の枯渇であったりと、様々なダイイングメッセージが出力されています。と言っても、発生する障害全てにおいて都合よくエラーメッセージが出力されている、ワケではないのですが...。
蘇生
何かしらのメッセージが残されていれば、例えばHDDエラーであればHDD交換を、メモリの不具合や認識不良であったら、メモリやサーバ自体の物理交換を、xseries3250 M2の様な独特の障害であれば、それに見合った対応方法を、と言うように、その障害に応じた蘇生法を実施しなくてはなりません。
時にはメッセージの出力が全くなく、切り分けや対応に時間を要してしまう場合もありますが、障害発生時は切り分けから完全復旧まで、より短い時間で最小限の被害に抑えられるよう最善の復旧対応を行う、といったマネージメントを行っています。
毎日がマネージメント
今回はハードウェア障害時のマネージメントについてお話しましたが、障害ひとつ取っても、アプリケーション周りの障害であったり、ネットワーク回線の障害であったりと様々な障害と向き合わなければなりません。また先にも述べているように、日々私たちは様々なマネージメントサービスを行っており顧客の求めるサービスレベルに一歩でも近づける様にマネージメントとは？と、自問自答しながら業務に励んでいます。サーバマネージメントに少しでも興味がある方は、是非「livedoor DATAHOTEL」サービスで一緒に頭を悩ませてみませんか？ また私たちオペレータに運用サービスを任せてみたい、というお客様はどしどしお問合せ頂けます様お願い致します。
データホテルへのお問合せはコチラ↓
他にもこんな人が働いています!!
スタッフの声
DATAHOTELのスタッフ紹介
