サーバの設置場所はどこがいいか

今月分の@IT連載記事が掲載されました。タイトルは「サーバの設置場所はどこがいいか」です。

http://www.atmarkit.co.jp/im/cop/serial/kanrisha/12/01.html

iDC移転を検討するということ

iDC(データセンター)移転はものすごく大変です。特にサービスを稼動させながらの移転させるなんてことは、簡単に考えただけでもかなりしんどい作業です。そんなiDC移転を数回経験せざるを得なかった私から、それでもiDC移転を検討することの重要性を今回は述べてみたいと思います。

【iDC移転はどんなとき検討されるか】
いろいろあります。単純に思いつく限りだと、

・iDCがなくなってしまう
・iDCのキャパシティが小さくサーバ増強に限界が見えた
・費用対効果を計算し、移転費用を考えても他者に乗り換えたほうが安い
・セキュリティや耐障害性向上を考えたとき利用中のiDCだと限界がある
・会社合併によりiDC統合の決定が下った

などでしょうか。

【なぜiDC移転を検討することが重要なのか】
今利用し続けているiDCにたとえ満足していたとしても常にiDC移転を検討することは重要です。それはiDC間で競争が起こっているからです。いろいろなiDCをずっと見てきましたが、ここ数年間のiDCの機能やサービスの進化や価格下落は想像以上のものがあります。iDC移転を検討しないということは、最初に契約した条件でそのまま契約続くことに他なりません。外を見渡せば、もっとよい機能やサービスを安価で利用している会社が多数あります。そんな外的環境を検討しない合理的な理由があるでしょうか。

【言うのは無料】
とは言えiDC移転はかなりしんどいのであまり考えたくないのはよくわかります。しかしiDC移転を検討するということは必ずしもiDC移転しなければならないということではありません。今利用しているiDCの契約が他のiDCと比べてどうなのか比較することにまずは意味があります。その結果あまりにも最近の価格相場と乖離しているのであれば現在利用しているiDCの値下げ交渉ができますし、機能やサービス的に劣っているのであれば交渉してそれらを追加してもらうことができます。

重要なことは、適切な情報を仕入れ、まずは現在利用しているiDCに言ってみることだと思います。言うのは無料です。iDCとしては当然顧客離れは嫌なのである程度柔軟に聞いてもらえるはずです。私自身も現在利用しているiDCには当時いろいろな改善要求を出していたものです。やれセキュリティ強化してくれ、駐車場つくってくれ、入場が不便だ、椅子くれ、等々。

備えよ常に

私が当時常備していたシステム管理者必須アイテムをご紹介。

・ノートPC
・無線LANカード
・LANケーブル
・クロスケーブル
・シリアルケーブル（オス－メス、オスーオス、メスーメス）
・ドライバー
・メジャー（いろいろ計れて便利）
・六角レンチ
・ねじりっこ、というかハリガネというか（←これの正式名称知っている人います？）
・テプラ
・MS-DOS入りフロッピー
・CD-ROM boot Linux
・各種インストールCD

最低これだけ揃っていれば大抵の障害や応急処置には対応できます。

※追加 (2005.6.10)
・温度計
・電流測定器

こんな書き込み発見。（トラバしていただきたかったな～TT）
http://triaez.kaisei.org/~kaoru/diary/?20050609#09

> シリアルは RJ-45 - D-sub9 のコネクタで自作し、3個セット + ジェンダーチェンジャで持つ。
> UTPクロスケーブルは RJ-45メス - RJ-45 オスの変換アダプタで持つ。
> ペンライトと点検鏡も持つ。暗かったり狭かったりすることはよくある。
> 水準器も持つ。安物で十分だが、磁石付きでないと困る。

あ～これらも持っておくとよいですね。φ(．． )メモメモ

パーツを管理しよう

データセンターを利用するようになると様々なパーツを扱うようになります。サーバ台数が少ない頃はそれらをいいかげんに扱っていてもなんとかなってしまったりしますが、大規模システムになるとパーツ管理が作業効率向上の上で本当に重要になってきます。そこで今回はパーツ管理について記してみたいと思います。

【パーツとはどんなもののことを言うか】
定義するまでもないのですが、一応私が想定しているパーツを羅列してみます。LANケーブル、電源ケーブル、インストールＣＤ、マニュアル、ラックマウントキット、ねじあたりを考えています。

【何も考えないで作業するとデータセンターはどうなるか？】
悪い例を少々。何も考ないでデータセンターのラックに様々なメーカーのサーバを取り付けていったとしましょう。多分作業が終わった頃には梱包材が散乱し、ケーブル類が散らばり、インストールＣＤやマニュアルはゴミかそうでないのかわからない状態でちらかり、余ったラックマウントキットやねじはもはやどのメーカーのサーバに付いていたものかわからない状態になっていると思います。サーバ取り付け作業で疲労した体ではもはやそれらを整理する気力すらなく、「いつかきちんと仕分けしよう」なんて思いつつ、取りあえず倉庫にパーツとなりそうなものを押し込んで撤収ということになると思います。

しかしこの結末は皆さんのご想像の通り、「いつかきちんと仕分けしよう」としていたものは決して仕分けされることはないし、本来保存が必要であったパーツが既にゴミと間違えて捨ててしまっているものも多数ある状態となっています。こうなると既に手遅れです。

【パーツをどのように管理すべきか】
私の経験から考える最低ラインは次のようなものです。

①LANケーブル・・・長さ別（1m,3m,5m等）に箱分けする。もちろんクロスケーブルも別に箱分けする。
②電源ケーブル・・・ダンボールに入れる。
③インストールＣＤ・・・サーバの種類別にファイリングする。
④マニュアル・・・サーバの種類別にファイリングする。
⑤ラックマウントキット・・・サーバの種類別に束ねる。ラックマウントキット自体に油性ペンで機種名を書いておくのがお勧め。
⑥ねじ・・・サーバの種類別に束ねる。

【おまけ】
パーツ管理は血液型Ａ型の人が担当するといいんじゃないかなあと思ってるんですが、どうなんでしょうか。ちなみに以前うちの会社でたまたま血液型アンケートがあったんですが、なんとうちの会社のシステム部隊は1名を除いて全員Ｏ型だったという事実が。システム管理者にはＯ型が多いということなのか、それともたまたまなのかはわかりませんが、面白かったです。そこでです！ぜひ読者の皆さんの会社でもシステム管理者の血液型アンケートをとっていただきコメントいただきたいと思います。よろしくお願い致しま～す！

久々に社内サーバルームをメンテしてみて

部署が変わり再び社内サーバルームも管理するようになったため、久々に社内サーバルームをメンテしてみましたが、問題続出です。そこで今回は（以前ご紹介した内容がたくさん含まれますが）どういうところで問題が発生するかを記してみたいと思います。

【auto-negotiationと100MFull問題】
サーバとネットワーク機器の設定を調べたらAuto-negotiationと100MFullが混在してぐちゃぐちゃな状態でCRCエラーがいたるところでみつかりました。このような状態の場合ネットワーク転送速度の低下が体感できるほど遅くなりますのでかならずきちんと設定しましょう。理想を言えば全てのサーバ＆ネットワーク機器で100MFull固定にしたほうがよいのですが、社内サーバルームの場合はOS入れ替えが多いのでauto-negoにしてしまいました。(ただし以前書きましたが、auto-negotiationにするとExtreme社やAllied-telesis社のスイッチでよく100MHalfになってしまう等の誤認識が多くみられました。よってauto-negoにする場合は事後のチェックは必須です)

【電源容量問題】
1ラック42Uのサーバラックを使っていますが、１ラックあたりの電源容量は40Aしかありません。1サーバ2A程度使うとするとサーバ20台しか取り付けられない計算になります(実際はうちの環境では24台くらいまでは大丈夫でしたけれども)。この法則をすっかり忘れていてブレーカーdownをやってしまいました。本当に要注意です。

【スイッチのポート数問題】
なんとかサーバをラックに取り付けたとしてもスイッチのポート数が足りないことが後々判明して泣く泣くサーバを別のラックに移動させたことがあります。

【発熱問題】
サーバルーム内の空調を22度にしているんですが、ネットワーク機器にtelnetで接続してステータスを確認すると37度まで上昇していたなんてことも。空調だけではなく空気循環も重要ってことですね。このときは扇風機を購入して空気循環を発生させるようにしました。

【チリ・ほこり問題】
空気循環を発生させると今度はチリ・ほこり問題が気になりだしました。こんなときは迷わず空気清浄機がおすすめです。

今回記した内容は、言われてみればみんな当たり前のことなんですけど、なかなか難しいんですよねえ。

ディザスターリカバリーについて考える

今回はディザスターリカバリーについて思っていることを述べてみたいと思います。（会社が東京近隣にあることを前提として書きます）

【ディザスターリカバリーの種類】
ディザスタリカバリーに次の３つのレベルがあるとします。

レベル１．データのみを２ヶ所以上にバックアップするパターン
レベル２．データセンターを２ヶ所以上に持つパターン
レベル３．データセンターも組織も２ヶ所以上に持つパターン

【普通の企業ではレベル１で十分では？】
日本は地震が多いのでディザスターリカバリーに関心が高いのは当然だと思います。しかし東京の地震によって自社サーバが置いてあるデータセンターがつぶれてしまうという状況を考えてみてください。東京にIXが一極集中している日本においてそんな状況では日本のインターネット自体が麻痺してしまうことが想定されます。また従業員もサーバ管理どころか自身の生活インフラの確保すらきっと確保するのが難しい状況になるでしょう。そんな状態の中、WEBサイトが一瞬の寸断もなく本番系から待機系に切り替わるということに大枚をはたくことが果たして合理的なことなのでしょうか。そんなわけで、僕は普通の企業ではレベル１くらいをしておけば十分ではないかと考えます。

レベル２くらいは必要ではないか、と考える方もいると思います。しかし待機系のデータセンターがあったとしても、それを稼動させるためには社員の判断が必要になります。判断できる人のいない待機系データセンターが何の役に立つのでしょうか。よって大枚はたいてレベル２を実施するのであればもうちょっとお金を積んでレベル３まで頑張ってほしいものです。

普通の企業で求められる可用性のレベルは、会社が存続できる、というところではないでしょうか。そう考えると、少なくともデータが保護されるというレベル１程度で十分だと思います。大震災があったとしたら復旧に時間がかかってもユーザは許してくれますって。

KVMスイッチをリモートコントロール

データセンターで稼働中のサーバに障害が発生した場合、OSが生きていればネットワーク経由でリモート対応できますね。しかしBIOSレベルでの障害だったらどうするか。通常は現地で作業するしかないですよね。こんなことが頻発すると大変なので、今回はKVMスイッチをリモートコントロールするというソリューションをご紹介いたしましょう。

【KVM on the net】
KVMスイッチをリモートコントロールするためにはどうしたらよいか。それはCRT、キーボード、マウスのI/Oをネットワーク経由でやりとりできる仕組みを導入することです。僕が試してみたのはATEN社のCN-6000という製品です。この製品はまさにそんなことが実現できます。この製品を選んだ理由はATEN社のKVMスイッチを使っているからという理由に他なりませんが、原理的に考えればどのメーカーのKVMスイッチでも制御できるはずですね。

【CN-6000を使ってみてよかったところ】
このソリューションを導入してみてよかったことがいくつかあります。当初の目的である、リブート後BIOSレベルで止まってしまっているときに現地にいかずに障害対応ができる、という点については言うまでもなく実現されて大満足です。この他に導入後気づいた良い点としては、サーバにOSのCDROMを入れておけばあとは事務所でOSのインストールができるということです。データセンターはとても寒いのでこれは大変助かっています。

【CN-6000を使ってみて足りないところ】
反面、このソリューションに足りないところもあります。まずOSがカーネルパニックを起こして止まってしまった場合は基本的にキー入力を受け付けないのでリブートができないです。この場合はデータセンター常駐の方にリモートハンドserver on/offを依頼するしかありません。あと電源制御ができないです。これができればリモートで電源on/offができます。ただそのソリューションに関しては別の業者が既に対応製品を持っていますので、そのレベルまで必要な方はそちらも導入されるとよいと思います。僕が知っているのはAPC社のInfrastructureシリーズです。

データセンター選びのポイント

現在利用しているデータセンターは3箇所目になるのですが、毎回データセンター選びにはとても苦労しました。そこでこれまでの経験を踏まえて、ここでは僕的なデータセンター選びのポイントを書いてみたいと思います。

【ポイント】
まずあなたがデータセンターに何を望むかはっきりさせることが重要です。僕が重要だと思うポイントとしては次のようなものがあります。

・データセンターの所在地
→言うまでもなく事務所から近いほうが有利です。ただし地震等自然災害に強いのは必須です。

・入館セキュリティーの厳しさ
→強ければ安心なのですが、頻繁に現地で作業するのであればむしろ入館セキュリティーは弱いほうが使いやすいです。(←かなり重要。以前使っていた某大企業系データセンターはセキュリティが厳しすぎて現地作業するのが億劫で・・・)

・ラックは持込みか、貸し出しか
→ラックマウントサーバの場合、ラックマウントキットとラックに相性があるので、もし備え付けのラックとラックマウントキットが合わないと棚板を使うこととなり、スペースがもったいないです。また備え付けのラックが空気循環が悪いタイプだとたくさんサーバを詰め込めないので、そういう場合はラック持込みがおすすめです。

・温度管理
→温度がSLAで決められているか。サーバはかなりの熱を排出するので温度管理は重要です。

・備品貸し出しの柔軟性
→工具、イス、机、キーボード、温度計、ＬＡＮケーブル、シリアルケーブル等現地作業ではいろいろ必要になりますが、そういったものを柔軟に貸してくれるところは大変使い勝手がよいです。（うちが使っているデータセンターは係の人と顔見知りなので何でも貸してくれてとても助かっています。以前使っていた某大企業系データセンターは何も貸してくれなかったからなぁ。。。）

・廃棄ゴミの処理方法
→廃棄ゴミ処理は意外と重要です。頻繁に発生するダンボール等のゴミが現地で処理できないとかなり大変なことになります。（以前サーバ100台箱出ししたことがありますが、2トントラック2台分のゴミが出ました。あのときはしんどかった・・・）

・重加重機器への対応
→ハイエンド機器になると数トンという重さになることがざらです。それに対応しているかどうか。

・様々な電源への対応
→100V,200V両電源に対応しているか。またハイエンド機器になると電源プラグが特殊な形状だったりすることがざらで、それに対応しているかどうか。

・搬入スペースや駐車場の有無
→これも意外と重要で、サーバ搬入時、搬入スペースや駐車場がないとかなり悲惨なことになります。特に数トンクラスの機器の場合はそれらがないと悲劇です。

・MSP(マネジメント・サービス・プロバイダ)サービスの有無
→トラブル発生時、電話をかければ電源on/offしてくれるリモートハンドサービス程度から、常時モニタリングしてくれていてトラブル発生時は勝手に操作マニュアルを見ながらコマンド操作してくれるところまで行ってくれるようなサービスが必要か。

・空きラックスペース量
→サイトの伸びが急激でラックやスペースの利用が急増しそうなのであれば、残ラックスペースは重要です。

・常駐スペースの有無
→社員がデータセンターに常駐する場合は常駐スペースを借りられることができるか。

・ケージの有無
→ケージ（柵ですね）を設置できるか。

・ネットワーク回線のコネクティビティー
→IX直結か、大手ISPとのトランジットを豊富に持っている業者であるとよいです(通信系の業者が運営しているデータセンターだと安心ですが、中小のデータセンターだとこのあたりが心配です)。もしくはキャリアフリーを謳っていて外部回線を引き込めるデータセンターもあります。

・UPSや発電機の有無
→停電時どの程度耐えられるのか。ここで注意なのはいくら発電機が完備されていたとしても災害で道路が封鎖されてしまったしたらガソリン等燃料を給油できないのでUPSがあることも重要です。

・火災発生時の消火方法が水かガスか
→水だと機械が死にます。ガスだと人が死にます。そんなわけで個人的には水がお勧めです(?!)。

・イレギュラーな要望に強い
→サイトが大きくなってくると様々な要望が生まれてきますが、それらのイレギュラーな要望に相談に応じてくれる親切なデータセンターがよいです。（今使っているところは大変助かってます）

・そして価格
→データセンターの価格はぴんからきりまでなので、「品質より価格」でいくのか「価格より品質」でいくのか決める必要があります。ただしかなりまとまったオーダーをすれば「品質と価格」の両立は可能ですがこればっかりは会社規模に拠りますね。（価格に関する一つの目安の数値があるのですが、さすがに公にはできません。興味がありましたら私に直接聞いてください）

【結論】
僕は最初、データセンターは極端な話し場所とネットワークさえ提供されるのであれば安ければ安いほどよいと思っていました。この考えはサーバを一度取り付けてしまえばあとはサーバ増加がほとんどないサイトの場合はたしかにその通りなのですが、頻繁にサーバ増強のために現地作業が必要なのだとしたら僕の最初の考えは間違いで、極力上記のポイントを押さえたデータセンター選びをするのがとても重要だと思いました。

KVMスイッチ(CPU切り替え機)を選んでみる

データセンターを利用する際、意外と忘れがちなんだけどとても重要なのがKVMスイッチの選択です。この選択を誤ると、将来に渡ってサーバメンテナンスに地獄が訪れます。（ちょっと言いすぎ？）

とは言いつつも、ポイントを押さえておかないとKVMスイッチの選定はかなり難しいです。違いがわからないと選定も何もありませんし、そもそもKVMスイッチの実物を実際の目で見比べることができる機会はそう滅多にありません。多くの場合はカタログでの比較になるか、もしくは付き合いのある業者さんから言われるままに購入してしまう場合が多いのではないでしょうか。そこでここでは私の視点からのKVMスイッチ選定のポイントを記してみます。

【KVMスイッチ選択のポイント】

この6つさえ押さえておけばまず間違いありません。

①ポート数
②対応マシン
③ケーブルの太さ
④マシン切り替えの方法(ボタン式か電子式か)
⑤カスケード接続できるか
⑥(ブレードサーバを使うなら)ブレードサーバ側のKVM機能との相性

①については1ラックに搭載するサーバ台数のポート数があると理想的です。（が、実際は16ポートより多いものって少ないんですけどね）

②についてはIAサーバしかない環境では問題ありませんが、Sunサーバも混在している環境だと重要な要素だと思います。

③については見過ごされがちですが、私はとてもとても重要な選定ポイントだと思っております。細ければ細いほど良いです。KVMスイッチから太いケーブルが数十本出ているのと細いケーブルが数十本出ているのでは当然後者のほうがメンテナンスがしやすいです。以前太いケーブルのKVMスイッチを使用した際大変不便だったので私はそれ以来KVMスイッチのケーブルの細さにはとにかくこだわるようにしています。

④についてはボタンを押すことでマシンを切り替えるタイプか、もしくは電子式、すなわちキーボードで操作するタイプかの選択になりますが、前者はラックが増えてくるといちいちそのラックまで行って手でボタンを押す必要があります。後者はコンソール(CRT,KBD,Mouseが置いてあるところ)からマシンを切り替えられるので便利なのですが電子式の切り替えですので切り替えに0.5秒～2秒かかる場合がありちょっとしたストレスを感じます。100台のサーバを順々にWindowsUpdateした際このちょっとしたタイムラグで非常にいらつきました。

⑤については1台のコンソールで何台までのKVMスイッチをカスケード(数珠繋ぎ)できるかということですが、これは④で電子式を選んだ場合は重要です。あまりにもカスケードできる数が少なすぎるとたくさんコンソールを用意しなければなりません。

⑥については意外と盲点なのですが、特に④で電子式を選んだ場合キー入力をKVMスイッチ内でどのように処理しているのかルールがないことで相性問題が発生します。私の経験ではATEN社のKVMスイッチとDELL社のブレードサーバの組み合わせではATENのKVMスイッチ側のマシン切り替えはキーボード上でできるが、ブレードサーバ内のマシンの切り替えはキーボード上から行えませんでした。これはATENのKVMスイッチでキー入力の処理を押さえてしまっていてそれがDELLのブレードサーバまで伝わらない仕組みだからだろうと想像しています。もしこの組み合わせで実際に購入してしまっていたらマシンを切り替える手段がなくてパニックになっていただろうと想像できます。なので購入前の検証は絶対行うべきだと思います。

【私の選定したKVMスイッチ】

ということを踏まえて私の会社の環境で現在のところベストだと考えて選定したKVMスイッチはATEN社のACS-1216Aです。①はポート数は倍の32個ほしかったものの16ポートが最大なので2台で32ポート、②はSun環境がないのでOK、③はケーブルが細いです、④⑤は電子式でカスケードもたくさんできます、⑥はブレード環境がないのでOK、といった感じです。このKVMスイッチ、定価が安いのも魅力です。