Smiling Life : 2009年08月

2009年08月

2009年08月31日20:57

カテゴリ: 日記

これって？

本日のアクセス数が240件を超えています。
これってバグですかね(笑)
まさか、私のブログがそんなにヒットするわけがない…

最近は半年くらいまえに作ったスクリプトを見直しながら改良しているのですが、いま読んだら、どこで何をやっているのか全くわからない。
いつも可読性には気を配っているつもりだけど全然わからない(笑)
書き直してはバグフィックスって感じ。

今日で8月も終わりですが、9月はチョ～忙しい。
17日には自分のトコ主催の研究会があって、24日には弘前へ研究会で出かけて、28日には中間発表…
なのに研究はヨチヨチ歩き…
がんばらないとね～♪

2009年08月21日17:25

カテゴリ: 気象学; Linux

WRF向けPCクラスターマシンの構築法　（第4回：最終回）

intel compiler環境でWRFを使用することを目的に見据えた、PCクラスターマシンの構築方法の解説、第4回（最終回）です。

●コンテンツ
第1回：概略とネットワークの設定
第2回：rshとNFSの設定
第3回：NISとMPIの設定
第4回：Stack Sizeの設定、ネットワークの2重化とベンチマーク

>> WRFのインストール方法へ

6. Stack Size Limitの解除

ステップ5まででクラスターマシンは完成していますが、WRF等の非常に大きなデータを通信する計算においてはstack sizeの制限によってSegmentation Fault (signal 9や11)を吐いて計算が落ちてしまいます。そこでstack sizeの制限を外しておいてやります。この作業はすべてのノード上で行ってください。
まず、/etc/pam.d/rsh、/etc/pam.d/rlogin、/etc/pam.d/login、/etc/pam.d/sshdに以下の記述を加えます。

session required pam_limits.so

さらに、/etc/security/limits.confに以下の記述を加えておきます。

user1 hard stack 5120000
user1 soft stack 5120000

上記の中でuser1はクラスターユーザーです。
設定後、sshやrloginでuser1にログインしてulimit –aでlimit状況を確認してみてください。stack sizeの項目が指定した値になっているはずです。（32bit OSの場合には”unlimited”と表示されてしまう場合がありますが問題ありません。）

App1. ネットワークの2重化

ここでは“bonding”を利用したネットワーク・インターフェース（NIC）の結合方法を解説します。各ノード間の接続は図②を参考にしてください。NICを２つ以上使用することで高速化もしくは耐障害性能を向上させることができます。bonding driverというものを使用した冗長化のタイプは以下のようなものがあります。

0 — 耐障害性と負荷バランシングに対するラウンドロビンポリシーを設定します。ボンディングされたスレーブインターフェイスは使用できるものから順に、送受信を順次行ないます。
1 — 耐障害性に対するアクティブバックアップポリシーを設定します。最初に使用できるボンディングされたスレーブインターフェイスによって送受信が行なわれます。ボンディングされた他のスレーブインターフェイスはアクティブなスレーブインターフェイスが失敗した場合のみ使用されます。
2 — 耐障害性と負荷バランシングに対する XOR (exclusive-or)ポリシーを設定します。この方法では、インターフェイスによって1スレーブ NIC の MACアドレスと受信要求の MACアドレスが適合されます。このリンクが確立されると、最初に使用できるインターフェイスから送信を順次行ないます。
3 — 対障害性用のブロードキャストポリシーを設定します。全ての送信は、全てのスレーブインターフェイスで送られます。
4 — IEEE 802.3ad ダイナミックリンク集合ポリシーを設定します。同じスピードとデュープレックス設定を共有する集合グループを作成します。アクティブな集合体内の全てのスレーブ上で送信と受信をします。そして802.3ad 対応のスイッチを必要とします。
5 — 対障害性とロードバランシング用の送信ロードバランシング (TLB)ポリシーを設定します。外部への送信は、各スレーブインターフェイス上の現在のロードに従って配信されます。受信は現在のスレーブにより受け付けられます。もし受信するスレーブに障害があるともう一つのスレーブが問題のスレーブの MAC アドレスを引き取ります。
6 — 対障害性とロードバランシング用のアクティブロードバランシング (ALB)を設定します。IPV4 通信用の送信および受信ロードバランシングを含んでいます。受信のロードバランシングは ARP ネゴシエーションによって達成されます。
（http://www.express.nec.co.jpを引用）

○設定方法
ここではmode0ーラウンドロビンポリシーの設定方法を解説します。
以下に示す手順をすべてのノードについて行ってください。

1). 二重化に使用しないものも含む全てのインターフェースを停止します。
( ifconfigコマンドで、アクティブなインターフェースが無くなることを確認してください。)
# ifconfig bond0 down （◎）
# ifconfig eth0 down （◎）
# ifconfig eth1 down （◎）

2). bonding環境を設定します。
/etc/sysconfig/network-scripts/ifcfg-eth0
及び
/etc/sysconfig/network-scripts/ifcfg-eth1
を
#cp ifcfg-eth0 backup-ifcfg-eth0 （◎）
のようにしてバックアップをとった上で、以下のように編集します。（デバイス名は適宜読みかえて下さい）

# Intel Corporation 82540EM Gigabit Ethernet Controller
DEVICE=eth0
HWADDR=0A:1B:2C:3D:4E:5F
IPADDR=192.168.1.3
NETMASK=255.255.255.0
NETWORK=192.168.1.0
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
ETHTOOL_OPTS="speed 1000 duplex full autoneg off"
TYPE=Ethernet
PEERDNS=yes
USERCTL=no
IPV6INIT=no

/etc/sysconfig/network-scripts/ifcfg-bond0
を以下のように新規作成します。bond0は、bondingインターフェース名です。

# Bonding Device for Peer to Peer Communication
DEVICE=bond0
BOOTPROTO=none
IPADDR=192.168.2.1
NETMASK=255.255.255.0
NETWORK=192.168.2.0
BROADCAST=192.168.2.255
ONBOOT=yes
USERCTL=no
TYPE=Ethernet

/etc/modprobe.conf (なければ/etc/modules.conf) を編集し下記の2行を追加します。
alias bond0 bonding
options bonding mode=0 miimon=100

3). 先ほどのoption を有効にするため、bondingドライバをロードします。ロード後にdmesg で、異常がないか確認してください。
# rmmod bonding （◎）
# modprobe bond0 （◎）
# dmesg （◎）

4). ネットワークを再起動します。
# /etc/init.d/network restart （◎）
ifconfig で全てのMAC アドレスが同一になっているのを確認し、ping 等で導通チェックを行います。最後に次のコマンドでステータスチェックをします。
# cat /proc/net/bonding/bond0 （◎）
下記のように表示されればOKです。正常に作動していれば、片方のLANケーブルを引き抜いても通信は途絶えないはずです。

Ethernet Channel Bonding Driver: v3.2.4 (January 28, 2008)

Bonding Mode: load balancing (round-robin)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

Slave Interface: eth0
MII Status: up
Link Failure Count: 0
Permanent HW addr: 00:07:e9:00:ef:9b

Slave Interface: eth1
MII Status: up
Link Failure Count: 0
Permanent HW addr: 00:20:ed:70:03:1e

○bondingの解除方法
もうbondingをやめたい～！ってときはここを参照してください。
まずbonding構成時にbackupしておいたもとのifcfg-eth0等を復活させるか、以下のように内容を書き換えます。
# Intel Corporation 82540EM Gigabit Ethernet Controller
DEVICE=eth0
BOOTPROTO=none
BROADCAST=192.168.1.255
HWADDR=00:07:E9:00:EF:9B
IPADDR=192.168.1.1
IPV6INIT=yes
IPV6_AUTOCONF=yes
NETMASK=255.255.255.0
NETWORK=192.168.1.0
ONBOOT=yes
TYPE=Ethernet
PEERDNS=yes
USERCTL=no

そののち、bondingモジュールを消去して、ネットワークを再起動する。ただし、bondingを消去するとbondingにし使用していたインターフェース、eth0やeth1はネットワークを再起動するまで使用不可能になるため、rmmodと同時にネットワーク再起動の命令も送った方がよい。
# /sbin/rmmod bonding ; /etc/init.d/network restart （◎）

あとはifconfigでbond0が消えてeth0やeth1が復活していることを確認すればOK。

App2. ベンチマーク

ここではsuperpiと姫野ベンチを用いたベンチマークをご紹介します。

○superpi
はじめにsuperpiはクラスター計算には対応していませんのでご注意ください。まず以下からsuperpiをダウンロードします。
ftp://pi.super-computing.org/Linux_jp/super_pi-jp.tar.gz
展開して./super_piにて実行します。Loop回数を20と指定すると104万桁となります。

○姫野ベンチ
以下からMPI+f90版の姫野ベンチをダウンロードします。
http://accc.riken.jp/HPC/HimenoBMT/Load_module/f90_xp_mpi.lzh
LZHの解凍にて解凍する。
$ lha -e FILENAME
＊lhaコマンドがない場合は、以下からlha-1.14i-19.2.1.i386.rpmをダウンロードしてインストールする。
http://ftp.riken.jp/Linux/fedora/core/5/i386/os/Fedora/RPMS/lha-1.14i-19.2.1.i386.rpm

解凍されると、himenobmtxpr.f90というファイルが生成されるので、
$ mpif90 himenobmtxpr.f90
と実行してコンパイルする。適宜、-O3 -xW -Vaxlibなどのオプションを付けてもよい。

実行はmpdを起動した後、mpiexec -n 4 ~/himeno/a.out のように実行すると、ドメインの格子数の選択を求められます。最近のマシンでとりあえず試してみたいと言う場合には、MかLがおすすめ。その後、並列化パーティションの切り方を尋ねられます。i, j, k軸それぞれを何個に区切るかということだが、i×j×k＝使用CPU数となるように注意してください。

以上です。いかがですか、クラスターマシンは構築できたでしょうか？
ご不明な点やコメントがございましたら書き込みください。
お疲れ様でした。

>> 並列化WRFのインストール方法
>> OpenMPIの使用方法
>> AMDマシンの場合のWRF設定方法
>> Pentium 4マシンの場合のWRF設定方法

2009年08月21日17:17

カテゴリ: 気象学; Linux

WRF向けPCクラスターマシンの構築法　（第3回）

intel compiler環境でWRFを使用することを目的に見据えた、PCクラスターマシンの構築方法の解説、第3回です。

●コンテンツ
第1回：概略とネットワークの設定
第2回：rshとNFSの設定
第3回：NISとMPIの設定
第4回：Stack Sizeの設定、ネットワークの2重化とベンチマーク

>> WRFのインストール方法へ

4. NISのインストールと設定

A. NIS（NIS/YP：Network Information Services / Yellow Page）とはネットワーク上で設定したユーザー情報をノード間で共有し合うためのシステムです。まずマスター、スレーブノードともにNISをインストールします。
# yum install ypserv （◎）
# yum install ypbind yp-tools （◎）

B. NISサーバの設定をします。この作業はマスターノードのみです。ここではNISサーバをホスト名test1のノードとし、IPは192.168.1.1、NISサーバドメインはnistestとします。
まず登録したいドメイン名を定義します。
# ypdomainname nistest （●）
そしてNISサーバー ypservを起動します。
# /etc/init.d/ypserv start （●）

C. NISサーバの初期設定ウィザードを開始します。
i386(32bit)OSの場合
#/usr/lib/yp/ypinit –m （●）
x86-64(64bit)OSの場合
# /usr/lib64/yp/ypinit –m （●）
このコマンドを実行すると下記のように表示されるため、先ほど登録したドメイン名（nistest）が出ていたらCtrl+Dで次へ進みます。
At this point, we have to construct a list of the hosts which will run NIS servers. test1 is in the list of NIS server hosts. Please continue to add the names for the other hosts, one per line. When you are done with the list, type a .
next host to add: nistest
next host to add:
その後、下記のようにメッセージが表示されれば初期設定は完了です。
test has been set up as a NIS master server.
Now you can run ypinit -s nistest on all slave server.

D. 次にyppasswddを起動します。
# /etc/init.d/yppasswdd start （●）
そしてNISサーバー系がOS起動時に起動するように設定します。
# vi /etc/sysconfig/network （●）
として以下のように3行を書き加えます。
START_YPSERV=yes
START_YPPASSWDD=yes
NISDOMAIN=test
さらに、次のコマンドを実行します。
# /sbin/chkconfig ypserv on （●）
# /sbin/chkconfig yppasswdd on （●）
# /sbin/chkconfig --list yppasswdd （●）

最後にNISサーバにユーザー登録します。
# cd /var/yp （●）
# make （●）
以上でマスターノードの設定は完了です。

E. NISクライアントの設定をします。この作業はマスター・スレーブノード両方で必要な作業です。まず、/etc/sysconfig/networkに次の内容を追記してください。
# vi /etc/sysconfig/network （◎）
START_YPBIND=yes
NISDOMAIN=test
そして、/etc/yp.confを編集します。次の内容を追記してください。
# vi /etc/yp.conf （◎）
domain nistest server 192.168.1.1
この例では、上記のなかでnistestはNISのドメイン名、192.168.1.1はNISサーバのipアドレスです。
さらに /etc/passwdを編集し、次の記述を最後の行に加えます。
# vi /etc/passwd （◎）
+::::::
最後にypbindを起動する。
# /etc/init.d/ypbind start （◎）
# /sbin/chkconfig ypbind on （◎）
上記のコマンドの後にNISクライアントでは次のように表示されればOK。
Setting NIS domain name test: [ OK ]
Turning on allow_ypbind SELinux boolean
Binding to the NIS domain: [ OK ]
Listening for an NIS domain server.

F. NISのチェックをします。
$ ypcat passwd （◎）
や
$ ypmatch USERID passwd （◎）
のコマンド実行して回答があればOKです。USERIDには適宜ユーザーの名前を入れます。

5. MPIのインストールとMPDの起動確認

A. 一般に使用されるMPIライブラリは2種類あります。それはMPICH2とOpenMPIですが、ここではMPICH2を使用した方法を説明します。インストールはすべてのノードで必要な作業です（ただしPATH以外の設定はマスターのみ）。まず以下のサイトからmpich2-1.x.x.tar.gzといったファイルをダウンロード・解凍し、/tmpのもとにコピーして当該ディレクトリに移動してください。
http://www.mcs.anl.gov/research/projects/mpich2/downloads/index.php?s=downloads

次のコマンドによってインストールしてください。
$ export CC=icc
$ export CXX=icpc
$ export F90=ifort
$ export F77=ifort
$ export CPP='icc -E'
$ export CXXCPP='icpc -E'
$ ./configure --prefix=/usr/local/mpich2 --enable-debuginfo --with-device=ch3:ssm
$ make
# make install

インストールできたら、~/.bashrcにPATHを通しておきます。
### MPICH
export MPIROOT="/home/opt/mpich2"
export MPIROOT="/home/opt/mpich2-ch3ssm"
export PATH="${MPIROOT}/bin:${PATH}"
export MPIBIN="${MPIROOT}/bin:${MPIBIN}"
export MANPATH="${MPIROOT}/share/man:${MANPATH}"
export LD_LIBRARY_PATH="${MPIROOT}/lib:${LD_LIBRARY_PATH}"

そして、mpd（MPIデーモン）の起動に必要なファイルを用意します。この作業はマスターノードでのみ行います。以下のファイルはすべてクラスターユーザーのホームディレクトリ下に置いてください。まず、ノード間共通パスワードファイルの設定です。
$ touch /home/user1/.mpd.conf （●）
$ vi /home/user1/.mpd.conf （●）
secretword=mr45-j9z
上記の“ mr45-j9z “の部分がパスフレーズです。任意のものを記述してください。ファイル名は".mpd.conf"で、最初にドットがついており隠しファイルになっていますのでご注意ください。そして，アクセス権限を600に変更しておきます．（このアクセス権限の変更は必ず行ってください。でないとMPD起動に失敗することがあります。）
$ chmod 600 .mpd.conf （●）
＊このファイルはmpiが通信時に使用するパスフレーズを記入しておくファイルですが、中身を書いてしまうとmpiデーモン起動時にログインできないといって怒られることがあります。その場合は、中身を書かずにtouchとファイルの権限変更だけにしてください。
最後にmpdに使用するノードを明記しておきます。
$ vi /home/usr1/mpd.hosts （●）
test1:2
test2:2
test3:2

上記の中でtest?という記述はノードのホスト名です。コロンでつないである数字はノードのCPU数です。たとえばCore2 Duoが2つ載っているノードならこの数字は4となります。最大CPU数より少なく記述してもかまいませんが、多く記述してはいけません。CPU数がわからないときは次のコマンドにて確認することができます。
$ cat /proc/cpuinfo | grep processor

B. MPICH2のインストールが完了したらMPDが正常に起動するかチェックします。ここで、test1はマスター、test2はスレーブです。まず、
test1 $ mpdcheck –s （●）
と実行すると、
server listening at INADDR_ANY on: test1 1234
のように表示されますので内容を確認してクライアントで、

test2 $ mpdcheck -c test1 1234 （○）
と実行します。このときtest1はマスターノードのホスト名、1234はマスターでmpdcheckを掛けたときに表示されたポート番号です。うまくいくとホストでは…

server has conn on

from (’192.168.1.1’, 1234)
server successfully recvd msg from client:
hello_from_client_to_server

と表示されクライアントでは…

client successfully recvd ack from server:
ack_from_server_to_client

と表示されます。これに失敗した場合は何らかのネットワークの問題かマシンの設定ミスです。成功した場合でも、ホスト名がlocalhostと表示される場合にはnode1など任意の名前に変更しなければなりません。

C. テストがうまくいけば実際にMPDを起動します。マスターノード上で次のコマンドを実行してください。ここでは通信にrshを指定してmpdを起動します。-vは状況表示、-rはシェル指定、-nは使用するノード数の指定（CPU数ではありません）、-fはマシンファイルの指定です。
$ mpdboot -v -r rsh -n 3 -f ~/mpd.hosts （●）

＊ステップBのテストに成功してもmpdbootに失敗することがあります。これはホスト名の競合、もしくは不足によるものです。以下のコマンドを実行して競合・不足しているホスト名を確認し、/etc/hostsの内容を調整してください。調整後、再度mpdcheckを行い何も表示されずにプロンプトが返ってくればOKです。

$ mpdcheck –f ~/mpd.hosts （●）

D. WRFの実行方法
ⅰ). ホストマシンにクラスターユーザーでログインします。たとえばリモート環境からログインする場合は次のようになります。（ここで指定するIPアドレスは外部通信のアドレスです。内部向けを指定しないでください。）
$ ssh user1@10.177.55.32

ⅱ). クラスターユーザーのホーム下でMPDを起動します。
$ mpdboot -v -r rsh -n 3 -f ~/mpd.hosts （●）

ⅲ). real.exeを実行します。このときノードごとに使用するCore数を陽に指定してください。（指定しなかった場合、プロセスがあるノードに集中し、うまく並列化効率を得られない場合がるどころか、SWAPの使用が発生し、計算がフリーズすることもありますので注意してください。）この説明の中ではtest1、test2、test3と3つのノードがあり、それぞれに2つずつCPUが載っていますから、すべて使って計算するならば…
$ mpiexec –n 2 –host test1 ./real.exe : -n 2 –host test2 ./real.exe : \
-n 2 –host test3 ./real.exe >/dev/null 2>&1 （●）
となり（\マークは紙面上の都合で改行したことを示す。実際は改行なし。）、2ノードだけ使ってtest1は1 coreで、test2は2 core使用するとすれば…
$ mpiexec –n 1 –host test1 ./real.exe : -n 2 –host test2 ./real.exe >/dev/null 2>&1 （●）
となる。最後についている”>/dev/null 2>&1”は実行時にターミナルを有効にするためのリダイレクトです。

ⅳ). 最後にwrf.exeを実行します。realの時と作業は同じです。すべてのノード・Coreを使って計算するならば…
$ mpiexec –n 2 –host test1 ./wrf.exe : -n 2 –host test2 ./wrf.exe : \
-n 2 –host test3 ./wrf.exe >/dev/null 2>&1 （●）
として実行することが可能です。計算の進行状況は“rsl.out.0000”等に吐き出されますので、tailコマンドなどによって確認できます。

>> つづく

2009年08月21日17:10

カテゴリ: 気象学; Linux

WRF向けPCクラスターマシンの構築法　（第2回）

intel compiler環境でWRFを使用することを目的に見据えた、PCクラスターマシンの構築方法の解説、第2回です。

●コンテンツ
第1回：概略とネットワークの設定
第2回：rshとNFSの設定
第3回：NISとMPIの設定
第4回：Stack Sizeの設定、ネットワークの2重化とベンチマーク

>> WRFのインストール方法へ

2. rshのインストールと設定

A. ここではmpi通信にrshを使用します。sshでの通信も可能で、MPICH2、OpenMPIともにデフォルトでsshを通信に使用する設定になっています。しかし、rshでの通信に比べて速度が劣るためここではrshを選択します。（ではなぜ、MPIがデフォルトでrshを選択しないかというとsshに比べてrshはセキュリティ面で非常に劣るためです。）
まず、yumで以下のものをマスター、スレーブともにインストールします（でないとxinetdがインストールされません）。以下の作業はrpmをダウンロードしてきて実行することでも可能ですが、依存関係に注意してください。
#yum install rsh （◎）
#yum install rsh-server （◎）

B. 各ノードのホスト名の設定をします。ここではマスターのホスト名をtest1とし、スレーブをtest2, test3とします。ホスト名の設定をするには各ノードで /etc/hostsの編集をします。
# vi /etc/hosts （◎）

# Do not remove the following line, or various programs
# that require network functionality will fail.
::1 localhost.localdomain localhost test1 <- ここは当該ノードのホスト名を記述する。
192.168.1.1 test1 <- この欄はすべてのノードで同様に記述する。
192.168.1.2 test2
192.168.1.3 test3

以下、いくつかのアクセスコントロールの設定をします。まず、アドレス関係の制御で、/etc/hosts.allow に下記を追記してください。

# vi /etc/hosts.allow （◎）
in.rshd: 127.0.0.1
in.rshd: 192.168.1.1/255.255.255.0
in.rshd: 192.168.1.2/255.255.255.0
in.rshd: 192.168.1.3/255.255.255.0
sshd: ALL

C. つづいて、/etc/hosts.equivの編集をします。下記のように記述してください。
# vi /etc/hosts.equiv （◎）
192.168.1.1
192.168.1.2
192.168.1.3
127.0.0.1

D. 次にrshのユーザーフィルタリングを無効化するための設定をするために、/etc/pam.d/rshを編集する。次のように一部コメントアウトし、一部追記します。
# vi /etc/pam.d/rsh （◎）
#%PAM-1.0
# For root login to succeed here with pam_securetty, "rsh" must be
# listed in /etc/securetty.
auth required pam_nologin.so
#auth required pam_securetty.so
auth required pam_env.so
#auth required pam_rhosts_auth.so
auth required pam_rhosts_auth.so \ hosts_equiv_rootok promiscuous
account include system-auth
session optional pam_keyinit.so force revoke
session include system-auth

E. 同様に、/etc/pam.d/rloginの編集もします。
# vi /etc/pam.d/rlogin （◎）
#%PAM-1.0
# For root login to succeed here with pam_securetty, "rlogin" must be
# listed in /etc/securetty.
auth required pam_nologin.so
#auth required pam_securetty.so
auth required pam_env.so
#auth sufficient pam_rhosts_auth.so
auth sufficient pam_rhosts_auth.so \ hosts_equiv_rootok promiscuous
auth include system-auth
account include system-auth
password include system-auth
session optional pam_keyinit.so force revoke
session include system-auth

F. 次にiptablesによるipアドレスやポート番号のフィルタリングを無効化する。ただし、この作業を行うとセキュリティホールを作ることになりますから注意が必要です。下記のコマンドを実行してipのフィルタリングが起動時に立ち上がらないようにします。
# /etc/init.d/iptables stop （◎）
# /sbin/chkconfig iptables off （◎）
# /sbin/chkconfig --list iptables （◎）
iptables 0:off 1:off 2:off 3:off 4:off 5:off 6:off

＊ipのフィルタリングを一時時的に無効化する方法もあります。この方法ではiptableを再起動するか、マシンを再起動するとiptablesの設定は元に戻ります。
# /sbin/iptables -F

G. 最後にrshデーモンを再起動し、ここまでの設定を読み込ませます。
# /etc/rc.d/init.d/xinetd restart （◎）

再起動に成功したら、次のようなコマンドを実行してrshが使用できることを確認してください。
$ rsh test1 ls （◎）
$ rsh test2 ls （◎）
$ rsh test3 ls （◎）

H. トラブルシューティング
＊自分にrshで入ろうとしても、“test1: Connection refused“で拒否される問題
おそらくinetd/xinetdからin.rlogindの起動が許可されていません。（TCP Wrapperで拒否されたのであればConnection reset by peer.と表示されます。）対策法は /etc/xinetd.d/rloginおよび /rshを修正しましょう。
disable = yes
となっているはずです。これをnoに変えましょう。設定できたら # /etc/rc.d/init.d/xinetd restartとして再起動してください。

＊yumを実行したがいっこうに応答がない問題
yumにプロキシが通っているかチェックする。yumのプロキシは…
/etc/yum.confのなかに以下のようにプロキシを書き込む。（場所はどこでもよい）
proxy=http://proxy.name.net:80/
＊ネットワーク構築のトラブルシューティングも参照してください．

＊yumが以下のような形で停止してしまう問題
Total download size: 162 k
Is this ok [y/N]: y
Downloading Packages:
(1/2): xinetd-2.3.14-10.e 100% |=========================| 124 kB 00:01
(2/2): rsh-server-0.17-38 100% |=========================| 39 kB 00:00
warning: rpmts_HdrFromFdno: Header V3 DSA signature: NOKEY, key ID e8562897

この場合には自力でGPG-Keyをインストールしてやるとよい。まず以下のサイトからCentOS5用のGPG-Keyをダウンロードしてくる。
http://mirror.centos.org/centos/5/os/i386/RPM-GPG-KEY-CentOS-5
そして、以下のコマンドにてGPG-Keyをインポートする。
#rpm --import RPM-GPG-KEY-CentOS-5
この作業により、yumでGPG-Keyインポートの際フリーズするのを回避できる。
＊ネットワーク構築のトラブルシューティングも参照してください．

3. NFSのインストールと設定

A. CentOS5の場合は、基本的に最初からインストールされているはずですが、インストールされていなければ次のコマンドにてインストール。（インストールされているかどうかは#/etc/rc.d/init.d/nfs statusと実行してみればわかります。）
# yum install nfs-utils (◎)

B. インストールのあとはNFSの設定をします。まずはマスターノードの設定です。/etc/exportsを次のように編集します。
# vi /etc/exports (●)
/home/user1 192.168.1.0/255.255.255.0(rw)
ここで/home/user1はクラスターユーザーのホームディレクトリを指し、(rw)はすべてのユーザーにread・writeを許可するという意味です。
最後に設定を読み込ませてマスターノードの設定は完了です。
# /usr/sbin/exportfs -r (●)

C. つぎにスレーブノードの設定をします。fstabを編集し、次の内容を書き加えてください。
# vi /etc/fstab (○)
test1:/home/user1 /home/user1 nfs defaults,rw 0 0
＊ここで/home/user1のようにクラスターユーザーのディレクトリまで指定してください。でなければ、スレーブノード上に存在する他のユーザーのディレクトリまで消去されてしまうことになります。（それでいいという場合は別ですけど…）

D. 上記の作業に加えてiptablesのフィルタリングがoffになっていることを確認してください。そしてnfsおよびportmapのOS起動時設定をしてサービスを再起動します。ここの作業はすべてのノードで必要です。
# /sbin/chkconfig portmap on （◎）
# /sbin/chkconfig nfs on （◎）
# /etc/init.d/portmap restart （◎）
# /etc/init.d/nfs restart （◎）

最後に、スレーブノードで設定したディレクトリをマウントしてください。
mount /home/user1 （○）

>> つづく

2009年08月21日17:02

カテゴリ: 気象学; Linux

WRF向けPCクラスターマシンの構築法　（第1回）

今回から4回に分けて、intel compiler環境でWRFを使用することを目的に見据えた、PCクラスターマシンの構築方を説明していきます。（もちろんWRF以外の用途にも使えます。）

第1回：概略とネットワークの設定
第2回：rshとNFSの設定
第3回：NISとMPIの設定
第4回：Stack Sizeの設定、ネットワークの2重化とベンチマーク

といったコンテンツです。
WRFのインストール方法に関しては以下を参照してください。

>> WRFのインストール方法へ

はじめに

PCクラスターマシンとはパソコンを数台つなげて協調して計算させる方法です。1台のパソコンでは計算負荷が大きい場合や、そもそもメモリ容量が足りない場合などに有効な手段です。ここで説明するクラスターマシンの構成が図①、図②に示されています。どちらもホストマシンが1台とクライアントマシンが2台という構成です。ホストマシンを親ノード、クライアントマシンを子ノードと呼ぶこともあり拡張する場合は、子ノードを増やしていきます。①はもっともポピュラーな形でそれぞれのPCがハブスイッチを介して接続されており、ホストマシンから外部通信が伸びています。②は①を強化した形になっており通信の込むスイッチを取り外し、各マシン同士を1対1で接続するとともに、通信経路を2重化し高速通信を実現しています。

コンテンツ

0. OSのインストール
1. ネットワークの構成
2. rshのインストールと設定
3. NFSのインストールと設定
4. NISのインストールと設定
5. MPIのインストールとMPDの起動確認
6. Stack Size Limitの解除
App1. ネットワークの2重化
App2. ベンチマーク

＊アウトライン

PCクラスターマシンの構築には第0段階として、すべてのノードにOS、目的の計算に必要なコンパイラやライブラリ関係をすべてのノードにインストールします。第1にマスターノードには外部アクセスと内部アクセス用のipアドレス、スレーブノードには内部アクセス用のipアドレスを設定しノード間通信を構築します。第2にノード間で自由にログインしたりコマンドを実行できる環境を整えるためrsh（リモートシェル）をインストールします。第3にノード間でファイルを共有できるようにするためNFS（ネットワークファイルシステム）をインストールします。第4にノード間をパスワードなしでログインできるようにするためNIS（ネットワーク？）をインストールし、最後、第5段階として共有メモリ型並列計算ライブラリ体系、MPIをインストールします。以上がこの後説明していく作業のアウトラインです。

＊注意

注意1：ここで説明する内容は以下のマシンで動作確認されたものです（表示は1ノードあたり）。
構成例１
CPU : Intel Pentium4 541J Memory : Elpida DDR2-400 (合計2GB)
OS : CentOS5.2 i386 NIC : Intel Gibabit Ethernet Controller 82540EM & Realtek RTL-8139
構成例2
CPU : AMD Opteron 8378 Memory : DDR2-800 (合計64GB)
OS : CentOS5.2 x86-64 NIC : Intel Gibabit Ethernet Controller 82540EM

注意2：構成図②の接続方法でクラスターマシンを構築するにはネットワークの構成を変更するだけです。変更点は“1. ネットワークの構成”にて(＊)印で示し、変更方法についてはApp1にて説明していますので参考にしてください。

注意3：以降の説明では本文を黒、注意の文を赤、プロンプト部を青、その他の文を緑のフォントを使って表記します。また●はホストのみ、○はクライアントのみ、◎はホスト・クライアント両方で行う作業であることを示します。

0. OSのインストール

A. インストールするOSの種類はLinuxであれば本来各ノード間でバラバラでもかまいません。しかし、インストールやメンテナンス上統一することをおすすめします。またNetwork File System(NFS)をサポートするためカーネル2.6xのOSを使用することをお薦めします。たとえばCentOSでは4.x以降のものを使用するとカーネル2.6xとなります。CentOS3系のものか、それ以前のOSを使用するとカーネルの再構築が必要になるそうですのでご注意ください。ここではCentOS5.2を使用します。i386でもx86-64でもマシンが対応していれば問題ありません。OSのインストールは通常通り行えばOKですが、次の点に注意しておくと後の作業が楽になります。
＊インストール時に追加ソフトを選択するステップがありますが、このとき「今すぐカスタマイズする」を選択し、
「開発ツール」の下から4つ（日本語で進めている場合）；開発ツール、開発ライブラリ、レガシーのサポート、X環境の開発にチェックを入れインストールするようにしておく。

B. OSのインストールのあと、すべてのマシンにおいてIntel Compilerのインストールを行ってください。まず下記のサイトからIntel Compiler C++とFortranの非商用版をダウンロードし、圧縮ファイルを展開して/tmp以下などにコピーしておきます。
http://www.intel.com/cd/software/products/asmo-na/eng/219771.htm
次に，ライセンス取得時にインテルから送られてくるメールに添付されている，ライセンスを”/opt/intel/licenses” のなかにコピーしておいた上で，root権限にて./install.shとコマンドを打ちインストーラを起動しましょう．
あとは基本的にyesやacceptと入力していけばインストールが完了します。
最後に.bashrcに次のようにPATHを設定して終了です．
source /opt/intel/cce/10.1.012/bin/iccvars.sh （◎）
source /opt/intel/fce/10.1.012/bin/ifortvars.sh （◎）

＊intel compilerのPATHは必ず上記のシェルスクリプトを使用して設定してください。自分でパスを書くと共有ライブラリを発見できない等のエラーが発生する場合があります。

C. クラスター化された状態で使用するユーザーを設定しておいてください。すべてのノードに同様の名前・設定でユーザーが登録されている必要があります。新たにユーザーを作る場合は次のコマンドで追加できます。
# /usr/sbin/useradd user1
この段階ではパスワード無しでuser1にログインできます。そこで次のコマンドでパスワードを付けます。
# passwd user1
その他グループや初期起動シェルの設定をするには、/etc/passwdを以下のように編集すればいいです。設定例は次のようになります。以降、user1をクラスターのユーザーとして説明していきます。
user1:x:501:501::/home/user1:/bin/bash

D. 以降の作業でyumを多用するので以下のプラグインをインストールしておくと便利です。（yumでのインストールが必須というわけではありません。ご自分でソースをダウンロードしてコンパイルされても結構です。）
#yum install yum-fastestmirror （◎）

1. ネットワークの構成

A. 今回のクラスター化にはEthernetを利用してPC間を接続します。そのためにホストマシン、クライアントマシンを図①のようにLANケーブルを用いて接続してください。その上で各マシンにipアドレスの設定をします。ipアドレスの割り当てはOSのインストール時に行っておいても結構ですし、後から変更することもできます。ホストマシンは内部通信（ホスト-クライアント間通信）と外部通信（グローバルネットワーク）両方の設定をし、クライアントは基本的に内部通信向けの設定だけをします。
(＊)内部通信の2重化を行う場合は、以下の説明の中で外部通信に関する設定だけを行い第4回のAppの節に説明されている設定を行ってください。

B. 以下にipアドレスの設定例を示します。
ホスト：内部 ip=192.168.1.2 / Netmask=255.255.255.0
/ Gateway=192.168.1.255 / Network=192.168.1.0
　　　　外部 ip=10.177.55.32
クライアント1：内部 ip=192.168.1.3 / Netmask=255.255.255.0
/ Gateway=192.168.1.255 / Network=192.168.1.0
クライアント2：内部 ip=192.168.1.4 / Netmask=255.255.255.0
/ Gateway=192.168.1.255 / Network=192.168.1.0
ホストのみ内部通信と外部通信の両方のアドレスが設定されていることに注意してください。
また内部通信向けのipアドレスは各マシン間でドメイン(ipアドレスはドットで区切られた4つの数字の組み合わせでできていますが、これの前3つを指します。)をそろえておいてください。

C. 上記を参考にipアドレスの振り分けを決定したら、実際にipアドレスを設定します。たとえばデバイスeth0のアドレスを設定するには、/etc/sysconfig/network-scripts/ifcfg-eth0というファイルを編集します。”…/ifcfg-eth0”の“eth0”にはeth0やeth1、eth2といったEthernetのデバイス名が入ります。マシン上にネットワークカードが2つある場合にはeth0とeth1の2つのデバイスが認識されているはずです。ちなみにホストマシンのeth0とeth1への内部と外部の割り当てが下記と逆でも構いません。（デバイスが認識されていない場合はE.トラブルシューティングを参照）グローバルネットワーク向けの設定は固定ipを自分で指定せず、DHCPに設定させてもかまいません。

＜内部通信＞
#vi /etc/sysconfig/network-scripts/ifcfg-eth0 （◎）

# Intel Corporation 82540EM Gigabit Ethernet Controller
DEVICE=eth0
BOOTPROTO=none
HWADDR=xx:xx:xx:xx:xx:xx
ONBOOT=yes
NETMASK=255.255.255.0
IPADDR=192.168.1.2
GATEWAY=192.168.1.255
NETWORK=192.168.1.0
TYPE=Ethernet
USERCTL=no
IPV6INIT=no
PEERDNS=yes

＜外部通信＞
#vi /etc/sysconfig/network-scripts/ifcfg-eth1 （●）

# Intel Corporation 82540EM Gigabit Ethernet Controller
DEVICE=eth1
BOOTPROTO=none
HWADDR=xx:xx:xx:xx:xx:xx
ONBOOT=yes
TYPE=Ethernet
NETMASK=255.255.255.55
IPADDR=10.177.55.32
GATEWAY=10.177.55.255
USERCTL=no
IPV6INIT=no
PEERDNS=yes

＊内部通信の記述の際は特に、
BROADCAST=192.168.1.255 / IPADDR=192.168.1.2
NETMASK=255.255.255.0 / NETWORK=192.168.1.0
以上が揃っていることに注意してください。

D. 編集ができたら以下のコマンドにてネットワークを再起動します。
# /etc/init.d/network restart （◎）
ネットワークの起動に成功したら（failedとかが出なければ成功です）、ホストからクライアントへ、またクライアントからホストへpingを送信し、ネットワークが確立しているかチェックしてください。

E. トラブルシューティング
＊ネットワークカードが認識されない問題
1). /sbin/lspci –v　を実行してネットワークカードがOSに認識されているか確認してください。ここで何も表示されない場合は深刻です。認識可能なカードに取り替えるか新たにカードを挿す必要があります。
2). (1)で認識されていた場合はドライバがインストールされていない可能性が高いです。各ベンダーのホームページから対応するドライバをダウンロードしてインストールしてください。そしてネットワークを再起動すればデバイスが認識されるはずです。

＊固定IPを割り当てている場合に外部通信経路を通じてwebにアクセスできない問題
（ただしweb以外の通信はうまくいく）
これはDHCPサーバがMACアドレスによるアクセス制御を行っている場合に見られる問題です。この場合にはDHCPサーバに登録された該当MACアドレスを一度消去するか、webアクセス時だけDHCPによってIPアドレスを割り当てるようにするしかありません。

>>　つづく

2009年08月21日16:06

カテゴリ: 気象学; Linux

WRFのインストール - AMDベースのマシンへの最適化

今回はK10世代のAMDベースのマシンにWRFをインストールする時の注意を紹介します。
＊K10ファミリーとはBarcelona, Agena以降のAMD Quad-Coreシリーズ、もしくはその制限版のCPUを指します。商品名としては、Quad-Core Opteron (8xxx or 22xx or 23xx)、Phenom、PhenomⅡなどです。

WRFの全体的なインストール方法は以下を参照してください。
>> 並列化WRFのインストール方法
WRF向けPCクラスターの構築方法

ここで紹介するAMDベースマシンのスペックは以下のものです。
CPU : PhenomⅡ X4 940 BE (3.00GHz)
Chipset : AMD780G + SB700 (ASUS motherboard　M3Aシリーズ)
Memory : DDR2-800 2GB ×4 = 8GB
HDD : SATA2　/　DVD-Drive : SATA

CPU : Opteron 8378 (2.40GHz) ×4；32-Core
Chipset : nVIDIA MCP55 Pro + AMD8132 (Supermicro)
Memory : DDR2-800 2GB ×32 = 64GB
HDD : SATA2　/　DVD-Drive : SATA
インストールしたOSはCentOS 5.2 (64bit)です。
しかし、インストール時に･･･
$ linux pci=nommconf
をつけなければ、インストールはできますが、OSの起動時に“BIOS ERROR”といった趣旨のエラーメッセージが表示されます。これは気持ち悪すぎので回避しました。(BIOSの更新もし、Windowsでは正常に認識されていたためハードウェア的な問題ではないでしょう。カーネルがチップに非対応だと考えられます。)
PhenomⅡマシンでは、それでもMTRRにエラーらしき状況が生じ、回復した旨を知らせるメッセージがログに残っていました。今のところ不安定になるわけでもなく動作しているため、こちらに関しては無視しています。また、Suse Linuxはインストーラの立ち上げに失敗しました。

1)．コンパイラー
intel compilerを使用する場合はintel64向けを使用する。
とにかく、rootのホームにもintel compilerのパスを通すのを忘れないようにすること。

GCCコンパイラーはversion 4.2 (もしくは4.1.2)からK10世代のCPUをサポートしています。

2)．netCDF
netcdfは3.6.3でインストールを確認。（netCDFはversion 3.6.3をご使用ください。version 4.xにはWRFは対応しておらず、version 3.6.2以下ではラージファイルの取り扱い時にエラーが発生するようです。）
PhenomⅡでは…
export CC=icc
export CXX=icpc
export CFLAGS='-O3 -static -m64'
export CXXFLAGS='-O3 -static -m64'
export F77=ifort
export FFLAGS='-O3 -static -m64'
export CPP='icc -E'
export CXXCPP='icpc -E'
./configure --prefix=/usr/local/netcdf-3.6.3
以上の設定でnetcdfをコンパイルする。

Opteronでは…
export CC=icc
export CXX=icpc
export CFLAGS='-O3 -mp -static -unroll0 -xW -fno-alias -ip'
export CXXFLAGS='-O3 -mp -static -unroll0 -xW -fno-alias -ip'
export F77=ifort
export FFLAGS='-O3 -mp -static -unroll0 -xW -fno-alias -ip'
export CPP='icc -E'
export CXXCPP='icpc -E'
export CPPFLAGS='-DNDEBUG -DpgiFortran'
./configure --prefix=/usr/local/netcdf-3.6.3
以上の設定でnetcdfをコンパイルする。

3)．openMPI
openmpiは、version 1.2.9とversion 1.3.1でインストールを確認。ただし、version 1.3.1はwrfの実行時にsegmentation faultで落ちてしまいました。ちゃんと走ったという事例もあるのでチャレンジしてみると良いかもしれません。1.3.1の方が少し計算が速そうですので。

PhenomⅡの場合は…
./configure CC=icc CXX=icpc F77=ifort FC=ifort --prefix=/usr/local/openmpi-1.3.1
Opteronの場合は…
./configure CC=icc CXX=icpc CFLAGS='-O3 -m64' F77=ifort FC=ifort \
FFLAGS='-O3 -m64' --prefix=/usr/local/openmpi-1.2.9

以上のコマンドによってコンフィグし、suにてver 1.2.9の場合make install 、
ver 1.3.1の場合make all installを実行する。

4)．WRF
WRFのインストールは、
$ ./configure
$ ./compile em_real >& compile.log
で基本的にOKですが、いくつか注意があります。

a). configure時の注意
そのままではラージファイルのサポートが無く、configure時に
NetCDF users note:
This installation of NetCDF supports large file support. To enable large file
support in NetCDF, set the environment variable WRFIO_NCD_LARGE_FILE_SUPPORT
to 1 and run configure again. Set to any other value to avoid this message.
とメッセージが出るので、以下のように設定した後、configureを行うことをおすすめします。（inputファイル、outputファイルともに4GB付近に達しない場合はコレがなくとも問題はありません。）
export WRFIO_NCD_LARGE_FILE_SUPPORT=1
configure時のアーキテクチャはAMD64, Linux PC, dmparを選択してください。（dm+smでは問題を生じることがありますし、特に高速化しません。）

b). compile時の注意
AMD系CPUに向けた最適化としてconfigure.wrfのファイルを編集します。
intel compilerでのfortranのオプティミゼーションは、PhenomⅡ、Opteronの両方で、
FCOPTIM　=　-O3 -m64 -unroll0 -xW -fno-alias -ip
gccのfortranのオプティミゼーションは･･･
FCOPTIM　=　-O3 -march=amdfam10 -ftree-vectorize -ftree-loop-linear -funroll-loops
というようにconfigure.wrfのファイルを編集してください。（ここの最適化は必須ではありません。もしコンパイルに失敗する場合はFCOPTIM　=　-O2としてcompileを行ってみてください。）

2009年08月21日16:02

カテゴリ: 気象学; Linux

WRFインストール - socket487系CPU向けの設定

今回はintel socket487系CPUを使用したマシンへWRFをインストールする際の注意を紹介します。
たとえば Pentium4 540 (3.20GHz)といったCPUです。
WRFインストールに関する全体的な情報はこちらをご覧ください。

>> 並列化WRFのインストール方法
WRF向けPCクラスターの構築方法

0)．OSのインストール
socket487系のCPUの場合32bitのOSしか受け付けないので注意しましょう。ここで試したのは、CentOS 5.2 i386でインストール時のオプションは何も無しでした。

1)．コンパイラー
intel compiler C++ and Fortran version 10.1.022にて問題なくインストールできることを確認しました。こちらも32bit版(IA32)を使用することに注意してください。

2)．netCDF
netcdfは3.6.3でインストールを確認。（netCDFはversion 3.6.3をご使用ください。version 4.xにはWRFは対応しておらず、version 3.6.2以下ではラージファイルの取り扱い時にエラーが発生するようです。）以下の設定にてコンパイルしてください。こちらでは以下の設定以外ではmake checkでいくつかのテストに失敗しています。ご注意ください。

export CC=icc
export CXX=icpc
export CFLAGS='-O3 -xW -ip -no-prec-div -static'
export CXXFLAGS='-O3 -xW -ip -no-prec-div -static'
export F77=ifort
export FFLAGS='-O3 -xW -ip -no-prec-div -static'
export CPP='icc -E'
export CXXCPP='icpc -E'
./configure --prefix=/usr/local/netcdf-3.6.3

3)．OpenMPI
OpenMPIは、version 1.2.9でインストールを確認。
./configure CC=icc CXX=icpc F77=ifort FC=ifort --prefix=/usr/local/openmpi-1.2.9
以上のコマンドによってコンフィグしたのちmake、そしてroot権限にてmake installを実行する。

4)．WRF
WRFのインストールは、
$ ./configure
$ ./compile em_real >& compile.log
で基本的にOKですが注意点があります。

＊configure時の注意
socket487系CPUに向けた最適化としてconfigure.wrfのファイルを編集します。
FCOPTIM　=　-O3 -unroll0 -xW -fno-alias -ip
というようにconfigure.wrfのファイルを編集してください。（ここの最適化は必須ではありません。もしコンパイルに失敗する場合はFCOPTIM　=　-O2としてcompileを行ってみてください。）

以上です。

2009年08月09日23:23

カテゴリ: 日記

AHA体験

今日は普通の日記です。
数年前に話題になり、ゲームも発売されるなどして注目された、脳の活性化。
そのキーワードは「アハ体験」だった。

同時にこの数年、政界が日本が体験した「アハ体験」があると思う。
それは小泉元総理を引き継いだ三人衆…
A：阿部
H：福田
A：麻生
これを合わせれば「AHA体験」というわけです。

これを期に国民は気づかなければならない。
彼らはプライドや自尊心があるのかないのか、もしくはありすぎるのか何とも個人の思惑を表面に押し出した活動をなされてきた。

一人は突然もう無理と言い出し、もう一人は君とは私は違うんだ宣言、そしてこの２人の後遺症のためか、周りに辞めろといわれているのに私はまだまだいけると強引に。

やることなすこと、自分勝手。
総理大臣というものは極論的には個人という性質を全く持たない人であるべきで、自分イコール国であり、すべての決断が常に国の決断と解釈されることを重々自覚していなければならないし、その上での政策が行われるべきである。

次の選挙で勝つための布石のための活動を期待されているわけではない。
確かに野党にもコレといった人材はいないだろう。
与党の政策に対する批判も中途半端ではある。

しかし、今の日本に求められていることは、ある意味でのリセットだろう。
野党に政策能力があろうがなかろうが交代してみなくてはならない。
与党だって政策能力が欠如していることは、AHA一族の活動をみて明らかだ。
政府・役所といった組織の構成を根本から見直せる可能性を含んでいる選択肢を選ぶべきだ。
もし政権交代が起こった時に現在の組織形態の見直しが図られる可能性が高いことは警察や検察が自らの行動を持って示してくれている。

AHA体験のしっぺ返しがくるのがいつになるかわからないが（もうとっくに始まってるだろうが）、そのときにアハハと笑う人が何人いるだろうか。

先月、衆議院が解散し、40日という長期の選挙戦が開始されたが、果たしてその結末やいかに。