VMware環境でのPRIMECLUSTERのクラスタ構築手順は以下のようになります。
“5.1.1 CF、CIPの設定”を参照し、ゲストOSでCF、CIPの設定を行ってください。
生存優先度については、“5.1.2.1 生存優先度 ”を参照してください。
VMware環境では、異常発生時、VMware vCenter Serverと連携して、異常を検出したゲストOS の仮想マシンの電源を停止することで業務の切替えを実現します。
ここでは、SA_vwvmrシャットダウンエージェントをシャットダウン機構に設定する方法について説明します。
注意
下記の操作はすべてのゲストOS(ノード)で実行してください。
パスワードの暗号化
sfcipher コマンドを実行し、VMware vCenter Server へアクセスするためのパスワードを暗号化します。
sfcipher コマンドの使用法については、sfcipher のマニュアルページを参照してください。
# sfcipher -c
Enter User's Password:
Re-enter User's Password:
D0860AB04E1B8FA3シャットダウンエージェントの設定
シャットダウンエージェントを設定します。
クラスタを構成するすべてのゲストOS（ノード）で/etc/opt/SMAW/SMAWsf/SA_vwvmr.cfg を以下のような内容で作成します。
# コメント行 CFName: cfname1 VMName: vmname1 vCenter_IP: ipaddress1 vCenter_Port: port user: user passwd: passwd # コメント行 CFName: cfname2 VMName: vmname2 vCenter_IP: ipaddress2 vCenter_Port: port2 user: user passwd: passwd
cfnameX ：クラスタホストのCFノード名を指定します。 vmnameX ：クラスタホストが動作している仮想マシン名を指定します。 ipaddressX ：仮想マシンを管理するVMware vCenter Serverの IP アドレスを指定します。 指定可能なアドレス形式は、IPv4アドレスおよびIPv6アドレスです。 IPv6のリンクローカルアドレスは使用できません。 IPv6アドレスを指定する場合は、角括弧[ ]で囲んでください。 (例 [1080:2090:30a0:40b0:50c0:60d0:70e0:80f0]) portX ：VMware vCenter ServerのPort番号を指定します。 デフォルト値(443)を使用する場合は、パラメタを指定せず、「vCenter_Port:」と記載してください。 user ：“G.2.1.1 関連ソフトウェアのインストールと設定”で作成したVMware vCenter Serverのユーザを指定します。 シングルサインオン(SSO)使用時は、ユーザ@SSOドメイン名を指定します。 passwd ：“user”で指定したアカウントのログインパスワードです。 1．で暗号化したパスワードを指定します。
注意
各項目の順序は変更しないでください。
仮想マシン名(項目VMName:)が日本語を含む場合、文字コードをUTF-8にして記載してください。
半角空白と全角空白は異なる文字として扱います。ファイル中に空白を挿入する場合、半角空白を使用してください。
行頭が「#」で始まる行のみコメントとして扱います。行中の「#」は設定値の一部として扱います。
例）以下の記載の場合、仮想マシン名を「vm1 # node1's virtual machine.」として扱います。
～ VMName: vm1 # node1's virtual machine. ～
SA_vwvmr.cfg の内容はすべてのゲストOS で同一にしてください。同一でない場合、シャットダウン機構が正常に動作できなくなる場合があります。
例
シングルサインオンを使用する場合
各仮想マシンを管理する VMware vCenter Server の IP を 10.20.30.40、Port番号はデフォルト値とし、VMware vCenter Server への接続ユーザが Administrator、SSOドメインがvsphere.local、“1. パスワードの暗号化”で暗号化したパスワードがD0860AB04E1B8FA3 の場合
## ## node1's information. ## CFName: node1 VMName: vm1 vCenter_IP: 10.20.30.40 vCenter_Port: user: Administrator@vsphere.local passwd: D0860AB04E1B8FA3 ## ## node2's information. ## CFName: node2 VMName: vm2 vCenter_IP: 10.20.30.40 vCenter_Port: user: Administrator@vsphere.local passwd: D0860AB04E1B8FA3
シングルサインオンを使用しない場合
各仮想マシンを管理する VMware vCenter Server の IP を 10.20.30.40、Port番号はデフォルト値とし、VMware vCenter Server への接続ユーザが root、“1. パスワードの暗号化”で暗号化したパスワードがD0860AB04E1B8FA3 の場合
## ## node1's information. ## CFName: node1 VMName: vm1 vCenter_IP: 10.20.30.40 vCenter_Port: user: root passwd: D0860AB04E1B8FA3 ## ## node2's information. ## CFName: node2 VMName: vm2 vCenter_IP: 10.20.30.40 vCenter_Port: user: root passwd: D0860AB04E1B8FA3
シャットダウンデーモンの設定
クラスタを構成するすべてのゲストOS（ノード）で/etc/opt/SMAW/SMAWsf/rcsd.cfgを以下のような内容で作成します。
CFNameX,weight=weight,admIP=myadmIP:agent=SA_vwvmr,timeout=timeout CFNameX,weight=weight,admIP=myadmIP:agent=SA_vwvmr,timeout=timeout
CFNameX ：クラスタホストのCFノード名を指定します。 weight ：SFのノードの重みを指定します。 myadmIP ：CFNameXの管理LANのIPアドレスを指定します。 指定可能なアドレス形式は、IPv4アドレスおよびIPv6アドレスです。 IPv6のリンクローカルアドレスは使用できません。 IPv6アドレスを指定する場合は、角括弧[ ]で囲んでください。 (例 [1080:2090:30a0:40b0:50c0:60d0:70e0:80f0]) ホスト名を指定する場合は、/etc/hostsに記載されていることを確認してください。 timeout ：シャットダウンエージェントのタイムアウト時間(秒)を指定します。 ここでは、45を設定します。
注意
rcsd.cfgファイルの内容はすべてのゲストOS(ノード)で同一にしてください。同一でない場合誤動作します。
例
設定例を以下に記載します。
node1,weight=1,admIP=10.0.0.1:agent=SA_vwvmr,timeout=45 node2,weight=1,admIP=10.0.0.2:agent=SA_vwvmr,timeout=45
シャットダウン機構の起動
シャットダウン機構が起動済みか確認してください。
# sdtool -s
シャットダウン機構が起動済みの場合、以下を実行してシャットダウン機構を再起動してください。
# sdtool -r
シャットダウン機構が起動していない場合、以下を実行してシャットダウン機構を起動してください。
# sdtool -b
シャットダウン機構の状態確認
シャットダウン機構の状態がInitWorked またはTestWorkedとなっているか確認してください。TestFailed またはInitFailed が表示された場合は、シャットダウンデーモンの設定に誤りがないか確認してください。
# sdtool -s
ここでは、SA_icmpシャットダウンエージェントをシャットダウン機構に設定する方法について説明します。
注意
下記の操作はすべてのゲストOS(ノード)で実行してください。
シャットダウンエージェントの設定
シャットダウンエージェントを設定してください。
クラスタを構成するすべてのゲストOS（ノード）で/etc/opt/SMAW/SMAWsf/SA_icmp.cfgを以下のような内容で作成します。
TIME_OUT=value cfname:ip-address-of-node:NIC-name1,NIC-name2
value ：ノードの生存を確認する時間（秒）を指定します。推奨値は5（秒）です。 cfname ：CFノード名を指定します。 ip-address-of-node ：cfnameのノードの生存確認に使用する以下のいずれかのネットワークの IPアドレスを指定します。 - クラスタインタコネクト（CIPのIPアドレス） - 管理LAN - 業務LAN 複数のネットワークを使用して生存確認することも可能です。その場合は、 使用するネットワークごとに行を追加します。 指定可能なアドレス形式は、IPv4アドレスおよびIPv6アドレスです。 IPv6のリンクローカルアドレスは使用できません。IPv6アドレスを指定する場合は、 角括弧[ ]で囲んでください。 (例 [1080:2090:30a0:40b0:50c0:60d0:70e0:80f0]) クラスタシステムを構成する全ゲストOS(ノード)について記載してください。 確認に使用するネットワークの構成によって、以下のように動作が異なりますので、 内容を精査の上、選択してください。 ・クラスタインタコネクトのみを設定する場合 クラスタインタコネクトで通信できない場合、運用ノードが稼働していたとしても、 即時に業務を自動切替えします。 なお、この設定では、I/Oフェンシング機能により共用ディスクへのI/Oは抑止しますが、 ネットワークのIPアドレスが一時的に重複する可能性があります 旧運用系が停止するまで(約25秒)はIPアドレスの重複により、クライアントからの アクセスが旧運用系に接続される可能性があります。 ・クラスタインタコネクト以外の経路１つのみ、もしくは複数の経路を設定する場合 設定された全ての経路で通信し生存確認を行います。 いずれの経路でもノードの稼働が確認できなかった場合、即時に業務を自動切替えします。 いずれかの経路でノードの稼働が確認できた場合(一時的な高負荷や通信路の間欠故障 など)、業務の自動切替えを抑止します(LEFTCLUSTER状態)。 この場合、オペレータが異常による業務への影響を確認後、LEFTCLUSTER状態を解消し、 必要に応じて業務の切替えを行います。 なお、LEFTCLUSTER状態の場合、以下の機能が動作せず、業務に影響を与える場合が あります。速やかにLEFTCLUSTER状態を解消してください。 (1) 一部のコマンド 以下のコマンドが正常に実行できません。 -クラスタノード間でコマンド実行(clexec) -クラスタノード間でファイル配布(clsyncfile) -オブジェクト(*1)の構成および状態情報の表示(sdxinfo) (*1) クラス、グループ、ディスク、ボリューム(スライス)が対象です。 (2) 共用ディスクに対する操作 共用ディスクに対する操作を伴う以下が正常に実行できません。 -Symfowareによるアーカイブログ監視/切替、DBスペース/監査ログの作成、 リカバリコマンド、ダンプコマンド、ユーティリティコマンドの実行 -等価性回復コピー(I/Oエラー発生後の自動復旧時に実行されます) -クラスタアプリケーションに含まれるGDSリソースのOnline/Offline操作 -GUIによるGDS構成の表示、操作 -GDSのコマンド実行 ・クラス操作(sdxclass -R) ・ディスク操作(sdxdisk -M(*2), -R(*2), -C, -D) ・グループ操作(sdxgroup -C, -D, -R) ・ボリューム操作(sdxvolume -M, -R, -N, -F, -S) ・スライス操作(sdxslice -M, -R, -N, -F, -T) ・ディスク交換(sdxswap -O(*2), -I(*2)) ・等価性回復コピー(sdxcopy -B, -C, -I, -P) ・故障したオブジェクトの復旧(sdxfix -C(*2), -D, -V) ・オブジェクトの属性値変更(sdxattr -C(*2), -G, -D, -V, -S) ・オブジェクト構成の操作(sdxconfig Remove(*2), Restore(*2), Backup) (*2) 共用ディスクを登録しているローカルクラスが対象です。 -共用ディスクに対するI/Oエラー NIC-nameX ：ip-address-of-node に対して、ノードの生存確認に使用する自ゲストOS（ノード）の ネットワークインタフェースを指定します。複数存在する場合は、「,」で区切ります。
注意
記載するネットワークインタフェースについて
GLSで2重化している場合は、冗長化しているネットワークインタフェースをすべて記載してください。(例 eth0,eth1)
NICをbondingしている場合は、bondingしているデバイスをIPアドレスの後に記載してください。(例 bond0)
クラスタインタコネクトを記載する場合は、クラスタインタコネクトの全パスで使用するネットワークインタフェースをすべて記載してください。(例 eth2,eth3)
引継ぎIPアドレス（引継ぎ仮想インタフェース）は使用しないでください。
例
複数のESXiホスト上のゲストOS間クラスタ（2ノード構成）の設定例を以下に示します。
クラスタインタコネクト(eth2,eth3)を設定した場合
TIME_OUT=5 node1:192.168.1.1:eth2,eth3 node2:192.168.1.2:eth2,eth3
業務LAN(GLSで2重化(eth0,eth1))と管理LAN(eth4)を設定した場合
TIME_OUT=5 node1:10.20.30.100:eth0,eth1 node1:10.20.40.200:eth4 node2:10.20.30.101:eth0,eth1 node2:10.20.40.201:eth4
シャットダウンデーモンの設定
クラスタを構成するすべてのゲストOS（ノード）で/etc/opt/SMAW/SMAWsf/rcsd.cfgを以下のような内容で作成します。
CFNameX,weight=weight,admIP=myadmIP:agent=SA_icmp,timeout=timeout CFNameX,weight=weight,admIP=myadmIP:agent=SA_icmp,timeout=timeout
CFNameX ：クラスタホストのCFノード名を指定します。 weight ：SFのノードの重みを指定します。 I/Oフェンシング機能使用時は無効のため、1を設定してください。 myadmIP ：CFNameXの管理LANのIPアドレスを指定します。 指定可能なアドレス形式は、IPv4アドレスおよびIPv6アドレスです。 IPv6のリンクローカルアドレスは使用できません。 IPv6アドレスを指定する場合は、角括弧[ ]で囲んでください。 (例 [1080:2090:30a0:40b0:50c0:60d0:70e0:80f0]) ホスト名を指定する場合は、/etc/hostsに記載されていることを確認してください。 timeout ：シャットダウンエージェントのタイムアウト時間(秒)を指定します。 以下の値を設定します。 (TIME_OUT + 2)×確認に使用する経路の数、または、20 (値の大きな方を指定) TIME_OUT はSA_icmp.cfgに記載したTIME_OUTの値を指します。 - 1経路(管理LAN 、業務LAN、クラスタインタコネクトから1つ)で生存確認する場合 (1) TIME_OUTが18以上の場合 TIME_OUT + 2 (2) TIME_OUTが18未満の場合 20 - 2経路(管理LAN、業務LAN、クラスタインタコネクトから2つ)で生存確認する場合 (1) TIME_OUTが8以上の場合 (TIME_OUT + 2)×2 (2) TIME_OUTが8未満の場合 20 - 3経路(管理LAN、業務LAN、クラスタインタコネクトから3つ)で生存確認する場合 (1) TIME_OUTが5以上の場合 (TIME_OUT + 2)×3 (2) TIME_OUTが5未満の場合 20
注意
rcsd.cfgファイルの内容はすべてのゲストOS(ノード)で同一にしてください。同一でない場合誤動作します。
例
2ノード構成、SA_icmp.cfgに記載したTIME_OUTの値が10、管理LANと業務LANで生存確認する場合の設定例を以下に記載します。
node1,weight=1,admIP=192.168.100.1:agent=SA_icmp,timeout=24 (※)
node2,weight=1,admIP=192.168.100.2:agent=SA_icmp,timeout=24 (※)
※ timeout = (10(TIME_OUT値) + 2) × 2(管理LAN,業務LAN) = 24
シャットダウン機構の起動
シャットダウン機構が起動済みか確認してください。
# sdtool -s
シャットダウン機構が起動済みの場合、以下を実行してシャットダウン機構を再起動してください。
# sdtool -r
シャットダウン機構が起動していない場合、以下を実行してシャットダウン機構を起動してください。
# sdtool -b
シャットダウン機構の状態確認
シャットダウン機構の状態がInitWorked またはTestWorkedとなっているか確認してください。TestFailed またはInitFailed が表示された場合は、シャットダウンデーモンの設定に誤りがないか確認してください。
# sdtool -s
“5.1.3 クラスタリソース管理機構の初期設定”を参照し、ゲストOSでクラスタリソース管理機構（以降、CRM）が管理するリソースデータベースを設定してください。
“5.2 故障リソース特定とオペレータ介入要求の設定”を参照し、故障リソース特定とオペレータ介入要求の設定を行ってください。