K.5.6 マルチユーザモードでの設定変更

複製先のクラスタシステムで、シングルユーザモードでの設定をすべてのノードで完了後に実施する作業です。

すべてのノードをマルチユーザモードで起動します。
クラスタ整合性モニタ(CIM)を設定
複製元で使用していたCFノード名を削除し、複製先で使用するCFノード名を設定します。
本設定は、クラスタシステムを構成する任意の1ノードで実施してください。
例）複製元で使用していたCFノード名（fuji2, fuji3)/複製先で使用するCFノード名（fuji4, fuji5)の場合
```
# rcqconfig -d fuji2 fuji3
# rcqconfig -a fuji4 fuji5
```
CF設定項目の確認
変更した、CFノード名、CIP/SysNode名、クラスタ名が正しいかどうかを確認します。
```
a.CFノード名、クラスタ名の確認
```
各ノードでcfconfig -g コマンドを実施し、設定したCFノード名、クラスタ名が正しいことを確認してください。
例)複製先で使用するCFノード名がfuji4、クラスタ名がPRIMECLUSTER2の場合
```
# cfconfig -g
fuji4 PRIMECLUSTER2 eth1 eth2
```
```
b.CIP/SysNode名の確認
```
相手ノードに設定したすべてのCIP/SysNode名と通信できることを確認してください。すべてのノードでそれぞれ確認してください。
例)相手ノードに設定したSysNode名が fuji5RMSの場合
```
# ping fuji5RMS
```
クラウド環境の場合、以下の確認も行ってください。
```
c.すべてのノードがクラスタに参入できていることの確認
```
任意の1ノードでcftool -nコマンドを実行し、すべてのノードがクラスタに参入できていることを確認してください。
例) CFノード名がfuji4、fuji5の2ノードの場合
Nodeにfuji4、fuji5の両方が表示されること、StateがUPであることを確認してください。
```
# cftool -n
Node  Number State Os     Cpu
fuji4 1      UP    Linux  EM64T
fuji5 2      UP    Linux  EM64T
```
```
d.CF over IPの設定が有効になっていることの確認
```
すべてのノードでcftool -dコマンドを実行し、CF over IPの設定が有効になっていることを確認してください。
例) クラスタインタコネクトが1本の場合
Deviceに/dev/ipX (Xは0～3。クラスタインタコネクトの本数だけ表示) のみが表示されることを確認してください。
```
# cftool -d
Number Device      Type  Speed  Mtu    State Configured Address
4      /dev/ip0    6      n/a   1392   UP    YES        0a.00.00.c9.00.00
```
上記a、bで問題があった場合、/etc/cip.cf、/etc/default/cluster、/etc/hosts に設定したCFノード名、CIP/SysNode名、クラスタ名に誤りがないか確認してください。
上記c、dで問題があった場合、クラスタインタコネクトのIPアドレス、IPデバイス、ブロードキャストアドレスに誤りがないかを確認してください。
誤りがあった場合、以下の手順を実施してください。
1. シングルユーザモードで起動してください。
2. “K.5.5 シングルユーザモードでの設定”の“4. CFノード名、CIP/SysNode名を変更”を再度実施し、ノードを再起動してください。
3. “K.5.6 マルチユーザモードでの設定変更”を再度実施してください。
クラスタリソース管理機構のクラスタ名を変更
クラスタリソース管理機構のクラスタ名を変更します。
本設定は、クラスタシステムを構成する任意の1ノードで実施してください。なお、各コマンドの最後の数値は1、2固定で実行してください。
例）複製先の新クラスタ名が"PRIMECLUSTER2"の場合
```
# /etc/opt/FJSVcluster/bin/clsetrsc -n PRIMECLUSTER2 1
# /etc/opt/FJSVcluster/bin/clsetrsc -n PRIMECLUSTER2 2
```
SFの設定変更
複製先の環境が、複製元のPRIMECLUSTERのバージョンでサポートされない場合、本手順は“K.5.11 PRIMECLUSTERのバージョンアップ”の後に実施してください。
- 物理環境間で複製する場合
  “5.1.2 シャットダウン機構の設定”を参照し、複製元と複製先で必要なシャットダウンエージェントの種類を確認します。
  複製元と複製先で必要なシャットダウンエージェントが異なる場合、SFの再設定を行います。“5.1.2 シャットダウン機構の設定”を参照し、複製先の構成に合わせてSFの設定を行ってください。
  複製元と複製先で必要なシャットダウンエージェントが同じである場合、以下の手順を実施してください。
1. PRIMERGYの場合、/etc/opt/SMAW/SMAWsf/SA_ipmi.cfgに記載しているCFノード名、IPMI(BMC,iRMC)のIPアドレスを変更します。
  例) 以下のように変更する場合
```
CFノード名      IPMI(BMC,iRMC)のIPアドレス
fuji2→fuji4    10.20.30.200→10.20.30.202
fuji3→fuji5    10.20.30.201→10.20.30.203
```
  ［変更前］
```
fuji2 10.20.30.200:root:D0860AB04E1B8FA3 cycle
fuji3 10.20.30.201:root:D0860AB04E1B8FA3 cycle
```
  ［変更後］
```
fuji4 10.20.30.202:root:D0860AB04E1B8FA3 cycle
fuji5 10.20.30.203:root:D0860AB04E1B8FA3 cycle
```
2. PRIMEQUEST 4000シリーズの場合、以下の手順を実施します。
  1. iRMCの設定を変更します。設定方法については、以下のマニュアルを参照してください。
    ・PRIMEQUEST 4000シリーズオペレーティングマニュアル
    また、PRIMECLUSTERがiRMCと連携するために、ユーザを作成する必要があります。PRIMECLUSTERを構成するすべてのPRIMEQUEST 4000上にiRMCを制御するためのユーザを必ず作成してください。
    IRMCを制御するためのユーザを作成するには、 iRMC Web インターフェースを使用してください。その際、以下のようなユーザを作成してください。
    ・[LAN チャネル権限]は「管理者」とする
    iRMC Web インターフェースの使用法については、以下のマニュアルを参照してください。
    ・FUJITSU Server PRIMEQUEST 4000 Series iRMC S6 Web インターフェース
  2. 複製元のCFノードで使用していたiRMCの情報を削除します。
    例) 複製元fuji2,fuji3のiRMCの情報を削除する場合
```
# /etc/opt/FJSVcluster/bin/clirmcsetup -d fuji2
# /etc/opt/FJSVcluster/bin/clirmcsetup -d fuji3
```
  3. clirmcsetup -a irmcコマンドを実行し、複製先のiRMC情報を登録します。clirmcsetupコマンドの使用法については、 clirmcsetupのマニュアルページを参照してください。
```
# /etc/opt/FJSVcluster/bin/clirmcsetup -a irmc irmc-user 
Enter User's Password: 
Re-Enter User's Password: 
```
    irmc-userとUser's Passwordには、手順a.で作成したユーザとパスワードを入力します。
  4. iRMC非同期監視デーモンが起動しているか確認します。
```
# /etc/opt/FJSVcluster/bin/clirmcmonctl 
```
    "The devirmcd daemon exists."が表示された場合、iRMC非同期監視デーモンは起動済みです。
    "The devirmcd daemon does not exist."が表示された場合、iRMC非同期監視デーモンは起動していません。
    以下を実行し、iRMC非同期監視デーモンを起動してください。
```
# /etc/opt/FJSVcluster/bin/clirmcmonctl start
```
3. PRIMEQUEST 3000シリーズの場合、以下の手順を実施します。
  1. iRMCの設定を変更します。設定方法については、以下のマニュアルを参照してください。
    ・PRIMEQUEST 3000シリーズ導入マニュアル
    また、PRIMECLUSTERがiRMCと連携するために、ユーザを作成する必要があります。PRIMECLUSTERを構成するすべてのPRIMEQUEST 3000上にiRMCを制御するためのユーザを必ず作成してください。
    iRMCを制御するためのユーザを作成するには、set irmc userコマンドを使用してください。
    set irmc userコマンドの使用法については、以下のマニュアルを参照してください。
    ・PRIMEQUEST 3000シリーズ運用管理ツールリファレンス(MMB)
  2. MMBの設定を変更します。設定方法については、以下のマニュアルを参照してください。
    ・PRIMEQUEST 3000シリーズ導入マニュアル
    また、PRIMECLUSTERがMMBと連携するために、RMCPのユーザを作成する必要があります。
    PRIMECLUSTERを構成するすべてのPRIMEQUEST 3000上にRMCPでMMBを制御するためのユーザを必ず作成してください。RMCPでMMBを制御するためのユーザを作成するには、MMB Web-UIにログインし、"Network Configuration"メニューの"Remote Server Management"画面から作成します。その際、以下のようなユーザを作成してください。
    ・[Privilege]は「Admin」とする
    ・[Status]は「Enabled」とする
    RMCPでMMBを制御するためのユーザの作成方法については、本体装置添付の以下のマニュアルを参照してください。
    ・PRIMEQUEST 3000シリーズ運用管理マニュアル
  3. 複製元のCFノードで使用していたiRMC/MMBの情報を削除します。
    例) 複製元fuji2,fuji3のiRMC/MMBの情報を削除する場合
```
# /etc/opt/FJSVcluster/bin/clirmcsetup -d fuji2
# /etc/opt/FJSVcluster/bin/clirmcsetup -d fuji3
```
  4. clirmcsetup -a irmcコマンドを実行し、複製先のiRMC情報を登録します。clirmcsetupコマンドの使用法については、clirmcsetupのマニュアルページを参照してください。
```
# /etc/opt/FJSVcluster/bin/clirmcsetup -a irmc irmc-user
Enter User's Password:
Re-Enter User's Password:
```
    irmc-userとUser's Passwordには、手順a.で作成したユーザとパスワードを入力します。
  5. clirmcsetup -a mmbコマンドを実行し、複製先のMMB情報を登録します。clirmcsetupコマンドの使用法については、clirmcsetupのマニュアルページを参照してください。
```
# /etc/opt/FJSVcluster/bin/clirmcsetup -a mmb mmb-user
Enter User's Password:
Re-Enter User's Password:
```
    mmb-userとUser's Passwordには、手順b.で作成したユーザとパスワードを入力します。
  6. iRMC非同期監視デーモンが起動しているか確認します。
```
# /etc/opt/FJSVcluster/bin/clirmcmonctl
```
    "The devirmcd daemon exists."が表示された場合、iRMC非同期監視デーモンは起動済みです。
    "The devirmcd daemon does not exist."が表示された場合、iRMC非同期監視デーモンは起動していません。
    以下を実行し、iRMC非同期監視デーモンを起動してください。
```
# /etc/opt/FJSVcluster/bin/clirmcmonctl start
```
4. 退避したrcsd.orgをrcsd.cfgに戻します。
```
# mv /etc/opt/SMAW/SMAWsf/rcsd.org /etc/opt/SMAW/SMAWsf/rcsd.cfg
```
5. /etc/opt/SMAW/SMAWsf/rcsd.cfgに記載しているCFノード名、管理LANのIPアドレス(admIP)を変更します。
  例)以下のように変更する場合
```
CFノード名      管理LANのIPアドレス
fuji2→fuji4    10.20.30.100→10.20.30.102
fuji3→fuji5    10.20.30.101→10.20.30.103
```
  ［変更前］
```
fuji2,weight=1,admIP=10.20.30.100:agent=SA_lkcd,timeout=25:SA_ipmi,timeout=25
fuji3,weight=1,admIP=10.20.30.101:agent=SA_lkcd,timeout=25:SA_ipmi,timeout=25
```
  ［変更後］
```
fuji4,weight=1,admIP=10.20.30.102:agent=SA_lkcd,timeout=25:SA_ipmi,timeout=25
fuji5,weight=1,admIP=10.20.30.103:agent=SA_lkcd,timeout=25:SA_ipmi,timeout=25
```
6. 複製先がPRIMERGY RX1330M3,RX4770M3,TX1320M3,TX1330M3,CX1430M1または他社サーバの場合、/etc/opt/SMAW/SMAWsf/rcsd.cfgからSA_lkcdを削除します。
  [変更前]
```
fuji2,weight=1,admIP=10.20.30.100:agent=SA_lkcd,timeout=25:SA_ipmi,timeout=25
fuji3,weight=1,admIP=10.20.30.101:agent=SA_lkcd,timeout=25:SA_ipmi,timeout=25
```
  [変更後]
```
fuji2,weight=1,admIP=10.20.30.100:SA_ipmi,timeout=25
fuji3,weight=1,admIP=10.20.30.101:SA_ipmi,timeout=25
```
7. 複製先がPRIMERGYでRX1330M3,RX4770M3,TX1320M3,TX1330M3およびCX1430M1以外の場合で、クラッシュダンプの採取にkdumpを使用する場合、kdumpシャットダウンエージェントの設定を行います。いずれかのノードで以下のコマンドを実行します。
```
# /etc/opt/FJSVcllkcd/bin/panicinfo_setup
```
  以下のメッセージが表示された場合は、Iを入力してください。
```
: WARNING: /etc/panicinfo.conf file already exists.
(I)nitialize, (C)opy or (Q)uit (I/C/Q) ? ← Iを入力
```
8. シャットダウン機構を起動します。
```
# sdtool -b
```
  シャットダウンデーモン(rcsd)が動作中かどうかはsdtool -sで確認できます。
```
# sdtool -s
```
  全ノードでsdtool -sを実行することで、シャットダウン機構の構成状態を確認することができます。
  注意
  sdtool -sコマンドの表示結果で、シャットダウン機構が正常に動作していることを確認してください。
  シャットダウン機構の設定が完了しているのに、初期化状態がInitFailedと表示されたり、テスト状態にUnknownやTestFailedと表示されたりする場合、エージェントやハードウェアの構成設定に誤りがある可能性があります。/var/log/messages ファイルにエラーメッセージが出力されていないかを確認してください。その後、出力されたメッセージの内容に応じた対処を実施してください。
- 物理環境から仮想環境に複製する場合
  SFの再設定を行います。複製先のシャットダウン機構の構成に合わせて、“付録G VMware環境でPRIMECLUSTERを使用する場合”の“G.2.3.2 シャットダウン機構の設定（VMware vCenter Server連携機能を使用する場合）”または、“G.2.3.3 シャットダウン機構の設定（I/Oフェンシング機能を使用する場合）”を参照してSFの設定を行ってください。
- 仮想環境間で複製する場合
  KVM環境間で複製する場合は“5.1.2.6 仮想マシン環境でのシャットダウン機構の設定手順”を参照し、SFの設定を行ってください。
  異なる構成（シャットダウン機構）のVMware環境へ複製する場合は、SFの再設定を行います。複製先のシャットダウン機構の構成に合わせて、VMware環境の場合は“付録G VMware環境でPRIMECLUSTERを使用する場合”の“G.2.3.2 シャットダウン機構の設定（VMware vCenter Server連携機能を使用する場合）”または、“G.2.3.3 シャットダウン機構の設定（I/Oフェンシング機能を使用する場合）”を参照し、SFの設定を行ってください。
  同一構成（シャットダウン機構）のVMware環境へ複製する場合は、以下の手順を実施してください。
1. VMware環境間での複製で、複製元、複製先ともにVMware vCenter Server連携機能を使用する場合、以下の手順を実施します。
  クラスタを構成するすべてのゲストOS（ノード）で/etc/opt/SMAW/SMAWsf/SA_vwvmr.cfg を以下のような内容に修正します。(ただし、VMware vCenter ServerのIPアドレス以外は同じ場合の例)
  例)以下のように変更する場合
```
CFノード名      vCenter ServerのIPアドレス
fuji2→fuji4    10.20.30.200→10.20.30.202
fuji3→fuji5    10.20.30.201→10.20.30.203
```
  ［変更前］
```
##
## node1's information.
##
CFName: fuji2
VMName: vm1
vCenter_IP: 10.20.30.200
vCenter_Port:
user: Administrator@vsphere.local
passwd: D0860AB04E1B8FA3
##
## node2's information.
##
CFName: fuji3
VMName: vm2
vCenter_IP: 10.20.30.201
vCenter_Port:
user: Administrator@vsphere.local
passwd: D0860AB04E1B8FA3
```
  ［変更後］
```
##
## node1's information.
##
CFName: fuji4
VMName: vm1
vCenter_IP: 10.20.30.202
vCenter_Port:
user: Administrator@vsphere.local
passwd: D0860AB04E1B8FA3
##
## node2's information.
##
CFName: fuji5
VMName: vm2
vCenter_IP: 10.20.30.203
vCenter_Port:
user: Administrator@vsphere.local
passwd: D0860AB04E1B8FA3
```
2. VMware環境間での複製で、複製元、複製先ともにI/Oフェンシング機能を使用する場合、以下の手順を実施します。
  クラスタを構成するすべてのゲストOS（ノード）で/etc/opt/SMAW/SMAWsf/SA_icmp.cfgを以下のような内容に修正します。
  例)以下のように変更する場合
```
CFノード名      ノードの生存確認に使用するIPアドレス
fuji2→fuji4    192.168.0.1→192.168.0.3
fuji3→fuji5    192.168.0.2→192.168.0.4
```
  ［変更前］
```
TIME_OUT=5
fuji2:192.168.0.1:eth2,eth3
fuji3:192.168.0.2:eth2,eth3
```
  ［変更後］
```
TIME_OUT=5
fuji4:192.168.0.3:eth2,eth3
fuji5:192.168.0.4:eth2,eth3
```
3. 退避したrcsd.orgをrcsd.cfgに戻します。
```
# mv /etc/opt/SMAW/SMAWsf/rcsd.org /etc/opt/SMAW/SMAWsf/rcsd.cfg
```
4. /etc/opt/SMAW/SMAWsf/rcsd.cfgに記載しているCFノード名、管理LANのIPアドレス(admIP)を変更します。
  例)以下のように変更する場合
```
CFノード名      管理LANのIPアドレス
fuji2→fuji4    10.20.30.100→10.20.30.102
fuji3→fuji5    10.20.30.101→10.20.30.103
```
  ［変更前］
```
fuji2,weight=1,admIP=10.20.30.100:agent=SA_lkcd,timeout=25:SA_ipmi,timeout=25
fuji3,weight=1,admIP=10.20.30.101:agent=SA_lkcd,timeout=25:SA_ipmi,timeout=25
```
  ［変更後］
```
fuji4,weight=1,admIP=10.20.30.102:agent=SA_lkcd,timeout=25:SA_ipmi,timeout=25
fuji5,weight=1,admIP=10.20.30.103:agent=SA_lkcd,timeout=25:SA_ipmi,timeout=25
```
5. シャットダウン機構を起動します。
```
# sdtool -b
```
  シャットダウンデーモン(rcsd)が動作中かどうかはsdtool -sで確認できます。
```
# sdtool -s
```
  全ノードでsdtool -sを実行することで、シャットダウン機構の構成状態を確認することができます。
  注意
  sdtool -sコマンドの表示結果で、シャットダウン機構が正常に動作していることを確認してください。
  シャットダウン機構の設定が完了しているのに、初期化状態がInitFailedと表示されたり、テスト状態にUnknownやTestFailedと表示されたりする場合、エージェントやハードウェアの構成設定に誤りがある可能性があります。/var/log/messages ファイルにエラーメッセージが出力されていないかを確認してください。その後、出力されたメッセージの内容に応じた対処を実施してください。
- クラウド環境間で複製する場合
1. 退避したrcsd.orgをrcsd.cfgに戻します。
```
# mv /etc/opt/SMAW/SMAWsf/rcsd.org /etc/opt/SMAW/SMAWsf/rcsd.cfg
```
2. /etc/opt/SMAW/SMAWsf/rcsd.cfgに記載しているCFノード名、管理LANのIPアドレス(admIP)を変更します。
  例)以下のように変更する場合
```
CFノード名      管理LANのIPアドレス
fuji2→fuji4    10.20.30.100→10.20.30.102
fuji3→fuji5    10.20.30.101→10.20.30.103
```
  ［変更前］
```
fuji2,weight=1,admIP=10.20.30.100:agent=SA_vmk5r,timeout=125
fuji3,weight=1,admIP=10.20.30.101:agent=SA_vmk5r,timeout=125
```
  ［変更後］
```
fuji4,weight=1,admIP=10.20.30.102:agent=SA_vmk5r,timeout=125
fuji5,weight=1,admIP=10.20.30.103:agent=SA_vmk5r,timeout=125
```
3. /etc/opt/SMAW/SMAWsf/SA_vmk5r.cfgに記載しているCFノード名、クラスタホストが動作している FJcloud-O の仮想サーバ名を変更します。
  例)以下のように変更する場合
```
CFノード名      仮想サーバ名
fuji2→fuji4    vm1→vm3
fuji3→fuji5    vm2→vm4
```
  ［変更前］
```
fuji2 vm1 pcl O/gm+AYuWwE7ow3dgVG/Nw== cycle
fuji3 vm2 pcl O/gm+AYuWwE7ow3dgVG/Nw== cycle
```
  ［変更後］
```
fuji4 vm3 pcl O/gm+AYuWwE7ow3dgVG/Nw== cycle
fuji5 vm4 pcl O/gm+AYuWwE7ow3dgVG/Nw== cycle
```
4. /opt/SMAW/SMAWRrms/etc/k5_endpoint.cfgに記載しているPROJECT_NAMEを複製先のFJcloud-Oでクラスタを構築するプロジェクト名を変更します
  例)以下のように変更する場合
```
プロジェクト名
primecluster_project1→primecluster_project2 
```
  ［変更前］
```
DOMAIN_NAME=primecluster_domain
PROJECT_NAME=primecluster_project1
IDENTITY=https://identity.jp-east-3.cloud.global.fujitsu.com
COMPUTE=https://compute.jp-east-3.cloud.global.fujitsu.com
```
  ［変更後］
```
DOMAIN_NAME=primecluster_domain
PROJECT_NAME=primecluster_project2
IDENTITY=https://identity.jp-east-3.cloud.global.fujitsu.com
COMPUTE=https://compute.jp-east-3.cloud.global.fujitsu.com
```
5. シャットダウン機構を起動します。
```
# sdtool -b
```
  シャットダウンデーモン(rcsd)が動作中かどうかはsdtool -sで確認できます。
```
# sdtool -s
```
  全ノードでsdtool -sを実行することで、シャットダウン機構の構成状態を確認することができます。
  注意
  sdtool -sコマンドの表示結果で、シャットダウン機構が正常に動作していることを確認してください。
  シャットダウン機構の設定が完了しているのに、初期化状態がInitFailedと表示されたり、テスト状態にUnknownやTestFailedと表示されたりする場合、エージェントやハードウェアの構成設定に誤りがある可能性があります。/var/log/messages ファイルにエラーメッセージが出力されていないかを確認してください。その後、出力されたメッセージの内容に応じた対処を実施してください。