ノード増設手順は以下のようになります。
注意
増設するノードで使用する OS のバージョンや一括修正／パッチのレベルは、既存のクラスタノードと同一となるように適用してください。
ノード増設を実施するときは、業務を停止してください。
同時に複数のノードを増設することはできません。複数のノードを増設する場合は、ノードを1つずつ追加してください。
増設するノードは既存のクラスタノードと同一のモデルでなければいけません。
以降の説明において、既存クラスタノードのノード名を node1, node2とし、新規に増設するノードのノード名を node3 とします。
新規に増設するノードで行う作業について説明します。
新規ノードはPRIMECLUSTERがインストールできる状態であり、OSや、PTF、FiberChannel、マルチパス等のパッケージはすでにインストール済みであるものとします。
◆操作手順
新規ノードに対してPRIMECLUSTERのインストールを実施します。
作業は、シングルユーザモードで行ってください。
詳細は“PRIMECLUSTER インストールガイド”を参照してください。
NTPの設定を行います。
既存ノードのNTPに適合するように新規ノードのNTPを設定してください。
新規ノードの/etc/inet/hosts ファイルに対し以下の情報を記載します。
既存クラスタノードのIPアドレスとそのIPアドレスが使用するホスト名
既存クラスタノードに接続されているリモートコンソール装置のIPアドレスとそのIPアドレスが使用するホスト名
既存クラスタノードの CIPインタフェースのIPアドレスと、そのIPアドレスを使用するCIP名
新規ノードの電源をオフにします。
既存クラスタノードでは、以下の準備を行います。
◆操作手順
全ての既存クラスタノードにおいて、ノード増設時の不測の事態に備えシステム全体のバックアップ作業と、PRIMECLUSTERシステムと各コンポーネントの構成ファイルのパックアップを行います。
システム全体のバックアップ
既存クラスタノードの任意の1台において、以下のコマンドを実行し、運用中のRMSを停止します。
node1# hvshut -a全ての既存クラスタノードを、シングルユーザモードで再起動します。
node1# /usr/sbin/shutdown -g0 -i0 -y .... ok boot -s
.... Type control-d to proceed with normal startup、 (or give root password for system maintenance): ....
全ての既存クラスタノードにおいて、ファイルシステムをマウントします。
node1# mountall -l node1# zfs mount -a
ufsdump(1M)や、dd(1M)コマンド等を使用して、システム全体や共用ディスク内の資産のバックアップを必ず行ってください。
PRIMECLUSTERシステム、各コンポーネントの構成ファイルのバックアップ
全ての既存クラスタノードにおいて、PRIMECLUSTERシステムの構成ファイルをバックアップします。PRIMECLUSTERシステムの構成ファイルのバックアップ方法についての詳細は、“第13章 PRIMECLUSTERシステムのバックアップ／リストア”を参照してください。
全ての既存クラスタノードにおいて、GLSを構成する構成ファイルのバックアップを行います。
GLSの伝送路二重化機能が使用する環境定義ファイルを以下のコマンドを使用してバックアップします。hanetbackup コマンドについての詳細は、“PRIMECLUSTER Global Link Services 説明書（伝送路二重化機能編）”を参照してください。
node1# /opt/FJSVhanet/usr/sbin/hanetbackup -d /var/tmp/backup GLSのマルチパス機能が使用する環境定義ファイルを以下の手順でバックアップします。
node1# cd /etc/opt/FJSVmpnet node1# tar cvf - conf | compress > /var/tmp/backup/mpnetfile.tar.Z
全ての既存クラスタノードの/etc/inet/hosts ファイルに、以下の情報を記載します。
新たに増設するノードのIPアドレスとそのIPアドレスが使用するホスト名
新たに増設するノードに接続されているリモートコンソール装置のIPアドレスとそのIPアドレスが使用するホスト名
全ての既存クラスタノードで、クラスタノードを再起動してもRMS が自動起動しないように、/opt/SMAW/SMAWRrms/bin/hvenv.localファイルが存在している場合は、以下のように編集します。
node1# vi /opt/SMAW/SMAWRrms/bin/hvenv.localexport HV_RCSTART=0
新たにノードを増設するため、全ての既存クラスタノードのシステム電源をオフにします。
新規ノードを既存クラスタノードに接続します。
◆操作手順
新規ノードの、LAN、クラスタインタコネクト、RCIを、既存クラスタ環境に接続します。
この時、新規ノードに対し、RCIアドレスを設定してください。
(本作業はCE作業となります)。
RCIアドレスの設定後、既存クラスタノードのみを起動し、既存クラスタが正しく動作するか、コンソールやsyslogにエラーメッセージが出力されないかを確認します。
新規ノードを起動し、既存クラスタノードに対し、ping(1M)コマンドなどを使用し、新規ノードや、新規ノードのリモートコンソール装置が、ネットワークに正常に構成されていることを確認します。
既存クラスタノード上の任意の1台でRMSが停止していることを確認し、また、以下のコマンドを全ての既存クラスタノードで実行し SFを停止してください。
RMSが停止しているか確認します。
node1# hvdisp -a
hvdisp: RMS is not running
SFを停止します。既存の全てのクラスタノードで以下のコマンドを実行してください。
node1# sdtool -e
node1# sdtool -s
(SMAWsf, 30, 13) : The RCSD is not running
既存クラスタノードでGFS共用ファイルシステムを使用している場合は、以下の手順でGFSの運用を停止してください。
既存クラスタノードの任意の1台で、全てのGFS共用ファイルシステムに対して、以下のコマンドを実行してファイルシステムをアンマウントしてください。
node1# sfcumntgl <マウントポイント>
全てのクラスタノードで、次のコマンドを実行してGFSのデーモンを停止してください。
node1# sfcfrmstopWeb-Based Admin View の設定を行います。
設定を行うノードは、管理サーバをどのノードに設定するかによって異なります。
対象ノード：
既存の管理サーバを使用する場合
新規ノードにも管理サーバの定義を設定する必要があります。
新規ノードに対し、Web-Based Admin Viewの設定を行ってください。
増設ノードを管理サーバとして使用する場合
新しい管理サーバの定義を、全ノードに設定する必要があります。
全てのノードに対し、Web-Based Admin Viewの設定を行ってください。
◆操作手順
対象ノードに対して、Web-Based Admin Viewの設定を行います。
設定方法の詳細については、“4.2.3.1 運用管理サーバの初期設定”を参照してください。
Web-Based Admin Viewが正しく動作しているか、確認を行います。
確認方法は、“4.2.3.2 Web-Based Admin Viewの起動確認”を参照しクラスタノードのいずれか1ノードで確認を行ってください。
CFおよびSFの設定をCluster Adminを使用して行います。手順中の図は“PRIMECLUSTER Cluster Foundation 導入運用手引書”の“1.1.4 クラスタの作成例”を参照してください。
◆操作手順
管理クライアントにおいてWebブラウザを起動し、プライマリ管理サーバに接続して Web-Based Admin View を表示します。
Web-Based Admin Viewにログインし、“Global Cluster Services”メニューを選択します。(図3：参照)
ノードを選択する画面で、新規に増設するノード名を選択します。(図6：参照)
画面左側パネル内の＜設定＞ボタンを選択して CF wizardを開始します。(図8：参照)
CF wizardで最初に表示される“クラスタの作成または、クラスタの参入”画面で、既存のクラスタシステム名を選択し、［ローカルノードを既存のCFクラスタに追加］オプションボタンを選択します。この状態で、＜次へ＞ボタンを選択します。(図10：参照)
“クラスタノードとクラスタ名の選択”画面で、[利用可能なノード]の中から追加したいノードを選択して、[クラスタノード]にノードを追加します。(図11：参照)
クラスタインタコネクトの確認画面が表示されるので、全てのノードでネットワークインタフェースカードの組み合わせが正しいことを確認し、＜次へ＞ボタンを選択します。(図14：参照)
CIPのサブネット設定において、[RMS で使用]チェックボックスを必ずチェックしてください。(この設定を行わないと、RMSがCIPを使用できません。)
“構成の完了”ダイアログが表示されたら、その画面を閉じて、＜完了＞ボタンを選択します。これでCFの設定は完了となります。
新規ノードのシャットダウンエージェントの設定を行います。
SPARC M10、M12でXSCFシャットダウンエージェントを使用している、または SPARC Enterprise M3000、M4000、M5000、M8000、M9000、SPARC Enterprise T1000、T2000、T5120、T5220、T5140、T5240、T5440、SPARC T3、T4、T5、T7、S7シリーズを使用している場合、シャットダウンエージェントの設定をコマンドで行ってください。
それ以外の環境では本手順は不要です。
SPARC M10、M12でXSCFシャットダウンエージェントを使用している場合
新規ノードで以下のコマンドを実行し、XSCFシャットダウンエージェントを設定してください。
node3# /etc/opt/FJSVcluster/bin/clsnmpsetup -a xscf <PPAR-ID> <ドメイン名> <XSCF名1> <XSCF名2> <ユーザ名> Enter User's Password: <パスワード> Re-enter User's Password: <パスワード>
クラスタノードの論理ドメインが属する物理パーティション(PPAR)の識別IDを指定します。
SPARC M10-1、M10-4、M12-2 の場合は、必ず“0”を入力します。
SPARC M10-4S、M12-2S の場合は、0から15 までの整数を指定してください。
クラスタノードの論理ドメインを指定します。
ドメイン名はvirtinfo -aコマンドより確認できます。
クラスタノードの論理ドメインが存在する筐体のXSCF-LAN#0のホスト名、またはIPアドレスを指定します。
指定可能なアドレス形式は、IPv4アドレスです。
SPARC M10-4S、M12-2S では、XSCF引継ぎIPアドレスを指定してください。
クラスタノードの論理ドメインが存在する筐体のXSCF-LAN#1のホスト名、またはIPアドレスを指定します。
指定可能なアドレス形式は、IPv4アドレスです。
SPARC M10-4S、M12-2S では、XSCF引継ぎIPアドレスを指定してください。
クラスタノードの論理ドメインが存在する筐体のXSCFへログインするためのユーザ名を指定します。
クラスタノードの論理ドメインが存在する筐体のXSCFへログインするためのパスワードを指定します。
SPARC Enterprise M3000、M4000、M5000、M8000、M9000を使用している場合
新規ノードで以下のコマンドを実行し、XSCFシャットダウンエージェントを設定してください。
node3# /etc/opt/FJSVcluster/bin/clrccusetup -a xscf <XSCF名1> <XSCF名2> <ユーザ名>
Enter User's Password: <パスワード> Re-enter User's Password: <パスワード>
XSCF-LAN#0のIPアドレスまたは/etc/inet/hostsに登録されているホスト名を入力します。
指定可能なアドレス形式は、IPv4アドレスです。
既存ノードのXSCFのIPアドレス数が1の場合、指定不要です。
XSCF-LAN#1のIPアドレスまたは/etc/inet/hostsに登録されているホスト名を入力します。
指定可能なアドレス形式は、IPv4アドレスです。
XSCFへログインするためのユーザ名を入力します。
XSCFへログインするためのパスワードを入力します。
SPARC Enterprise T5120、T5220、T5140、T5240、T5440、SPARC T3、T4、T5、T7、S7シリーズを使用している場合
新規ノードで以下のコマンドを実行し、ILOMシャットダウンエージェントを設定してください。
node3# /etc/opt/FJSVcluster/bin/clrccusetup -a ilom <ILOM名> <ユーザ名>
Enter User's Password: <パスワード> Re-enter User's Password: <パスワード>
ILOMのIPアドレスまたは/etc/inet/hostsに登録されているILOMのホスト名を入力します。
指定可能なアドレス形式は、IPv4アドレスおよびIPv6アドレスです。
IPv6のリンクローカルアドレスは使用できません。
ILOMへログインするためのユーザ名を入力します。
ILOMへログインするためのパスワードを入力します。
SPARC Enterprise T1000、T2000を使用している場合
既存ノードでsfcipher(1M)コマンドを実行し、新規ノードのALOMのパスワードを暗号化してください。
node1# /opt/SMAW/SMAWsf/bin/sfcipher -c
Enter User's Password: ←新規ノードのALOMのパスワードを入力
Re-enter User's Passwd: ←新規ノードのALOMのパスワードを再入力
D0860AB04E1B8FA3 ←暗号化されたパスワード次に既存ノードの/etc/opt/SMAW/SMAWsf/SA_sunF.cfgファイルに以下の内容を追加してください。
system-controller-alom-2k <ALOM名> <ユーザ名> <パスワード> void void <CFノード名>
新規ノードのALOMのIPアドレスを入力します。
新規ノードのALOMへログインするためのユーザ名を入力します。
新規ノードのALOMへログインするためのパスワードを入力します。
sfcipher(1M)コマンドによって暗号化したパスワードを入力してください。
新規ノードのCFノード名を入力します。
SFの設定を行います。
シャットダウン構成ウィザードを使用してSFの設定を行ってください。
詳細は“5.1.2 シャットダウン機構の設定”を参照してください。
注意
シャットダウン構成ウィザード起動時、または、シャットダウンエージェントの選択画面でシャットダウンエージェント選択後、＜次へ＞をクリックした時に以下の画面が表示されることがあります。
この画面が表示された際は既存クラスタノードを選択し、＜完了＞をクリックしてください。
SFの設定終了後、GUIの画面または、任意のノードで以下のコマンドを実施し、CFとSFが正しく設定されていることを確認してください。
node1# cftool -n
Node Number State Os Cpu node1 1 UP Solaris Sparc node2 2 UP Solaris Sparc node3 3 UP Solaris Sparc
node1# sdtool -s
Cluster Host Agent SA State Shut State Test State Init State
------------ ----- -------- ---------- ---------- ----------
node1 SA_xscfsnmpg0p.so Idle Unknown TestWorked InitWorked
node1 SA_xscfsnmpg1p.so Idle Unknown TestWorked InitWorked
node1 SA_xscfsnmpg0r.so Idle Unknown TestWorked InitWorked
node1 SA_xscfsnmpg1r.so Idle Unknown TestWorked InitWorked
node2 SA_xscfsnmpg0p.so Idle Unknown TestWorked InitWorked
node2 SA_xscfsnmpg1p.so Idle Unknown TestWorked InitWorked
node2 SA_xscfsnmpg0r.so Idle Unknown TestWorked InitWorked
node2 SA_xscfsnmpg1r.so Idle Unknown TestWorked InitWorked
node3 SA_xscfsnmpg0p.so Idle Unknown TestWorked InitWorked
node3 SA_xscfsnmpg1p.so Idle Unknown TestWorked InitWorked
node3 SA_xscfsnmpg0r.so Idle Unknown TestWorked InitWorked
node3 SA_xscfsnmpg1r.so Idle Unknown TestWorked InitWorkedCRM(リソースデータベース)の設定について説明します。
◆操作手順
既存ノードのリソースデータベースを再設定します。
既存ノードのリソースデータベースの再設定前に、以下の確認を行ってください。
既存ノードが全て起動されていること
既存ノードのリソースデータベースの再設定を行うときには、既存の全てのノードが起動している必要があります。
新規ノードのCIP が既存ノードの/etc/cip.cf に設定されていること
リソースデータベースは、CFノード名とCIP 名との対応付けに /etc/cip.cf を使用します。そのため、既存の全ノードの /etc/cip.cf に、新規ノードのCIP が設定されていることを確認してください。
これらの確認が完了してからリソースデータベースを再設定します。手順を以下に示します。
既存の任意のノードにシステム管理者としてログインします。
clsetp(1M) コマンドに-a と-g オプションを指定して実行します。
# /etc/opt/FJSVcluster/bin/clsetup -a node -g file
本操作により、既存ノードのリソースデータベースに新規ノードが追加されます。
clsetup(1M) コマンド実行後に生成されるリソースデータベースの構成情報は、新規ノードのリソースデータベースの設定で使用します。そのため、-g オプションにはノード再起動時に自動的に削除されるディレクトリ( 例: /tmp) を指定しないでください。
node には新規ノードのCFノード名、file にはclsetup(1M) コマンド実行後に生成されるリソースデータベースの構成情報のファイル名をフルパスで指定します。生成されるリソースデータベースの構成情報には、tar.Z というサフィックスが付加されます。
たとえば、クラスタにfuji4 というCFノード名の新規ノードを追加するとします。リソースデータベースの構成情報ファイル名を /mydir/rdb とすると、実行するコマンドは次のようになります。
# /etc/opt/FJSVcluster/bin/clsetup -a fuji4 -g /mydir/rdbリソースデータベースの構成情報ファイルは、/mydir/rdb.tar.Z として生成されます。
リソースデータベースに新規ノードが追加されたことを確認します。
clgettree(1)コマンドを実行し、出力結果に新規ノードが表示されることを確認してください。この時点では、新規ノードの状態は UNKNOWNで表示されます。
新規ノードのリソースデータベースを設定します。
新規ノードのリソースデータベースの設定前に、以下の確認を行ってください。
新規ノードの/etc/cip.cf の内容が既存ノードの/etc/cip.cf と同じこと
新規ノードの/etc/cip.cf に新規ノードのCIPが設定されており、 /etc/cip.cf の内容が、既存ノードの/etc/cip.cf と同じであることを確認してください。
CIPで通信できること
既存の全てのノードから新規ノードにCIPで通信できることを確認してください。確認にはping(1M)コマンドを使用します。
新規ノードに複数のCIP が設定されている場合、リソースデータベースは、最初に設定されているCIP のみを使用します。新規ノードに複数のCIP が設定されている場合は、最初に設定されているCIP で通信できることを確認してください。以下に、新規ノードのCIPとして“fuji4RMS”を使用している場合の例を記載します。
# ping fuji4RMSこれらの確認が完了してから新規ノードのリソースデータベースを設定します。
手順を以下に示します。
新規ノードにシステム管理者としてログインします。
“既存ノードのリソースデータベースを再設定”の手順“2)”で生成された“リソースデータベースの構成情報”を新規ノードへコピーします。
clsetup(1M) コマンドに-s オプションを指定して実行します。
# /etc/opt/FJSVcluster/bin/clsetup -s file
file には既存ノードからコピーしたリソースデータベースの構成情報ファイルをフルパスで指定します。リソースデータベースの構成情報ファイル名には、.tar.Z を付加した名前で指定してください。
リソースデータベースの構成情報ファイル“rdb.tar.Z”を /mydir にコピーした場合、実行するコマンドは次のようになります。
# /etc/opt/FJSVcluster/bin/clsetup -s /mydir/rdb.tar.Z新規ノードのリソースデータベースが設定されたことを確認します。
新規ノードでclgettree(1)コマンドを実行し、以下を確認します。
新規ノードが表示されること
新規ノードの状態がONで表示されること
出力結果が既存ノードと同じこと
新規ノードに接続されているハードウェアをリソースデータベースへ登録します。
任意のノードにシステム管理者としてログインして、以下のコマンドを実行してください。
# /etc/opt/FJSVcluster/bin/clautoconfig -r◆リソースデータベースの同期設定
ノード増設後において、ノードごとに起動するまでの時間に時間差があらわれる場合、そのためリソースデータベースの同期を取るために、チューニングパラメタの設定を取る必要があります。詳細は、“PRIMECLUSTER Cluster Foundation 導入運用手引書”の“3.5.1 起動時の同期と新規ノード”を参照してください。
GDSの設定において、新規ノードの増設に伴い、クラススコープに新規ノードを追加する場合は、sdxattrコマンドを使用して、クラススコープを変更する必要があります。クラススコープの変更手順については、“PRIMECLUSTER Global Disk Services 説明書”を参照してください。
既存ノードで動作していたuserApplicationに、新規ノードをSysNodeとして登録する場合の手順について説明します。
◆操作手順
リソース毎の設定
既存のuserApplicationに含まれるリソースに応じて以下の作業を実施してください。
Cmdline
新規ノードにStart、Stop、Checkスクリプトを作成、または、既存ノードから複写します。既存のCmdlineリソース作成時に、「作成方法」で、「パス入力」を選択していた場合は、そのパスにスクリプトを配置します。「新規作成」を選択していた場合は、/opt/FJSVwvucw/scripts/start、/opt/FJSVwvucw/scripts/stop、/opt/FJSVwvucw/scripts/check 配下のスクリプトを新規ノードの同じディレクトリに保存します。その際chmod(1)を使用して実行権を付加してください。
Gds
以下の手順でクラススコープを拡張します。
クラススコープの拡張を行います。
クラススコープの拡張方法については“PRIMECLUSTER Global Disk Services 説明書”を参照してください。
クラスタノードの任意の1台で、以下のコマンドを実行してください。
# /opt/SMAW/SMAWRrms/bin/hvgdsetup -a class hvgdsetup with -a option performs the following tasks on nodes to which the specified disk class belongs. 1) Make GDS disk class on resource database not activated automatically when the node boots. If this operation has been done before, nothing will be performed anymore. 2) Next make volumes of the specified disk class enabled manual online on a node on which an application is offline or faulted while the application is online or standby on another node. 3) Then make volumes of the specified disk class stopped immediately. This process is executed on the nodes to which the disk class belongs. Do you want to continue with these processes ? [yes/no] yes
hvgdsetupコマンド実行後、以下のメッセージが表示されることがありますが、動作に影響はありません。
FJSVcluster: エラー: clrmd: 7516: リソースの非活性処理で異常が 発生しました。(resource:resource rid:rid detail:detail) WARNING !! Failed to control 'dc_class' in the following node(s). node(s) node_name: Please check the condition of nodes. When the nodes have been down, you may ignore this message.
Fsystem
新規ノード上の /etc/vfstab.pcl に、マウントポイントのエントリを追加します。
Gls
以下の作業を行います。
新規ノード上で引継ぎIPアドレスの仮想インタフェースの設定およびクラスタリソースへの登録を行います。詳細については、“Global Link Services 説明書（伝送路二重化機能編）”を参照してください。
以下のコマンドを実行して、伝送路二重化機能の再起動を行ってください。
node3# /opt/FJSVhanet/usr/sbin/resethanet -s引継ぎネットワーク
この時点では作業は不要ですが、手順3. にてリソースの再作成を行う必要があります。
プロシジャ
新規ノード上に状態遷移プロシジャを作成し、クラスタリソースマネージャにプロシジャリソースを登録してください。詳細については、“E.1 プロシジャリソースの登録”を参照してください。
プロセス監視
新規ノードに「起動コマンド」を配置します。その際chmod(1)を使用して実行権を付加してください。
その後、手順3.にてリソースの再作成を行う必要があります。
userApplicationの削除
userApplication Configuration Wizardを使用して既存のuserApplicationを削除します。この際、“userApplicationのみを削除”を選択してください。
詳細については、“10.3.1 クラスタアプリケーションの構成変更”を参照してください。
引継ぎネットワーク、プロセス監視リソースの再作成
引継ぎネットワークリソース、プロセス監視リソースがクラスタシステムに登録されている場合は、それらのリソースを一旦削除したあと、再度作成します。
リソースの削除については、“10.5 リソースの削除”、引継ぎネットワークの作成については、“6.7.1.5 引継ぎネットワークリソースの作成”、プロセス監視リソースの作成については、“6.7.1.7 プロセス監視リソースの作成”を参照してください。
userApplicationの再作成
手順2. で削除したuserApplicationを、その作成時と同様の手順で再作成します。ただし、SysNodeの選択の際には新規ノードも登録します。詳細は、“6.7.2 クラスタアプリケーションの作成”を参照してください。
既存クラスタノードの/opt/SMAW/SMAWRrms/bin/hvenv.localを、増設したノードの/opt/SMAW/SMAWRrms/bin/にコピーしてください。
各ノードにおいて、/opt/SMAW/SMAWRrms/bin/hvenv.localをvi等のエディタで編集し、以下の設定を削除してください。
export HV_RCSTART=0
既存ノードでGFS共用ファイルシステムを使用している場合には、以下の手順で追加ノードにおいてGFS共用ファイルシステムの設定を行ってください。
◆操作手順
全てのクラスタノードで、psコマンドを使用して、GFSのデーモン(sfcfrmd) が動作していないことを確認します。GFSのデーモンが動作している場合は、“8.2.1.3 ノードの接続”の手順5を参考に、GFSのデーモンを停止してください。
新規ノードでsfcsetupを実行して、管理パーティションにノード情報を登録してください。
全てのクラスタノードでsfcfrmstartを実行して、GFSのデーモンを起動してください。
クラスタノードの任意の1台でsfcnodeを実行して、新規ノードのノード構成情報を追加してください。
新規ノードで、マウントポイントの作成、/etc/vfstabの設定を行ってください。
クラスタノードの任意の1台で、sfcmntglを実行してGFS共用ファイルシステムをマウントしてください。
参照
それぞれのコマンドの使用方法については、“PRIMECLUSTER Global File Services 説明書”を参照してください。