スレーブサーバをクローニングによって追加する場合、スレーブサーバの導入タイミングの違いによって、次の2つのパターンがあります。
初回導入時のスレーブサーバの追加
初回導入時、1台のスレーブサーバを導入してから、そのクローニングイメージを採取して、他の導入予定の複数台のスレーブサーバへクローニングによって追加導入を行う。
運用開始後のスレーブサーバの追加
運用開始後、さらにスレーブサーバの追加導入を行う。
それぞれのパターンについての手順を以降で説明します。
初回導入時にスレーブサーバを追加する場合の手順を以下に示します。
1台目のスレーブサーバの導入
「3.1.2 1台目のスレーブサーバの導入」を参照して、追加導入するスレーブサーバの1台目(クローニングイメージを採取するスレーブサーバ)を導入してください。
スレーブサーバの登録
ネットワークパラメーター自動設定機能の登録
クローニングイメージの作成
クローニング
DFS クライアントの追加／スケールアウト
クローニング作業を行うために、導入予定のすべてのスレーブサーバをマスタサーバに登録します。
スレーブサーバの登録手順を以下に示します。
クローニングサーバ定義ファイル(clone.conf)を作成します。クローニングイメージを採取するスレーブサーバ、および導入予定のクローニングイメージの配付対象となるすべてのスレーブサーバをクローニングサーバ定義ファイルに指定します。
ここでは、以下の構成を例に説明します。
| ：slave1 |
| ：slave2、slave3、slave4、slave5 |
クローニングサーバ定義ファイルの詳細は、「A.2.3 clone.conf」を参照してください。
例
クローニングサーバ定義ファイル(clone.conf)の定義例：
RCXCSV,V3.4 [Server] operation,chassis_name,slot_no,server_name,ip_address,mac_address,second_mac_address,snmp_community_name,ipmi_ip_address,ipmi_user_name,ipmi_passwd,ipmi_passwd_enc,admin_lan1_nic_number,admin_lan2_nic_number,admin_lan_nic_redundancy new,,,slave1, 10.10.10.13,A0:A0:A0:A0:A0:A1,,public,192.168.1.13,admin,admin,plain,,,OFF ← 登録対象サーバ new,,,slave2, 10.10.10.14,A0:A0:A0:A0:A0:A2,,public,192.168.1.14,admin,admin,plain,,,OFF ← 登録対象サーバ new,,,slave3, 10.10.10.15,A0:A0:A0:A0:A0:A3,,public,192.168.1.15,admin,admin,plain,,,OFF ← 登録対象サーバ new,,,slave4, 10.10.10.16,A0:A0:A0:A0:A0:A4,,public,192.168.1.16,admin,admin,plain,,,OFF ← 登録対象サーバ new,,,slave5, 10.10.10.17,A0:A0:A0:A0:A0:A5,,public,192.168.1.17,admin,admin,plain,,,OFF ← 登録対象サーバ [ServerAgent] operation,server_name new,slave1 ← クローニングイメージの採取対象サーバ
マスタサーバ(プライマリ)に、root 権限でログインします。
“bdpp_addserver コマンド”を実行し、スレーブサーバの登録を行います。
“bdpp_addserver コマンド”の詳細は、「A.1.1 bdpp_addserver」を参照してください。
# /opt/FJSVbdpp/bin/bdpp_addserver {clone.confファイルの格納ディレクトリ}/clone.conf <Enter>スレーブサーバが登録できたことを“bdpp_listserver コマンド”で確認します。
“bdpp_listserver コマンド”の詳細は、「A.1.8 bdpp_listserver」を参照してください。
# /opt/FJSVbdpp/bin/bdpp_listserver <Enter>
例
スレーブサーバの登録状況の確認例：
> /opt/FJSVbdpp/bin/bdpp_listimage <Enter> PHYSICAL_SERVER SERVER ADMIN_IP STATUS MAINTENANCE --------------- ------ -------- ------ ----------- slave1 slave1 192.168.1.21 normal OFF slave2 - 192.168.1.22 stop - slave3 - 192.168.1.23 stop - slave4 - 192.168.1.24 stop - slave5 - 192.168.1.25 stop -
事前にすべてのスレーブサーバ分の業務 LAN のネットワークパラメーターの定義を行い、クローニングイメージを採取することで、クローニングイメージを配付する際にスレーブサーバの業務 LAN の設定を自動的に行うことができます。
ここでは、ネットワークパラメーターの自動設定のための登録方法について説明します。
ネットワークパラメーター自動設定機能の登録手順を以下に示します。
マスタサーバ（プライマリ）で、ネットワークパラメーター自動設定用の定義ファイル (FJSVrcx.conf、ipaddr.conf)を作成します。
定義ファイル(FJSVrcx.conf)の詳細は、「A.2.4 FJSVrcx.conf」を参照してください。
定義ファイル(ipaddr.conf)には、クローニングイメージを採取するスレーブサーバ、およびクローニングイメージを配付するすべてのスレーブサーバの業務 LAN の情報を指定します。詳細は、「A.2.5 ipaddr.conf」を参照してください。
マスタサーバ（プライマリ）で、クローニングイメージを採取するスレーブサーバの管理 LAN の IP アドレス、定義ファイル(FJSVrcx.conf)、および定義ファイル (ipaddr.conf)を指定して、“bdpp_lanctl コマンド”を実行します。
“bdpp_lanctl コマンド”の詳細は、「A.1.6 bdpp_lanctl」を参照してください。
# /opt/FJSVbdpp/bin/bdpp_lanctl <管理 LAN の IP アドレス> <FJSVrcx.confファイル> <ipaddr.conf ファイル> <Enter>
導入済みのスレーブサーバから、クローニングイメージを作成します。
クローニングイメージの作成対象となるサーバとクローニングの対象サーバは、以下の条件を満たしている必要があります。条件が異なる場合は、条件に当てはまるグループごとにクローニングイメージを作成する必要があります。
モデル名が同じであること。
オプションカードおよび拡張ボードとその搭載位置など、ハードウェア構成が同じであること。
「サーバの BIOS 設定」に従って同じ BIOS 設定がされていること。
LAN、SAN の接続が同じ冗長化方式、冗長パス数で、同一のネットワーク装置やストレージ装置にアクセスできること。
なお、カスケード接続された LAN スイッチやファイバーチャネルスイッチは、1台の装置とみなします。
クローニングイメージの作成手順を以下に示します。
クローニングイメージの作成の前に、クローニングイメージを採取するスレーブサーバが、マスタサーバと正常に接続できることを確認しておく必要があります。
確認方法については、「3.1.6 1台目のスレーブサーバとの接続確認」を参照してください。
マスタサーバ(マスタサーバ(プライマリ))にログインしていない場合は、root 権限でログインします。
イメージ格納ディレクトリを変更する場合は、“bdpp_changeimagedir コマンド”を実行します。
“bdpp_changeimagedir コマンド”の詳細は、「A.1.2 bdpp_changeimagedir」を参照してください。
# /opt/FJSVbdpp/bin/bdpp_changeimagedir {イメージ格納ディレクトリ名} <Enter>採取対象のサーバ名とクローニングイメージ名を指定した“bdpp_getimage コマンド”を実行します。
“bdpp_getimage コマンド”の詳細は、「A.1.5 bdpp_getimage」を参照してください。
# /opt/FJSVbdpp/bin/bdpp_getimage {サーバ名} {クローニングイメージ名} <Enter>クローニングイメージが採取できたことを“bdpp_listimage コマンド”で確認します。
“bdpp_listimage”コマンドの詳細は、「A.1.7 bdpp_listimage」を参照してください。
# /opt/FJSVbdpp/bin/bdpp_listimage <Enter>
例
クローニングイメージの採取状況の確認例：
> /opt/FJSVbdpp/bin/bdpp_listimage <Enter> IMAGEDIRECTORY -------------- imagedir: /data/imagedir NAME VERSION CREATIONDATE COMMENT ---- ------- ------------ ------- RX200img 1 2012/04/20-22:39:59 - RX300img 1 2012/04/20-22:41:13 -
採取対象のスレーブサーバをリブートします。
# shutdown -r now <Enter>
クローニングの手順を以下に示します。
マスタサーバ(マスタサーバ(プライマリ))にログインしていない場合は、root 権限でログインします。
イメージの配付先のサーバとクローニングイメージ名を指定した“bdpp_deployimage コマンド”を実行します。
“bdpp_deployimage コマンド”の詳細は、「A.1.4 bdpp_deployimage」を参照してください。
# /opt/FJSVbdpp/bin/bdpp_deployimage {サーバ名} {クローニングイメージ名} <Enter>イメージの配付先のスレーブサーバにログインしていない場合は、root 権限でログインします。
イメージ配付先のスレーブサーバのiscsiイニシエータネームおよびIPアドレスを設定します。設定方法については、「ETERNUS DX ディスクアレイ ユーザーズガイド」を参照してください。
イメージ配付先のスレーブサーバのシステムを再起動します。
# shutdown -r now <Enter>
スレーブサーバ・連携サーバの追加／スケールアウトについては、「付録E DFS の運用変更」の「E.3 スレーブサーバの追加/スケールアウト」を参照してください。
運用開始後にさらにスレーブサーバを追加する場合の手順を説明します。
以下に示す手順のうち、手順1から6までは、「4.9.1.1 初回導入時のスレーブサーバの追加」の手順1から6と同じです。
ここでは、「初回導入時のスレーブサーバの追加」で構築済みの構成に加えて、さらに追加導入する次の構成をもとに、追加する定義情報などの差分について説明します。
| ：slave1、slave2、slave3、slave4、slave5 |
| ：slave6 |
| ：slave7、slave8、slave9、slave10 |
スレーブサーバの導入
「初回導入時のスレーブサーバの追加」と同様に導入してください。
スレーブサーバの登録
「運用開始後に登録するスレーブサーバのクローニングサーバ定義ファイルの例」にて、追加した際の定義例を示します。
操作については、「初回導入時のスレーブサーバの追加」と同様です。
ネットワークパラメーター自動設定機能の登録
「初回導入時のスレーブサーバの追加」と同様に操作してください。
クローニングイメージの作成
「初回導入時のスレーブサーバの追加」と同様に操作してください。
クローニング
「初回導入時のスレーブサーバの追加」と同様に操作してください。
DFS クライアントの追加／スケールアウト
「運用開始後に登録するスレーブサーバの接続許可リストファイルの例」にて、追加した際の定義例を示します。
操作については、「初回導入時のスレーブサーバの追加」と同様です。
スレーブサーバ定義ファイルの編集および反映
「4.9.1.2.1 スレーブサーバ定義ファイルの編集および反映」を参照してください。
運用開始後に登録するスレーブサーバのクローニングサーバ定義ファイルの例
例
クローニングサーバ定義ファイル(clone.conf)の定義例：
RCXCSV,V3.4 [Server] operation,chassis_name,slot_no,server_name,ip_address,mac_address,second_mac_address,snmp_community_name,ipmi_ip_address,ipmi_user_name,ipmi_passwd,ipmi_passwd_enc,admin_lan1_nic_number,admin_lan2_nic_number,admin_lan_nic_redundancy -,,,slave1, 10.10.10.13,A0:A0:A0:A0:A0:A1,,public,192.168.1.13,admin,admin,plain,,,OFF -,,,slave2, 10.10.10.14,A0:A0:A0:A0:A0:A2,,public,192.168.1.14,admin,admin,plain,,,OFF -,,,slave3, 10.10.10.15,A0:A0:A0:A0:A0:A3,,public,192.168.1.15,admin,admin,plain,,,OFF -,,,slave4, 10.10.10.16,A0:A0:A0:A0:A0:A4,,public,192.168.1.16,admin,admin,plain,,,OFF -,,,slave5, 10.10.10.17,A0:A0:A0:A0:A0:A5,,public,192.168.1.17,admin,admin,plain,,,OFF new,,,slave6, 10.10.10.18,A0:A0:A0:A0:A0:A6,,public,192.168.1.18,admin,admin,plain,,,OFF ← 登録対象サーバ new,,,slave7, 10.10.10.19,A0:A0:A0:A0:A0:A7,,public,192.168.1.19,admin,admin,plain,,,OFF ← 登録対象サーバ new,,,slave8, 10.10.10.20,A0:A0:A0:A0:A0:A8,,public,192.168.1.20,admin,admin,plain,,,OFF ← 登録対象サーバ new,,,slave9, 10.10.10.21,A0:A0:A0:A0:A0:A9,,public,192.168.1.21,admin,admin,plain,,,OFF ← 登録対象サーバ new,,,slave10, 10.10.10.22,A0:A0:A0:A0:A0:B0,,public,192.168.1.22,admin,admin,plain,,,OFF ← 登録対象サーバ [ServerAgent] operation,server_name new,slave6 ← クローニングイメージの採取対象サーバ
スレーブサーバの登録状況の確認例：
> /opt/FJSVbdpp/bin/bdpp_listserver <Enter> PHYSICAL_SERVER SERVER ADMIN_IP STATUS MAINTENANCE --------------- ------ -------- ------ ----------- slave1 slave1 192.168.1.13 normal OFF slave2 slave2 192.168.1.14 normal OFF slave3 slave3 192.168.1.15 normal OFF slave4 slave4 192.168.1.16 normal OFF slave5 slave5 192.168.1.17 normal OFF slave6 slave6 192.168.1.18 normal OFF slave7 - 192.168.1.19 stop - slave8 - 192.168.1.20 stop - slave9 - 192.168.1.21 stop - slave10 - 192.168.1.22 stop -
運用開始後に登録するスレーブサーバの接続許可リストファイルの例
例
# cat /etc/pdfs/server.conf.1 <Enter> # # Copyright (c) 2012 FUJITSU LIMITED. All rights reserved. # # /etc/pdfs/server.conf.<FSID> # # List of client hostnames of a file system. # # Notes: # Do not describe hostnames of management servers. # # example: #CLIENT nodeac1 #CLIENT nodeac2 #CLIENT nodeac3 #CLIENT nodeac4 #CLIENT nodeac5 CLIENT slave1 CLIENT slave2 CLIENT slave3 CLIENT slave4 CLIENT slave5 CLIENT develop CLIENT collaborate CLIENT slave6 ← 追加するスレーブサーバ CLIENT slave7 ← 追加するスレーブサーバ CLIENT slave8 ← 追加するスレーブサーバ CLIENT slave9 ← 追加するスレーブサーバ CLIENT slave10 ← 追加するスレーブサーバ
スレーブサーバ定義ファイルの編集および反映の手順について説明します。
マスタサーバ(プライマリ)にログインしていない場合は、root 権限でログインします。
スレーブサーバを追加する前に Interstage Big Data Parallel Processing Server の Hadoop が動作している場合は停止します。
“bdpp_stop コマンド”で、Interstage Big Data Parallel Processing Server の Hadoop を停止します。
“bdpp_stop コマンド” の詳細は、「A.1.13 bdpp_stop」を参照してください。
# /opt/FJSVbdpp/bin/bdpp_stop <Enter>
追加するスレーブサーバをスレーブサーバ定義ファイル(/etc/opt/FJSVbdpp/conf/slaves)、およびTaskTracker 定義ファイル(/etc/hadoop/mapred.include)をそれぞれ編集して定義します。
スレーブサーバ定義ファイルの詳細については、「A.2.2 slaves」を参照してください。
例
スレーブサーバ定義ファイルの定義例：
slave1,slave2,slave3,slave4,slave5,slave6,slave7,slave8,slave9,slave10
TaskTracker 定義ファイルの定義例：
slave1 slave2 slave3 slave4 slave5 slave6 slave7 slave8 slave9 slave10
(注) 下線部は、追加するスレーブサーバを示します。
“bdpp_changeslaves コマンド”を実行して、スレーブサーバ定義ファイルの変更を反映します。
“bdpp_changeslaves コマンド”の詳細は、「A.1.3 bdpp_changeslaves」を参照してください。
# /opt/FJSVbdpp/bin/bdpp_changeslaves <Enter>
変更したファイルをマスタサーバ(セカンダリ)、スレーブサーバ、および開発実行環境サーバにコピーします。
# scp -p /etc/opt/FJSVbdpp/conf/slaves root@master2:/etc/opt/FJSVbdpp/conf <Enter> # scp -pr /etc/opt/FJSVbdpp/data root@master2:/etc/opt/FJSVbdpp/ <Enter> # scp -p /etc/hadoop/mapred.include root@master2:/etc/hadoop <Enter> 同様にスレーブサーバ、および開発実行環境サーバにも変更したファイルをコピーします。
Interstage Big Data Parallel Processing Server の Hadoop を起動します。
“bdpp_start コマンド”で、Interstage Big Data Parallel Processing Server の Hadoop を起動します。
“bdpp_start コマンド” の詳細は、「A.1.11 bdpp_start」を参照してください。
# /opt/FJSVbdpp/bin/bdpp_start
Interstage Big Data Parallel Processing Server の状態表示で、対象のスレーブサーバ上で TaskTracker が起動されているか確認します。
対象のスレーブサーバのシステムが起動されていることを確認してから、マスタサーバで“bdpp_stat コマンド”を使用して、Interstage Big Data Parallel Processing Server の Hadoop の状態を表示します。
“bdpp_stat コマンド”の詳細は、「A.1.12 bdpp_stat」を参照してください。
# /opt/FJSVbdpp/bin/bdpp_stat -all cluster mapred 2420 jobtracker slave1 mapred 29615 tasktracker slave2 mapred 24417 tasktracker slave3 mapred 16332 tasktracker slave4 mapred 9042 tasktracker slave5 mapred 5880 tasktracker slave6 mapred 25126 tasktracker slave7 mapred 18747 tasktracker slave8 mapred 24467 tasktracker slave9 mapred 6108 tasktracker slave10 mapred 10425 tasktracker bdpp: INFO : 003: bdpp Hadoop JobTracker is alive.