スレーブサーバでのセットアップ作業について説明します。
2台目以降のスレーブサーバにおいても、同様に実施してください。
“5.2.1.1 スレーブサーバ定義ファイルslavesの作成”で作成したスレーブサーバ定義ファイルslavesを /etc/opt/FJSVbsb/bdpp/conf 配下に複写します。
マスタサーバで作成したスレーブ定義ファイルをスレーブサーバに複写します。
例
マスタサーバのホスト名がmaster1の場合
# scp -p root@master1:/etc/opt/FJSVbsb/bdpp/conf/slaves /etc/opt/FJSVbsb/bdpp/conf <Enter>
参照
スレーブサーバ定義ファイル slaves の詳細については、“C.2 slaves”を参照してください。
以下に格納されているサンプルファイルを/etc/opt/FJSVbsb/bdpp/conf/bdpp.confとして複写して、編集します。
/etc/opt/FJSVbsb/bdpp/conf/bdpp.conf.sample
設定例は、“スレーブサーバの定義例”を参照してください。
参照
構成ファイル bdpp.conf の詳細については、“C.1 bdpp.conf”の“C.1.2 スレーブサーバ”を参照してください。
BDPP_HADOOP_DEFAULT_GROUPに設定したグループの作成、BDPP_HADOOP_DEFAULT_USERSに設定したユーザーの作成、および設定を実施します。
BDPP_HADOOP_DEFAULT_GROUPに設定したグループを作成します。
以下を実行してBDPP_HADOOP_DEFAULT_GROUPに設定したグループを作成してください。
例
BDPP_HADOOP_DEFAULT_GROUPにbdppgroup,1500を設定した場合
# /usr/sbin/groupadd -g 1500 bdppgroup <Enter>
BDPP_HADOOP_DEFAULT_USERSに設定したユーザーを作成します。
以下を実行してBDPP_HADOOP_DEFAULT_USERSに設定したユーザーを追加、およびパスワードを設定してください。パスワードは任意です。
例
BDPP_HADOOP_DEFAULT_USERSにbdppuser1,1500を設定した場合
# /usr/sbin/useradd -u 1500 -g bdppgroup bdppuser1 <Enter> # passwd bdppuser1 <Enter>
ユーザープロファイルへの追加
環境変数を設定するために2.で作成したユーザーのユーザープロファイルにスクリプトの実行を追加します。
ユーザープロファイルの格納先はデフォルトで/home/{ユーザーID}/.bash_profileです。格納先を変更した場合は該当ファイルを修正してください。
上記のファイルに、“ . /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh”を追加します。
例
BDPP_HADOOP_DEFAULT_USERSにbdppuser1,1500を設定した場合
ユーザープロファイルの格納先のデフォルトは、/home/bdppuser1/.bash_profile です。
以下の例のように編集します。
# Get the aliases and functions if [ -f ~/.bashrc ]; then . ~/.bashrc fi # User specific environment and startup programs PATH=$PATH:$HOME/.local/bin:$HOME/bin export PATH if [ -f /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh ]; then
. /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh
fi
hdfsユーザーの作成と設定を実施します。
hdfsユーザーを作成します。
以下を実行してhdfsユーザーを追加、およびパスワードを設定してください。
パスワードは任意です。
# useradd -u 201 -g hadoop hdfs <Enter> # passwd hdfs <Enter>
yarnユーザーの設定を実施します。yarnユーザーはインストール時に作成されています。
yarnユーザーのパスワードを設定します。
以下を実行してyarnユーザーのパスワードを設定してください。
パスワードは任意です。
# passwd yarn <Enter>
Apache Hadoopのセットアップを実施します
環境変数 JAVA_HOME を設定します。
環境変数 JAVA_HOME に Java Runtime Environment 8 をインストールしたディレクトリを設定します。
例
Java Runtime Environment 8 のインストールパスが /usr/lib/jre8 ディレクトリの場合
# export JAVA_HOME=/usr/lib/jre8 <Enter>
セットアップスクリプトを実行します。
以下のとおり、hadoop_setup.sh を実行してください。
# /opt/FJSVbsb/bdpp/common/scripts/setup/hadoop_setup.sh Slave <Enter>
注意
セットアップに失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応じてセットアップログ(/var/opt/FJSVbsb/bdpp/log/bdpp_setup.log)を参照して、失敗した原因を取り除き、再度インストールを実施してください。
参考
Apache Hadoopのセットアップによって、本機能のデフォルトの設定として Apache Hadoopおよび HDFS の構成が設定されます。構成設定をチューニングするには、“分散処理編 ユーザーズガイド”を参照してください。
“5.2.1.8 Hadoop設定ファイルの修正”で修正、作成した各Hadoop設定ファイルを /etc/opt/FJSVbsb/bdpp/hadoop 配下に複写します。
以下のHadoop設定ファイルをマスタサーバからスレーブサーバに複写します。
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
例
マスタサーバ(プライマリ)のホスト名がmaster1の場合
# scp -p root@master1:/etc/opt/FJSVbsb/bdpp/hadoop/core-site.xml /etc/opt/FJSVbsb/bdpp/hadoop <Enter> # scp -p root@master1:/etc/opt/FJSVbsb/bdpp/hadoop/hdfs-site.xml /etc/opt/FJSVbsb/bdpp/hadoop <Enter> # scp -p root@master1:/etc/opt/FJSVbsb/bdpp/hadoop/yarn-site.xml /etc/opt/FJSVbsb/bdpp/hadoop <Enter> # scp -p root@master1:/etc/opt/FJSVbsb/bdpp/hadoop/mapred-site.xml /etc/opt/FJSVbsb/bdpp/hadoop <Enter>