開発実行環境サーバでのセットアップ作業について説明します。
“5.2.1.1 スレーブサーバ定義ファイルslavesの作成”で作成したスレーブサーバ定義ファイル slaves を /etc/opt/FJSVbsb/bdpp/conf 配下に複写します。
マスタサーバで作成したスレーブ定義ファイルを開発実行環境サーバに複写します。
例
マスタサーバのホスト名がmaster1の場合
# scp -p root@master1:/etc/opt/FJSVbsb/bdpp/conf/slaves /etc/opt/FJSVbsb/bdpp/conf <Enter>
参照
スレーブサーバ定義ファイル slaves の詳細については、“C.2 slaves”を参照してください。
以下に格納されているサンプルファイルを/etc/opt/FJSVbsb/bdpp/conf/bdpp.confとして複写して、編集します。
/etc/opt/FJSVbsb/bdpp/conf/bdpp.conf.sample
設定例は、“開発実行環境サーバの定義例”を参照してください。
参照
構成ファイルbdpp.conf の詳細については、“C.1 bdpp.conf”の“C.1.3 開発実行環境サーバ”を参照してください。
BDPP_HADOOP_DEFAULT_GROUPに設定したグループの作成、BDPP_HADOOP_DEFAULT_USERSに設定したユーザーの作成、および設定を実施します。
BDPP_HADOOP_DEFAULT_GROUPに設定したグループを作成します。
以下を実行してBDPP_HADOOP_DEFAULT_GROUPに設定したグループを作成してください。
例
BDPP_HADOOP_DEFAULT_GROUPにbdppgroup,1500を設定した場合
# /usr/sbin/groupadd -g 1500 bdppgroup <Enter>
BDPP_HADOOP_DEFAULT_USERSに設定したユーザーを作成します。
以下を実行してBDPP_HADOOP_DEFAULT_USERSに設定したユーザーを追加、およびパスワードを設定してください。パスワードは任意です。
例
BDPP_HADOOP_DEFAULT_USERSにbdppuser1,1500を設定した場合
# /usr/sbin/useradd -u 1500 -g bdppgroup bdppuser1 <Enter> # passwd bdppuser1 <Enter>
ユーザープロファイルへの追加
環境変数を設定するために2.で作成したユーザーのユーザープロファイルにスクリプトの実行を追加します。
ユーザープロファイルの格納先はデフォルトで/home/{ユーザーID}/.bash_profileです。格納先を変更した場合は該当ファイルを修正してください。
上記のファイルに、“ . /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh”を追加します。
例
BDPP_HADOOP_DEFAULT_USERSにbdppuser1,1500を設定した場合
ユーザープロファイルの格納先のデフォルトは/home/bdppuser1/.bash_profile です。
以下の例のように編集します。
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:$HOME/.local/bin:$HOME/bin
export PATH
if [ -f /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh ]; then
. /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh
fi
hdfsユーザーの作成と設定を実施します。
hdfsユーザーを作成します。
以下を実行してhdfsユーザーを追加、およびパスワードを設定してください。
パスワードは任意です。
# useradd -u 201 -g hadoop hdfs <Enter> # passwd hdfs <Enter>
ユーザープロファイルへの追加
環境変数を設定するためにhdfsユーザーのユーザープロファイルにスクリプトの実行を追加します。
ユーザープロファイルの格納先はデフォルトで/home/hdfs/.bash_profileです。格納先を変更した場合は該当ファイルを修正してください。
上記のファイルに、“ . /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh”を追加します。
例
以下の例のように編集します。
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:$HOME/.local/bin:$HOME/bin
export PATH
if [ -f /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh ]; then
. /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh
fi
yarnユーザーの設定を実施します。yarnユーザーはインストール時に作成されています。
yarnユーザーのパスワードを設定します。
以下を実行してyarnユーザーのパスワードを設定してください。
パスワードは任意です。
# passwd yarn <Enter>
ユーザープロファイルへの追加
環境変数を設定するためにyarnユーザーのユーザープロファイルにスクリプトの実行を追加します。
ユーザープロファイルの格納先はデフォルトで/home/yarn/.bash_profileです。格納先を変更した場合は該当ファイルを修正してください。
上記のファイルに、“ . /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh”を追加します。
例
以下の例のように編集します。
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:$HOME/.local/bin:$HOME/bin
export PATH
if [ -f /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh ]; then
. /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh
fi
Apache Hadoopのセットアップを実施します
環境変数 JAVA_HOME を設定します。
環境変数 JAVA_HOME に Java Runtime Environment 8 をインストールしたディレクトリを設定します。
例
Java Runtime Environment 8 のインストールパスが /usr/lib/jre8 ディレクトリの場合
# export JAVA_HOME=/usr/lib/jre8 <Enter>
セットアップスクリプトを実行します。
以下のとおり、hadoop_setup.sh を実行してください。
# /opt/FJSVbsb/bdpp/common/scripts/setup/hadoop_setup.sh Development <Enter>
注意
セットアップに失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応じてセットアップログ(/var/opt/FJSVbsb/bdpp/log/bdpp_setup.log)を参照して、失敗した原因を取り除き、再度インストールを実施してください。
参考
Apache Hadoopのセットアップによって、本機能のデフォルトの設定として Apache Hadoop および HDFS の構成が設定されます。構成設定をチューニングするには、“分散処理編 ユーザーズガイド”を参照してください。
Apache ZooKeeper のセットアップを実施します。
なお、開発実行環境サーバを2台以上構築する場合、2台目以降の開発実行環境サーバに対してApache ZooKeeperのセットアップは不要です。本手順は読み飛ばしてください。
zookeeperユーザーを作成します。
以下を実行してzookeeperユーザーを追加してください。hadoopグループはインストール時に作成されています。
# useradd -u 205 -g hadoop zookeeper <Enter>
ユーザープロファイルへの追加
環境変数を設定するためにzookeeperユーザーのユーザープロファイルにスクリプトの実行を追加します。
ユーザープロファイルの格納先はデフォルトで/home/zookeeper/.bash_profileです。格納先を変更した場合は該当ファイルを修正してください。
上記のファイルに、“ . /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh”を追加します。
例
以下の例のように編集します。
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:$HOME/.local/bin:$HOME/bin
export PATH
if [ -f /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh ]; then
. /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh
fi
zoo.cfgを編集します。
サンプルのzoo_sample.cfgをzoo.cfgというファイル名に複写します。
# cd /etc/opt/FJSVbsb/bdpp/zookeeper <Enter> # cp -p zoo_sample.cfg zoo.cfg <Enter>
zoo.cfgを以下の例のように編集します。
例
dataDirパラメーター設定値を以下に修正してください。
dataDir=/var/opt/FJSVbsb/bdpp/zookeeper
ZKクラスタのパラメーター定義を以下の例に従って追加定義してください。
下記、修正例に記載しているmaster1、master2、developはマスタサーバ(プライマリ)、マスタサーバ(セカンダリ)、開発実行環境サーバのホスト名です。“4.1.2.5 ホスト名の設定”で設定した各サーバのホスト名に修正してください。
master1：マスタサーバ(プライマリ)ホスト名
master2：マスタサーバ(セカンダリ)ホスト名
develop：開発実行環境サーバホスト名
dataDir=/var/opt/FJSVbsb/bdpp/zookeeper server.1=master1:2888:3888 server.2=master2:2888:3888 server.3=develop:2888:3888
zookeeper-env.shを作成します。
以下を実行し、zookeeper-env.shファイルを作成します。
# echo "export ZOO_LOG_DIR=/var/opt/FJSVbsb/bdpp/log/zookeeper" > /etc/opt/FJSVbsb/bdpp/zookeeper/zookeeper-env.sh <Enter>
log4j.propertiesを修正します。
以下に格納されているlog4j.propertiesを修正します。
格納先：/etc/opt/FJSVbsb/bdpp/zookeeper/log4j.properties
以下に記載するパラメーターを修正してください。
zookeeper.log.dir
設定値を“/var/opt/FJSVbsb/bdpp/log/zookeeper”に修正します。
修正前
zookeeper.log.dir=.修正後
zookeeper.log.dir=/var/opt/FJSVbsb/bdpp/log/zookeeperログ格納ディレクトリを作成します。
以下を実行し、ログ格納ディレクトリを作成します。
# mkdir -p /var/opt/FJSVbsb/bdpp/log/zookeeper <Enter> # chown zookeeper:hadoop /var/opt/FJSVbsb/bdpp/log/zookeeper <Enter>
myidを設定します。
以下を実行し、myidを設定してください。
# mkdir -p /var/opt/FJSVbsb/bdpp/zookeeper <Enter> # echo "3" > /var/opt/FJSVbsb/bdpp/zookeeper/myid <Enter> # chown -R zookeeper:hadoop /var/opt/FJSVbsb/bdpp/zookeeper <Enter>
“5.2.1.8 Hadoop設定ファイルの修正”で修正、作成した各Hadoop設定ファイルを/etc/opt/FJSVbsb/bdpp/hadoop 配下に複写します。
以下のHadoop設定ファイルをマスタサーバから開発実行環境サーバに複写します。
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
例
マスタサーバのホスト名がmaster1の場合
# scp -p root@master1:/etc/opt/FJSVbsb/bdpp/hadoop/core-site.xml /etc/opt/FJSVbsb/bdpp/hadoop <Enter> # scp -p root@master1:/etc/opt/FJSVbsb/bdpp/hadoop/hdfs-site.xml /etc/opt/FJSVbsb/bdpp/hadoop <Enter> # scp -p root@master1:/etc/opt/FJSVbsb/bdpp/hadoop/yarn-site.xml /etc/opt/FJSVbsb/bdpp/hadoop <Enter> # scp -p root@master1:/etc/opt/FJSVbsb/bdpp/hadoop/mapred-site.xml /etc/opt/FJSVbsb/bdpp/hadoop <Enter>
“5.2.1.9 Spark設定ファイルの修正”で修正、作成したSpark設定ファイルを /etc/opt/FJSVbsb/bdpp/spark 配下に複写します。
以下のSpark設定ファイルをマスタサーバから開発実行環境サーバに複写します。
spark-default.conf
例
マスタサーバのホスト名がmaster1の場合
# scp -p root@master1:/etc/opt/FJSVbsb/bdpp/spark/spark-defaults.conf /etc/opt/FJSVbsb/bdpp/spark <Enter>