マスタサーバでのセットアップ作業について説明します。
接続対象となるスレーブサーバをマスタサーバ上のスレーブサーバ定義ファイル /etc/opt/FJSVbsb/bdpp/conf/slaves を新規作成して定義します。
マスタサーバ(プライマリ)上でスレーブサーバ定義ファイルを作成します。
例
5台のスレーブサーバ slave1、slave2、slave3、slave4、slave5 を定義する場合
# cat /etc/opt/FJSVbsb/bdpp/conf/slaves <Enter> slave1,slave2,slave3,slave4,slave5
作成したスレーブ定義ファイルをマスタサーバ(セカンダリ)に転送します。
例
マスタサーバ(セカンダリ)のホスト名がmaster2の場合
# scp -p /etc/opt/FJSVbsb/bdpp/conf/slaves master2:/etc/opt/FJSVbsb/bdpp/conf/. <Enter>
参照
スレーブサーバ定義ファイル slaves の詳細については、“C.2 slaves”を参照してください。
以下に格納されているサンプルファイルを/etc/opt/FJSVbsb/bdpp/conf/bdpp.confとして複写して、編集します。
/etc/opt/FJSVbsb/bdpp/conf/bdpp.conf.sample
設定例は、“マスタサーバの定義例”を参照してください。
構成ファイル bdpp.conf はマスタサーバ(プライマリ)およびマスタサーバ(セカンダリ)で共通の設定である必要があります。マスタサーバ(セカンダリ)のセットアップを行う前に、マスタサーバ(プライマリ)で使用した構成ファイル bdpp.conf をマスタサーバ(セカンダリ)にも複写してください。
例
構成ファイル bdpp.conf を /etc/opt/FJSVbsb/bdpp/conf ディレクトリ配下で作成し、マスタサーバ(セカンダリ)のホスト名がmaster2の場合
# cd /etc/opt/FJSVbsb/bdpp/conf/ <Enter> # scp -p ./bdpp.conf root@master2:/etc/opt/FJSVbsb/bdpp/conf/bdpp.conf <Enter>
参照
構成ファイル bdpp.conf の詳細については、“C.1 bdpp.conf”の“C.1.1 マスタサーバ”を参照してください。
BDPP_HADOOP_DEFAULT_GROUPに設定したグループの作成、BDPP_HADOOP_DEFAULT_USERSに設定したユーザーの作成および設定を実施します。
マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)に対して、以下を実行してください。
BDPP_HADOOP_DEFAULT_GROUPに設定したグループを作成します。
以下を実行してBDPP_HADOOP_DEFAULT_GROUPに設定したグループを作成してください。
例
BDPP_HADOOP_DEFAULT_GROUPにbdppgroup,1500を設定した場合
# /usr/sbin/groupadd -g 1500 bdppgroup <Enter>
BDPP_HADOOP_DEFAULT_USERSに設定したユーザーを作成します。
以下を実行してBDPP_HADOOP_DEFAULT_USERSに設定したユーザーを追加、およびパスワードを設定してください。パスワードは任意です。
例
BDPP_HADOOP_DEFAULT_USERSにbdppuser1,1500を設定した場合
# /usr/sbin/useradd -u 1500 -g bdppgroup bdppuser1 <Enter> # passwd bdppuser1 <Enter>
ユーザープロファイルへの追加
環境変数を設定するために2.で作成したユーザーのユーザープロファイルにスクリプトの実行を追加します。
ユーザープロファイルの格納先はデフォルトで/home/{ユーザーID}/.bash_profileです。格納先を変更した場合は該当ファイルを修正してください。
上記のファイルに、“ . /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh”を追加します。
例
BDPP_HADOOP_DEFAULT_USERSにbdppuser1,1500を設定した場合
ユーザープロファイルの格納先のデフォルトは、/home/bdppuser1/.bash_profile です。
以下の例のように編集します。
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:$HOME/.local/bin:$HOME/bin
export PATH
if [ -f /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh ]; then
. /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh
fi
hdfsユーザーの作成と設定を実施します。
マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)に対して、以下を実行してください。
hdfsユーザーを作成します。
以下を実行してhdfsユーザーを追加、およびパスワードを設定してください。hadoopグループはインストール時に作成されています。パスワードは任意です。
# useradd -u 201 -g hadoop hdfs <Enter> # passwd hdfs <Enter>
ユーザープロファイルへの追加
環境変数を設定するためにhdfsユーザーのユーザープロファイルにスクリプトの実行を追加します。
ユーザープロファイルの格納先はデフォルトで/home/hdfs/.bash_profileです。格納先を変更した場合は該当ファイルを修正してください。
上記のファイルに、“ . /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh”を追加します。
例
以下の例のように編集します。
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:$HOME/.local/bin:$HOME/bin
export PATH
if [ -f /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh ]; then
. /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh
fi
yarnユーザーの設定を実施します。yarnユーザーはインストール時に作成されています。
マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)に対して、以下を実行してください。
yarnユーザーのパスワードを設定します。
以下を実行してyarnユーザーのパスワードを設定してください。
パスワードは任意です。
# passwd yarn <Enter>
ユーザープロファイルへの追加
環境変数を設定するためにyarnユーザーのユーザープロファイルにスクリプトの実行を追加します。
ユーザープロファイルの格納先はデフォルトで/home/yarn/.bash_profileです。格納先を変更した場合は該当ファイルを修正してください。
上記のファイルに、“ . /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh”を追加します。
例
以下の例のように編集します。
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:$HOME/.local/bin:$HOME/bin
export PATH
if [ -f /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh ]; then
. /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh
fi
Apache Hadoop のセットアップを実施します。
マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)に対して、以下を実行してください。
環境変数 JAVA_HOME を設定します。
環境変数 JAVA_HOME に Java Runtime Environment 8 をインストールしたディレクトリを設定します。
例
Java Runtime Environment 8 のインストールパスが /usr/lib/jre8 ディレクトリの場合
# export JAVA_HOME=/usr/lib/jre8 <Enter>
セットアップスクリプトを実行します。
以下のとおり、hadoop_setup.sh を実行してください。
# /opt/FJSVbsb/bdpp/common/scripts/setup/hadoop_setup.sh Master <Enter>
注意
セットアップに失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応じてセットアップログ(/var/opt/FJSVbsb/bdpp/log/bdpp_setup.log)を参照して、失敗した原因を取り除き、再度インストールを実施してください。
参考
Apache Hadoop のセットアップによって、本機能のデフォルトの設定として Hadoop および HDFS の構成が設定されます。構成設定をチューニングするには、“分散処理編 ユーザーズガイド”を参照してください。
Apache ZooKeeperのセットアップを実施します
マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)に対して、以下を実行してください。
zookeeperユーザーを作成します。
以下を実行してzookeeperユーザーを追加してください。hadoopグループはインストール時に作成されています。
# useradd -u 205 -g hadoop zookeeper <Enter>
ユーザープロファイルへの追加
環境変数を設定するためにzookeeperユーザーのユーザープロファイルにスクリプトの実行を追加します。
ユーザープロファイルの格納先はデフォルトで/home/zookeeper/.bash_profileです。格納先を変更した場合は該当ファイルを修正してください。
上記のファイルに、“ . /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh”を追加します。
例
以下の例のように編集します。
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:$HOME/.local/bin:$HOME/bin
export PATH
if [ -f /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh ]; then
. /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh
fi
zoo.cfgを編集します。
サンプルのzoo_sample.cfgをzoo.cfgというファイル名に複写します。
# cd /etc/opt/FJSVbsb/bdpp/zookeeper <Enter> # cp -p zoo_sample.cfg zoo.cfg <Enter>
zoo.cfgを以下の例のように編集します。
例
dataDirパラメーター設定値を以下に修正してください。
dataDir=/var/opt/FJSVbsb/bdpp/zookeeper
ZKクラスタのパラメーター定義を以下の例に従って追加定義してください。
下記、修正例に記載しているmaster1、master2、developはマスタサーバ(プライマリ)、マスタサーバ(セカンダリ)、開発実行環境サーバのホスト名です。“4.1.2.5 ホスト名の設定”で設定した各サーバのホスト名に修正してください。
master1：マスタサーバ(プライマリ)ホスト名
master2：マスタサーバ(セカンダリ)ホスト名
develop：開発実行環境サーバホスト名
dataDir=/var/opt/FJSVbsb/bdpp/zookeeper server.1=master1:2888:3888 server.2=master2:2888:3888 server.3=develop:2888:3888
zookeeper-env.shを作成します。
以下を実行し、zookeeper-env.shファイルを作成します。
# echo "export ZOO_LOG_DIR=/var/opt/FJSVbsb/bdpp/log/zookeeper" > /etc/opt/FJSVbsb/bdpp/zookeeper/zookeeper-env.sh <Enter>
log4j.propertiesを修正します。
以下に格納されているlog4j.propertiesを修正します。
格納先：/etc/opt/FJSVbsb/bdpp/zookeeper/log4j.properties
以下に記載するパラメーターを修正してください。
zookeeper.log.dir
設定値を“/var/opt/FJSVbsb/bdpp/log/zookeeper”に修正します。
修正前
zookeeper.log.dir=.修正後
zookeeper.log.dir=/var/opt/FJSVbsb/bdpp/log/zookeeper
ログ格納ディレクトリを作成します。
以下を実行し、ログ格納ディレクトリを作成します。
# mkdir -p /var/opt/FJSVbsb/bdpp/log/zookeeper <Enter> # chown zookeeper:hadoop /var/opt/FJSVbsb/bdpp/log/zookeeper <Enter>
myidを設定します。
マスタサーバ別に以下を実行し、myidを設定してください。
マスタサーバ(プライマリ)の場合
# mkdir -p /var/opt/FJSVbsb/bdpp/zookeeper <Enter> # echo "1" > /var/opt/FJSVbsb/bdpp/zookeeper/myid <Enter> # chown -R zookeeper:hadoop /var/opt/FJSVbsb/bdpp/zookeeper <Enter>
マスタサーバ(セカンダリ)の場合
# mkdir -p /var/opt/FJSVbsb/bdpp/zookeeper <Enter> # echo "2" > /var/opt/FJSVbsb/bdpp/zookeeper/myid <Enter> # chown -R zookeeper:hadoop /var/opt/FJSVbsb/bdpp/zookeeper <Enter>
以下のHadoop設定ファイルを修正します。
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
dfs.include
yarn.include
マスタサーバ(プライマリ)に対して、以下を実行してください。
作成後、“5.2.1.8.7 修正ファイルの転送”でマスタサーバ(セカンダリ)に転送します。
以下に格納されているcore-site.xmlを修正します。
格納先：/etc/opt/FJSVbsb/bdpp/hadoop/core-site.xml
以下に記載するパラメーターを修正してください。
fs.defaultFS
value値から“:8020”という記述を削除します。
下記、修正例に記載しているclusterはセットアップ時に指定したbdpp.confの以下の設定値が反映されています。実際の設定値に合わせて読み替えてください。
cluster：二重化構成ネームサービス名(bdpp.confの“BDPP_CLUSTER_NAME”設定値)
修正前
<property>
<name>fs.defaultFS</name>
<value>hdfs://cluster:8020</value>
</property>修正後
<property> <name>fs.defaultFS</name> <value>hdfs://cluster</value> </property>
fs.hdfs.impl、fs.AbstractFileSystem.pdfs.impl、fs.AbstractFileSystem.hdfs.impl
対象パラメーターの設定定義をコメントアウトしてください。
修正前
<property> <name>fs.hdfs.impl</name> <value>com.fujitsu.pdfs.fs.PdfsDirectHFS</value> </property> <property> <name>fs.AbstractFileSystem.pdfs.impl</name> <value>com.fujitsu.pdfs.fs.PdfsDirectFs</value> </property> <property> <name>fs.AbstractFileSystem.hdfs.impl</name> <value>com.fujitsu.pdfs.fs.PdfsDirectFs</value> </property>
修正後
<!-- <property> <name>fs.hdfs.impl</name> <value>com.fujitsu.pdfs.fs.PdfsDirectHFS</value> </property> <property> <name>fs.AbstractFileSystem.pdfs.impl</name> <value>com.fujitsu.pdfs.fs.PdfsDirectFs</value> </property> <property> <name>fs.AbstractFileSystem.hdfs.impl</name> <value>com.fujitsu.pdfs.fs.PdfsDirectFs</value> </property> -->
また、以下のパラメーターを追加してください。
下記、修正例に記載しているmaster1、master2、developはマスタサーバ(プライマリ)、マスタサーバ(セカンダリ)、開発実行環境サーバのホスト名です。“4.1.2.5 ホスト名の設定”で設定した各サーバのホスト名に修正してください。
master1：マスタサーバ(プライマリ)ホスト名
master2：マスタサーバ(セカンダリ)ホスト名
develop：開発実行環境サーバホスト名
<property> <name>ha.zookeeper.quorum</name> <value>master1:2181,master2:2181,develop:2181</value> </property>
以下に格納されているhdfs-site.xmlを修正します。
/etc/opt/FJSVbsb/bdpp/hadoop/hdfs-site.xml
以下に記載するパラメーターを修正してください。
dfs.http.address
value値を“0.0.0.0:50070”に修正します。
下記、修正例に記載しているclusterはセットアップ時に指定したbdpp.confの以下の設定値が反映されています。実際の設定値に合わせて読み替えてください。
cluster：二重化構成ネームサービス名(bdpp.confの“BDPP_CLUSTER_NAME”設定値)
修正前
<property>
<name>dfs.http.address</name>
<value>cluster:50070</value>
literal string "local" or a host:port for NDFS.
</description>
<final>true</final>
</property>修正後
<property>
<name>dfs.http.address</name>
<value>0.0.0.0:50070</value>
literal string "local" or a host:port for NDFS.
</description>
<final>true</final>
</property>dfs.secondary.http.address
value値を“0.0.0.0:50090”に修正します。
下記、修正例に記載しているclusterはセットアップ時に指定したbdpp.confの以下の設定値が反映されています。実際の設定値に合わせて読み替えてください。
cluster：二重化構成ネームサービス名(bdpp.confの“BDPP_CLUSTER_NAME”設定値)
修正前
<property>
<name>dfs.secondary.http.address</name>
<value>cluster:50090</value>
If the port is 0 then the server will start on a free port.
</description>
<final>true</final>
</property>修正後
<property>
<name>dfs.secondary.http.address</name>
<value>0.0.0.0:50090</value>
If the port is 0 then the server will start on a free port.
</description>
<final>true</final>
</property>また、以下の各パラメーターを追加してください。
下記、修正例に記載しているclusterはセットアップ時に指定したbdpp.confの以下の設定値が反映されています。実際の設定値に合わせて修正してください。
また、master1、master2、developはマスタサーバ(プライマリ)、マスタサーバ(セカンダリ)、開発実行環境サーバのホスト名です。“4.1.2.5 ホスト名の設定”で設定した各サーバのホスト名に修正してください。
cluster：二重化構成ネームサービス名(bdpp.confの“BDPP_CLUSTER_NAME”設定値)
master1：マスタサーバ(プライマリ)ホスト名
master2：マスタサーバ(セカンダリ)ホスト名
develop：開発実行環境サーバホスト名
<property> <name>dfs.nameservices</name> <value>cluster</value> </property> <property> <name>dfs.ha.namenodes.cluster</name> <value>nn1,nn2</value> </property> <property> <name>dfs.namenode.rpc-address.cluster.nn1</name> <value>master1:8020</value> </property> <property> <name>dfs.namenode.rpc-address.cluster.nn2</name> <value>master2:8020</value> </property> <property> <name>dfs.namenode.http-address.cluster.nn1</name> <value>master1:50070</value> </property> <property> <name>dfs.namenode.http-address.cluster.nn2</name> <value>master2:50070</value> </property> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://master1:8485;master2:8485;develop:8485/cluster</value> </property> <property> <name>dfs.client.failover.proxy.provider.cluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value>shell(/bin/true)</value> </property> <property> <name>dfs.journalnode.edits.dir</name> <value>/var/opt/FJSVbsb/bdpp/hdfs/jn</value> </property> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <property> <name>dfs.support.append</name> <value>true</value> </property> <property> <name>dfs.datanode.balance.bandwidthPerSec</name> <value>6250000</value> </property> <property> <name>dfs.namenode.name.dir.restore</name> <value>true</value> </property>
以下に格納されているyarn-site.xmlを修正します。
/etc/opt/FJSVbsb/bdpp/hadoop/yarn-site.xml
以下に記載するパラメーターを修正してください。
パラメーターの設定定義をコメントアウトしてください。
下記、修正例に記載しているclusterはセットアップ時に指定したbdpp.confの以下の設定値が反映されています。実際の設定値に合わせて読み替えてください。
cluster：二重化構成ネームサービス名(bdpp.confの“BDPP_CLUSTER_NAME”設定値)
修正前
<property>
<name>yarn.resourcemanager.hostname</name>
<value>cluster</value>
</property>修正後
<!-- <property> <name>yarn.resourcemanager.hostname</name> <value>cluster</value> </property> -->
yarn.nodemanager.remote-app-log-dir
value値から“pdfs://”という記述を削除してください。
修正前
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>pdfs:///history/done/yarn</value>
</property>修正後
<property> <name>yarn.nodemanager.remote-app-log-dir</name> <value>/history/done/yarn</value> </property>
yarn.log.server.url
パラメーターの設定定義をコメントアウトしてください。
下記、修正例に記載しているclusterはセットアップ時に指定したbdpp.confの以下の設定値が反映されています。実際の設定値に合わせて読み替えてください。
cluster：二重化構成ネームサービス名(bdpp.confの“BDPP_CLUSTER_NAME”設定値)
修正前
<property>
<name>yarn.log.server.url</name>
<value>http://cluster:19888/jobhistory/logs</value>
</property>修正後
<!-- <property> <name>yarn.log.server.url</name> <value>http://cluster:19888/jobhistory/logs</value> </property> -->
また、以下の各パラメーターを追加してください。
下記、修正例に記載しているclusterはセットアップ時に指定したbdpp.confの以下の設定値が反映されています。実際の設定値に合わせて修正してください。
また、master1、master2、developはマスタサーバ(プライマリ)、マスタサーバ(セカンダリ)、開発実行環境サーバのホスト名です。“4.1.2.5 ホスト名の設定”で設定した各サーバのホスト名に修正してください。
cluster：二重化構成ネームサービス名(bdpp.confの“BDPP_CLUSTER_NAME”設定値)
master1：マスタサーバ(プライマリ)ホスト名
master2：マスタサーバ(セカンダリ)ホスト名
develop：開発実行環境サーバホスト名
<property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <property> <name>yarn.resourcemanager.cluster-id</name> <value>cluster</value> </property> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>master1</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>master2</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm1</name> <value>master1:8088</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm2</name> <value>master2:8088</value> </property> <property> <name>yarn.resourcemanager.recovery.enabled</name> <value>true</value> </property> <property> <name>yarn.resourcemanager.store.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> </property> <property> <name>yarn.resourcemanager.zk-address</name> <value>master1:2181,master2:2181,develop:2181</value> </property> <property> <name>yarn.resourcemanager.recovery.enabled</name> <value>true</value> </property> <property> <name>yarn.resourcemanager.nodes.include-path</name> <value>/etc/opt/FJSVbsb/bdpp/hadoop/yarn.include</value> </property> <property> <name>yarn.resourcemanager.nodes.exclude-path</name> <value>/etc/opt/FJSVbsb/bdpp/hadoop/yarn.exclude</value> </property>
以下に格納されているmapred-site.xmlを修正します。
格納先：/etc/opt/FJSVbsb/bdpp/hadoop/mapred-site.xml
以下に記載するパラメーターを修正してください。
mapreduce.jobhistory.address、mapreduce.jobhistory.webapp.address、
mapreduce.jobhistory.webapp.https.address、mapreduce.jobhistory.admin.address
各パラメーターの設定定義をコメントアウトしてください。
下記、修正例に記載しているclusterはセットアップ時に指定したbdpp.confの以下の設定値が反映されています。実際の設定値に合わせて読み替えてください。
cluster：二重化構成ネームサービス名(bdpp.confの“BDPP_CLUSTER_NAME”設定値)
修正前
<property> <name>mapreduce.jobhistory.address</name> <value>cluster:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>cluster:19888</value> </property> <property> <name>mapreduce.jobhistory.webapp.https.address</name> <value>cluster:19890</value> </property> <property> <name>mapreduce.jobhistory.admin.address</name> <value>cluster:10033</value> </property>
修正後
<!-- <property> <name>mapreduce.jobhistory.address</name> <value>cluster:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>cluster:19888</value> </property> <property> <name>mapreduce.jobhistory.webapp.https.address</name> <value>cluster:19890</value> </property> <property> <name>mapreduce.jobhistory.admin.address</name> <value>cluster:10033</value> </property> -->
接続対象となるスレーブサーバをマスタサーバ上のNameNodeへの接続を許可するスレーブサーバを定義するファイル /etc/opt/FJSVbsb/bdpp/hadoop/dfs.include に定義します。
マスタサーバ(プライマリ)上でスレーブサーバ定義ファイルを作成します。
例
5台のスレーブサーバ slave1、slave2、slave3、slave4、slave5 を定義する場合
# cat /etc/opt/FJSVbsb/bdpp/hadoop/dfs.include <Enter> slave1 slave2 slave3 slave4 slave5
接続対象となるスレーブサーバをマスタサーバ上のResourceManagerへの接続を許可するスレーブサーバを定義するファイル /etc/opt/FJSVbsb/bdpp/hadoop/yarn.include に定義します。
マスタサーバ(プライマリ)上でスレーブサーバ定義ファイルを作成します。
例
5台のスレーブサーバ slave1、slave2、slave3、slave4、slave5 を定義する場合
# cat /etc/opt/FJSVbsb/bdpp/hadoop/yarn.include <Enter> slave1 slave2 slave3 slave4 slave5
以下を実行して修正、作成したファイルをマスタサーバ(セカンダリ)に転送します。
例
マスタサーバ(セカンダリ)のホスト名がmaster2の場合
# scp -p /etc/opt/FJSVbsb/bdpp/hadoop/core-site.xml master2:/etc/opt/FJSVbsb/bdpp/hadoop/. <Enter> # scp -p /etc/opt/FJSVbsb/bdpp/hadoop/hdfs-site.xml master2:/etc/opt/FJSVbsb/bdpp/hadoop/. <Enter> # scp -p /etc/opt/FJSVbsb/bdpp/hadoop/yarn-site.xml master2:/etc/opt/FJSVbsb/bdpp/hadoop/. <Enter> # scp -p /etc/opt/FJSVbsb/bdpp/hadoop/mapred-site.xml master2:/etc/opt/FJSVbsb/bdpp/hadoop/. <Enter> # scp -p /etc/opt/FJSVbsb/bdpp/hadoop/dfs.include master2:/etc/opt/FJSVbsb/bdpp/hadoop/. <Enter> # scp -p /etc/opt/FJSVbsb/bdpp/hadoop/yarn.include master2:/etc/opt/FJSVbsb/bdpp/hadoop/. <Enter>
以下に格納されているspark-defaults.confを修正します。
格納先：/etc/opt/FJSVbsb/bdpp/spark/spark-defaults.conf
以下に記載するパラメーターを修正してください。
spark.eventLog.dir
value値の“pdfs:///history/done/spark”を“hdfs:///history/done/spark”に修正します。
修正前
spark.eventLog.dir pdfs:///history/done/spark
修正後
spark.eventLog.dir hdfs:///history/done/sparkspark.history.fs.logDirectory
value値の“pdfs:///history/done/spark”を“hdfs:///history/done/spark”に修正します。
修正前
spark.history.fs.logDirectory pdfs:///history/done/spark
修正後
spark.history.fs.logDirectory hdfs:///history/done/spark以下を実行して修正ファイルをマスタサーバ(セカンダリ)に転送します。
例
マスタサーバ(セカンダリ)のホスト名がmaster2の場合
# scp -p /etc/opt/FJSVbsb/bdpp/spark/spark-defaults.conf master2:/etc/opt/FJSVbsb/bdpp/spark/. <Enter>