ページの先頭行へ戻る
Big Data Integration ServerV1.1.0 利用ガイド
FUJITSU Software

5.2.2 スレーブサーバのセットアップ

スレーブサーバでのセットアップ作業について説明します。

2台目以降のスレーブサーバにおいても、同様に実施してください。



5.2.2.1 スレーブサーバ定義ファイルslavesの取得

5.2.1.1 スレーブサーバ定義ファイルslavesの作成”で作成したスレーブサーバ定義ファイルslavesを /etc/opt/FJSVbsb/bdpp/conf 配下に複写します。

  1. マスタサーバで作成したスレーブ定義ファイルをスレーブサーバに複写します。

    マスタサーバのホスト名がmaster1の場合

    # scp -p root@master1:/etc/opt/FJSVbsb/bdpp/conf/slaves /etc/opt/FJSVbsb/bdpp/conf <Enter>

参照

スレーブサーバ定義ファイル slaves の詳細については、“C.2 slaves”を参照してください。

5.2.2.2 構成ファイルbdpp.confの作成

以下に格納されているサンプルファイルを/etc/opt/FJSVbsb/bdpp/conf/bdpp.confとして複写して、編集します。

/etc/opt/FJSVbsb/bdpp/conf/bdpp.conf.sample

設定例は、“スレーブサーバの定義例”を参照してください。

参照

構成ファイル bdpp.conf の詳細については、“C.1 bdpp.conf”の“C.1.2 スレーブサーバ”を参照してください。

5.2.2.3 構成ファイル bdpp.confに記載したユーザーとグループの作成および設定

BDPP_HADOOP_DEFAULT_GROUPに設定したグループの作成、BDPP_HADOOP_DEFAULT_USERSに設定したユーザーの作成、および設定を実施します。

  1. BDPP_HADOOP_DEFAULT_GROUPに設定したグループを作成します。

    以下を実行してBDPP_HADOOP_DEFAULT_GROUPに設定したグループを作成してください。

    BDPP_HADOOP_DEFAULT_GROUPにbdppgroup,1500を設定した場合

    # /usr/sbin/groupadd -g 1500 bdppgroup <Enter>
  2. BDPP_HADOOP_DEFAULT_USERSに設定したユーザーを作成します。

    以下を実行してBDPP_HADOOP_DEFAULT_USERSに設定したユーザーを追加、およびパスワードを設定してください。パスワードは任意です。

    BDPP_HADOOP_DEFAULT_USERSにbdppuser1,1500を設定した場合

    # /usr/sbin/useradd -u 1500 -g bdppgroup bdppuser1 <Enter>
    # passwd bdppuser1 <Enter>
  3. ユーザープロファイルへの追加

    環境変数を設定するために2.で作成したユーザーのユーザープロファイルにスクリプトの実行を追加します。

    ユーザープロファイルの格納先はデフォルトで/home/{ユーザーID}/.bash_profileです。格納先を変更した場合は該当ファイルを修正してください。

    上記のファイルに、“ . /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh”を追加します。

    BDPP_HADOOP_DEFAULT_USERSにbdppuser1,1500を設定した場合

    ユーザープロファイルの格納先のデフォルトは、/home/bdppuser1/.bash_profile です。

    以下の例のように編集します。

    # Get the aliases and functions
    if [ -f ~/.bashrc ]; then
            . ~/.bashrc
    fi
    
    # User specific environment and startup programs
    
    PATH=$PATH:$HOME/.local/bin:$HOME/bin
    
    export PATH
    
    if [ -f /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh ]; then
    . /etc/opt/FJSVbsb/bdpp/conf/bdpp-products-env.sh

    fi

5.2.2.4 hdfsユーザーの作成と設定

hdfsユーザーの作成と設定を実施します。

  1. hdfsユーザーを作成します。

    以下を実行してhdfsユーザーを追加、およびパスワードを設定してください。

    パスワードは任意です。

    # useradd -u 201 -g hadoop hdfs <Enter>
    # passwd hdfs <Enter>

5.2.2.5 yarnユーザーの設定

yarnユーザーの設定を実施します。yarnユーザーはインストール時に作成されています。

  1. yarnユーザーのパスワードを設定します。

    以下を実行してyarnユーザーのパスワードを設定してください。

    パスワードは任意です。

    # passwd yarn <Enter>

5.2.2.6 Apache Hadoopのセットアップの実行

Apache Hadoopのセットアップを実施します

  1. 環境変数 JAVA_HOME を設定します。

    環境変数 JAVA_HOME に Java Runtime Environment 8 をインストールしたディレクトリを設定します。

    Java Runtime Environment 8 のインストールパスが /usr/lib/jre8 ディレクトリの場合

    # export JAVA_HOME=/usr/lib/jre8 <Enter>
  2. セットアップスクリプトを実行します。

以下のとおり、hadoop_setup.sh を実行してください。

# /opt/FJSVbsb/bdpp/common/scripts/setup/hadoop_setup.sh Slave <Enter>

注意

セットアップに失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応じてセットアップログ(/var/opt/FJSVbsb/bdpp/log/bdpp_setup.log)を参照して、失敗した原因を取り除き、再度インストールを実施してください。

参考

Apache Hadoopのセットアップによって、本機能のデフォルトの設定として Apache Hadoopおよび HDFS の構成が設定されます。構成設定をチューニングするには、“分散処理編 ユーザーズガイド”を参照してください。

5.2.2.7 Hadoop設定ファイルの取得

5.2.1.8 Hadoop設定ファイルの修正”で修正、作成した各Hadoop設定ファイルを /etc/opt/FJSVbsb/bdpp/hadoop 配下に複写します。

  1. 以下のHadoop設定ファイルをマスタサーバからスレーブサーバに複写します。

    • core-site.xml

    • hdfs-site.xml

    • yarn-site.xml

    • mapred-site.xml

    マスタサーバ(プライマリ)のホスト名がmaster1の場合

    # scp -p root@master1:/etc/opt/FJSVbsb/bdpp/hadoop/core-site.xml /etc/opt/FJSVbsb/bdpp/hadoop <Enter>
    # scp -p root@master1:/etc/opt/FJSVbsb/bdpp/hadoop/hdfs-site.xml /etc/opt/FJSVbsb/bdpp/hadoop <Enter>
    # scp -p root@master1:/etc/opt/FJSVbsb/bdpp/hadoop/yarn-site.xml /etc/opt/FJSVbsb/bdpp/hadoop <Enter>
    # scp -p root@master1:/etc/opt/FJSVbsb/bdpp/hadoop/mapred-site.xml /etc/opt/FJSVbsb/bdpp/hadoop <Enter>