D.2 インベントリファイル(hosts)

セットアップ時に使用するインベントリファイルについて説明します。

サーバ情報

書式

以下の形式で構成されます。

[項目名]

IPアドレス

“任意”の項目は省略可能です。

省略時は以下のように項目名およびIPアドレスの行頭に#を記述してください。

#[項目名]

#IPアドレス

設定内容

収集機能

以下は収集機能の環境構築時に必要です。

項目名	必須/任意	設定例	説明
[collect_server]	必須	192.168.10.150	収集サーバのIPアドレスを指定します。
[collect_agent]	必須	192.168.10.151	収集エージェントのIPアドレスを指定します。

並列分散処理

以下は並列分散処理の環境構築時とセキュリティ管理の有効化を行う際に必要です。

項目名	必須/任意	設定例	説明
[master_primary]	必須	192.168.10.165	プライマリのマスタサーバのIPアドレスを指定します。
[master_secondary]	必須	192.168.10.166	セカンダリのマスタサーバのIPアドレスを指定します。
[slave]	必須	192.168.10.167 192.168.10.168 192.168.10.169	スレーブサーバのIPアドレスを指定します。複数台のサーバを指定する場合、１行に１台ずつ記述してください。
[adding_slave]	任意	192.168.10.170	環境構築後にスレーブサーバを追加する場合に追加スレーブサーバのIPアドレスを指定します。複数台のサーバを指定する場合、１行に１台ずつ記述してください。不要な場合は、IPアドレスを記述しないでください。
[develop]	必須	192.168.10.162 192.168.10.163	開発実行環境サーバのIPアドレスを指定します。複数台のサーバを指定する場合、１行に１台ずつ記述してください。
[develop_ZK]	必須	192.168.10.162	Apache ZooKeeperをセットアップする開発実行環境サーバのIPアドレスを指定します。開発実行環境サーバが1台の場合は、[develop]と同じ値を指定してください。

動作設定

書式

以下の形式で構成されます。

項目名=指定値

“任意”の項目は省略可能です。

省略時は以下のように行頭に#を記述してください。

#項目名=指定値

定義内容

全機能

以下はすべての環境構築時に必要です。

項目名	必須/任意	設定例	説明
jredir	必須	/usr/lib/jre8	JREインストール先ディレクトリを指定します。構築対象の全サーバで本指定値が有効になります。全サーバで同じインストール先にJREをインストールしてください。

収集機能

以下は収集機能の環境構築時に必要です。

項目名	必須/任意	設定例	省略値	説明
retention_hours	任意	24	24	メッセージングの受信データ保管期間を時間単位で指定します。本指定値をKafka設定ファイル(server.properties)のlog.retention.hoursパラメーターに設定します。
message_max_bytes	任意	16777216	16777216	メッセージングのApache Kafka Brokerで取得可能な最大データサイズをバイト単位で指定します。本指定値をKafka設定ファイル(server.properties)のmessage.max.bytesパラメーターに設定します。
fetch_message_max_bytes	任意	4096 * 4096	4096 * 4096	メッセージングのApache Kafka Consumerで取得可能な最大データサイズをバイト単位で指定します。本指定値をKafka設定ファイル(consumer.properties)のfetch.message.max.bytesパラメーターに設定します。
snapRetainCount	任意	3	3	メッセージングのApache ZooKeeperのスナップショット保持世代を指定します。本指定値をZooKeeper設定ファイル(zookeeper.properties)のautopurge.snapRetainCountパラメーターに設定します。
purgeInterval	任意	24	24	メッセージングのApache ZooKeeperの世代数を超えたスナップショットを削除する間隔を時間単位で指定します。本指定値をZooKeeper設定ファイル(zookeeper.properties)のautopurge.purgeIntervalパラメーターに設定します。

並列分散処理

以下は並列分散処理の環境構築時に必要です。ただし、スレーブサーバを追加する場合は不要です。

項目名	必須/任意	設定例	省略値	説明
port_yarnsite	任意	8041	不定	Apache Hadoopで使用するポート番号を指定します。本指定値をHadoop設定ファイル(yarn-site.xml)のyarn.nodemanager.addressパラメーターに設定します。
port_mapredsite	任意	"52001-53000"	不定	Apache Hadoopで使用するポート番号を指定します。本指定値をHadoop設定ファイル(mapred-site.xml)の yarn.app.mapreduce.am.job.client.port-rangeパラメーターに設定します。
port_sparkdriver	任意	54000	不定	Apache Sparkで使用するポート番号を指定します。本指定値をSpark設定ファイル(spark-defaults.conf) のspark.driver.portパラメーターに設定します。
port_sparkblockmanager	任意	55000	不定	Apache Sparkで使用するポート番号を指定します。本指定値をSpark設定ファイル(spark-defaults.conf) のspark.blockManager.portパラメーターに設定します。

セキュリティ管理の有効化

以下はセキュリティ管理の有効化を行う際に必要です。

項目名	必須/任意	設定例	省略値	説明
SQL_CONNECTOR_JAR_PATH	必須	/opt/fsepv11client64/jdbc/lib/postgresql-jdbc42.jar	不定	開発実行環境サーバ上に存在するJDBCドライバ（FUJITSU Software Enterprise Postgresのクライアント機能）の絶対パスを設定します。
db_root_user	必須	postgres	不定	FUJITSU Software Enterprise Postgresのデータベース管理者ユーザーを設定します。
db_root_password	必須	postgres	不定	FUJITSU Software Enterprise Postgresのデータベース管理者ユーザーのパスワードを設定します。
db_host	必須	localhost	不定	FUJITSU Software Enterprise Postgresを導入したサーバのホストの値を設定します。
db_port	必須	27500	不定	FUJITSU Software Enterprise Postgresで使用するポート番号を設定します。
db_name	必須	ranger_setuptool	不定	Apache Rangerのポリシー管理で利用するデータベース名を設定します。事前に作成したデータベース名を設定してください。
db_user	必須	ranger_setuptool	不定	Apache Rangerのポリシー管理で利用するデータベースユーザー名を設定します。事前に作成したユーザー名を設定してください。
db_password	必須	ranger_setuptool	不定	Apache Rangerのポリシー管理で利用するユーザーのパスワードを設定します。

固定情報

以下の値は変更できません。

項目名	必須/任意	説明
ansible_python_interpreter	固定	製品として固定値のため設定不要。変更した場合、セットアップツールが正常に動作できません。

サンプル

サンプルファイルの内容は以下のとおりです。

#=================================================
# All Hosts
#=================================================
#-------------------
# For Collect
#-------------------
[collect_server]
192.168.10.150
[collect_agent]
192.168.10.151

#-------------------
# For Multi
#-------------------
# Master
[master_primary]
192.168.10.165
[master_secondary]
192.168.10.166

# Slave
[slave]
192.168.10.167
192.168.10.168
192.168.10.169
[adding_slave]
192.168.10.170

# Develop
[develop]
192.168.10.162
192.168.10.163
[develop_ZK]
192.168.10.162

#=================================================
# All Variable
#=================================================
[all:vars]
jredir=/usr/lib/jre8

#-------------------
# For Collect
#-------------------
retention_hours=24
message_max_bytes=16777216
fetch_message_max_bytes=4096 * 4096
snapRetainCount=3
purgeInterval=24 

#-------------------
# For Multi
#-------------------
port_yarnsite=8041
port_mapredsite="52001-53000"
port_sparkdriver=54000
port_sparkblockmanager=55000

#-------------------
# For Security
#-------------------
SQL_CONNECTOR_JAR_PATH=/opt/fsepv11client64/jdbc/lib/postgresql-jdbc42.jar
db_root_user=postgres
db_root_password=postgres
db_host=localhost
db_port=27500
db_name=ranger_setuptool
db_user=ranger_setuptool
db_password=ranger_setuptool

#=================================================
# Can not change
#=================================================
ansible_python_interpreter=/var/opt/FJSVbsb/bsb_setuptool/ext/python/bin/python3

参考

スレーブサーバを追加する場合、[adding_slave]以外の各サーバには新規環境構築時と同じ情報を指定してください。
Apache Hadoop設定ファイルおよびApache Spark設定ファイルのポート番号に関する各パラメーターの詳細については、本書では説明していません。必要に応じて、Apache HadoopプロジェクトのWebページなどを参照してください。