付録B Hadoop設定パラメーター

本機能で提供する Apache Hadoop に関する設定パラメーターについて説明します。

本機能のセットアップ時に、Apache Hadoopジョブの並列分散処理の最適化を行うパラメーターが自動的に設定されます。また、“利用ガイド”に従ってセットアップを行うことで設定パラメーターを変更します。

ここでは、オープンソフトウェア Apache Hadoop で提供される設定ファイルにおいて初期値から変更されるパラメーターと OS の設定ファイルに追加するパラメーターを説明します。

表B.1 設定ファイル一覧
設定ファイル	説明	配置ディレクトリ
hadoop-env.sh	Apache Hadoop で使用する環境変数を定義する設定ファイルです。	/etc/opt/FJSVbsb/bdpp/hadoop
core-site.xml	Apache Hadoop の共通的な設定ファイルです。
hdfs-site.xml	HDFS に関する設定ファイルです。
yarn-env.sh	YARN で使用する環境変数を定義する設定ファイルです。
yarn-site.xml	YARN に関する設定ファイルです。
mapred-site.xml	MapReduceに関する設定ファイルです。
dfs.include	NameNodeへの接続を許可するスレーブサーバのリストを定義するファイルです。
dfs.exclude	NameNodeへの接続を許可しないスレーブサーバのリストを定義するファイルです。
yarn.include	ResourceManagerへの接続を許可するスレーブサーバのリストを定義するファイルです。
yarn.exclude	ResourceManagerへの接続を許可しないスレーブサーバのリストを定義するファイルです。
spark-env.sh(注)	Apache Spark で使用する環境変数を定義する設定ファイルです。	/etc/opt/FJSVbsb/bdpp/spark
spark-defaults.conf(注)	Apache Spark に関する設定ファイルです。	/etc/opt/FJSVbsb/bdpp/spark
sysctl.conf	カーネルパラメーターを記述する OS の設定ファイルです。	/etc
limits.conf	システムのリソースを制限する OS の設定ファイルです。	/etc/security

注) マスタサーバ、開発実行環境サーバのみに配置されます。

注意

設定ファイルの各パラメーターの詳細については、本書では説明しません。必要に応じて、Apache Hadoop プロジェクトの Web ページなどを参照してください。
構成設定をチューニングする場合はセットアップ直後に変更することを推奨します。
なお、運用を開始した以降で Hadoop 設定パラメーターを変更する必要が生じた場合には、マスタサーバ、スレーブサーバおよび開発実行環境サーバごとに設定を見直してください。