yarn-site.xml ファイルで設定するプロパティについて説明します。
プロパティ名 | 説明 | 変更不可／任意 | 初期値／設定値 | 設定値の範囲 |
|---|---|---|---|---|
yarn.nodemanager.container-executor.class | コンテナ(ジョブ)実行クラスを指定します。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor 【設定値】 org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor | － |
yarn.nodemanager.linux-container-executor.group | コンテナ(ジョブ)実行ユーザーグループを指定します。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 yarn | － |
yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users | コンテナ(ジョブ)起動のユーザーを制限するか否かを指定します。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 true 【設定値】 false | true:起動ユーザーを制限します。 false:起動ユーザーを制限しません。 |
yarn.nodemanager.aux-services | MapReduce シャッフルサービスを指定します。 本設定値の修正は不要です。 | 任意 | 【初期値】 なし 【設定値】 mapreduce_shuffle | － |
yarn.application.classpath | YARN アプリケーションのクラスパスを指定します。 本設定値の修正は不要です。 | 任意 | 【初期値】 なし 【設定値】 /etc/opt/FJSVbsb/bdpp/hadoop, /opt/FJSVbsb/bdpp/engine/hadoop/share/hadoop/hdfs/*, /opt/FJSVbsb/bdpp/engine/hadoop/share/hadoop/hdfs/lib/*, /opt/FJSVbsb/bdpp/engine/hadoop/share/hadoop/yarn/*, /opt/FJSVbsb/bdpp/engine/hadoop/share/hadoop/yarn/lib/*, /opt/FJSVbsb/bdpp/engine/hadoop/share/hadoop/common/*, /opt/FJSVbsb/bdpp/engine/hadoop/share/hadoop/common/lib/* | － |
yarn.nodemanager.local-dirs | アプリケーションのローカライズされたファイルを格納するディレクトリパスを指定します。 | 任意 | 【初期値】 ${hadoop.tmp.dir}/nm-local-dir 【設定値】 file:///var/opt/FJSVbsb/bdpp/lib/hadoop/yarn/local | － |
yarn.nodemanager.log-dirs | NodeManager が YARN アプリケーションを実行している間のログを保存するディレクトリを指定します。 ディレクトリには、ローカルディスク内のディレクトリ（複数可）を指定します。 本設定値の修正は不要です。 | 任意 | 【初期値】 ${yarn.log.dir}/userlogs 【設定値】 file:///var/opt/FJSVbsb/bdpp/log/hadoop-yarn/containers | － |
yarn.log-aggregation-enable | 各ノードに出力された YARN アプリケーションのログを収集するかどうか指定します。 本設定値の修正は不要です。 | 任意 | 【初期値】 false 【設定値】 true | true:YARN アプリケーションのログを収集します。 false:YARN アプリケーションのログを収集しません。 |
yarn.nodemanager.remote-app-log-dir | 収集した YARN アプリケーションログを保存する DFS 上のパスを指定します。 本設定値の修正は不要です。 | 任意 | 【初期値】 /tmp/logs 【設定値】 /history/done/yarn | － |
yarn.log-aggregation.retain-seconds | 収集した YARN アプリケーションログの保存期間（秒）を指定します。 | 任意 | 【初期値】 -1 （期限なし） 【設定値】 2592000（1か月＝30日分）程度 | -1(期限なし), 1 ～ 9223372036854775807 |
yarn.nodemanager.vmem-check-enabled | コンテナの仮想メモリチェックを有効にするかどうかを指定します。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 true 【設定値】 false | true:コンテナの仮想メモリチェックを行います。 false:コンテナの仮想メモリチェックを行いません。 |
yarn.scheduler.maximum-allocation-mb | コンテナ(ジョブ)がResouceManagerに要求できる最大のメモリ(MB)を指定します。 1024MBの倍数で指定してください。 | 任意 | 【初期値】 8192(8GB) 【設定値】 実装メモリ量(MB) － 2048 | 1024の倍数で指定します。 1024 ～ 2147482624 |
yarn.nodemanager.resource.memory-mb | コンテナ(ジョブ)に割り当てられることができる物理メモリ(MB)を指定します。 1024MBの倍数で指定してください。 | 任意 | 【初期値】 8192(8GB) 【設定値】 実装メモリ量(MB) － 2048 | 1024の倍数で指定します。 1024 ～ 2147482624 |
yarn.nodemanager.resource.cpu-vcores | コンテナ(ジョブ)に割り当てられることができるCPUコア数を指定します。 | 任意 | 【初期値】 8 【設定値】 実装CPU のコア数－ 1 | 1 ～2147483647 |
yarn.resourcemanager.nodes.include-path | ResourceManagerへの接続を許可するホストを列挙するファイルを指定します。 | 任意 | 【初期値】 なし 【設定値】 /etc/opt/FJSVbsb/bdpp/hadoop/yarn.include | － |
yarn.resourcemanager.nodes.exclude-path | ResourceManagerへの接続を許可しないホストを列挙するファイルを指定します。 | 任意 | 【初期値】 なし 【設定値】 /etc/opt/FJSVbsb/bdpp/hadoop/yarn.exclude | － |
yarn.resourcemanager.ha.enabled | ResourceManagerの二重化を可能とするかどうかを指定します。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 false 【設定値】 true | true：ResourceManagerの二重化構成を有効にします。 false；ResourceManagerの二重化構成を無効とします。 |
yarn.resourcemanager.cluster-id | ResourceManagerの二重化構成を識別するIDを指定します。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 bdpp.confで指定したBDPP_CLUSTER_NAMEの値 | － |
yarn.resourcemanager.ha.rm-ids | 二重化を構成するResourceManagerノードの論理識別子を列挙します。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 rm1,rm2 | － |
yarn.resourcemanager.hostname.[rm-id] | ResourceManagerノードの論理識別子に対応するホスト名を指定します。 Kerberos認証の環境ではホスト名をFQDNとする必要があります。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 <ResourceManagerノードのホスト名> | － |
yarn.resourcemanager.webapp.address.[rm-id] | ResourceManagerノードの論理識別子に対応したWebアプリケーションのHTTPアドレスを指定します。 Kerberos認証の環境ではホスト名をFQDNとする必要があります。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 <ResourceManagerノードのホスト名>:8088 | － |
yarn.resourcemanager.recovery.enabled | ResourceManager起動時のリカバリを有効にするか指定します。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 false 【設定値】 true | true：ResourceManager起動時のリカバリ機能を有効にします。 false：ResourceManager起動時のリカバリ機能を無効にします。 |
yarn.resourcemanager.store.class | アプリケーションの実行状態を格納するためのクラスを指定します。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore 【設定値】 org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore | － |
yarn.resourcemanager.zk-address | アプリケーションの実行状態を格納するためのApache ZooKeeperホストを列挙します。 Kerberos認証の環境ではホスト名をFQDNとする必要があります。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 <マスタサーバ(プライマリ)>:2181,<マスタサーバ(セカンダリ)>:2181,<開発実行環境サーバ>:2181 | － |
yarn.resourcemanager.keytab | ResourceManagerのキータブファイルを指定します。 Kerberos認証の環境でのみ設定が必要です。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 /etc/opt/FJSVbsb/bdpp/hadoop/yarn.keytab | － |
yarn.resourcemanager.principal | ResourceManagerサービスのプリンシパルを指定します。 Kerberos認証の環境でのみ設定が必要です。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 yarn/_HOST@<ドメイン名> | － |
yarn.nodemanager.keytab | ResourceManagerのキータブファイルを指定します。 Kerberos認証の環境でのみ設定が必要です。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 /etc/opt/FJSVbsb/bdpp/hadoop/yarn.keytab | － |
yarn.nodemanager.principal | ResourceManagerサービスのプリンシパルを指定します。 Kerberos認証の環境でのみ設定が必要です。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 yarn/_HOST@<ドメイン名> | － |
参考
yarn.log-aggregation.retain-secondsに指定するYARN アプリケーションログの保存期間について
YARN アプリケーションログは、ジョブのエラー原因の調査に必要となる場合があります。ログは、yarn.nodemanager.remote-app-log-dir プロパティで設定したディレクトリ配下に保存されます。
指定した時間が短いと、過去のジョブを調査するときに、必要な情報を得られない場合があります。ただし、ログを保存するために使用できるディスク容量（yarn.nodemanager.remote-app-log-dir プロパティ）との兼ね合いもあるため、以下を考慮して適切な時間を設定してください。
許容できる容量
運用業務スケジュール
仮に、10 分間に最大 1MB（約 1 万行）のログ出力を想定した場合、1 週間分保存するためには約 1GB の容量が必要になります。
