D.3 YARN

YARNに関連するチューニングパラメーターについて以下に説明します。

(1) ResourceManagerのヒープサイズ

【設定値】: 本機能では、設定を行っていません。そのため、デフォルト値の 1000MB となります。

【推奨値】: ResourceManagerのヒープサイズの推奨値は、スレーブサーバ台数によって決定します。ノード数が10ノード程度の小さなクラスタでは2GB、50ノード程度の平均的なクラスタでは4GBを推奨しています。

【設定先】

ファイル名：/etc/opt/FJSVbsb/bdpp/Hadoop/yarn-env.sh

パラメーター名：YARN_RESOURCEMANAGER_HEAPSIZE

例

ResourceManagerのヒープサイズを2GB(2048MB)に設定する例：

export YARN_RESOURCEMANAGER_HEAPSIZE=2048

(2) NodeManagerのヒープサイズ

【設定値】: 本機能では、設定を行っていません。そのため、デフォルト値の 1000MB となります。

【推奨値】: NodeManagerのヒープサイズの推奨値は、スレーブサーバ台数によって決定します。ノード数が数十ノードのクラスタでは1GB、数百ノードの大規模なクラスタでは2-4GBを推奨します。

【設定先】

ファイル名：/etc/opt/FJSVbsb/bdpp/Hadoop/yarn-env.sh

パラメーター名：YARN_NODEMANAGER_HEAPSIZE

例

NodeManagerのヒープサイズを1GB(1024MB)に設定する例：

export YARN_NODEMANAGER_HEAPSIZE=1024

(3) yarn.nodemanager.resource.cpu-vcores

【説明】: NodeManagerがコンテナに割り当てることができるCPUコア数の最大値を指定します。

【設定値】

本機能では、NodeManagerが動作するサーバの搭載コア数から値を設定しています。

NodeManagerが動作するサーバの搭載コア数－ 1

【推奨値】

本パラメーターの推奨値は、以下になります。

NodeManagerが動作するサーバの搭載コア数－ 3（OS、DataNode、NodeManager）

【設定先】: ファイル名：/etc/opt/FJSVbsb/bdpp/hadoop/yarn-site.xml

例

NodeManagerがコンテナに割り当てることができるCPUコア数の最大値を10 に設定する例：

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>10</value>
</property>

(4) yarn.nodemanager.resource.memory-mb

【説明】: NodeManagerがコンテナに割り当てることができるメモリの最大サイズを指定します。

【設定値】

本機能では、NodeManagerが動作するサーバの搭載メモリサイズから値を設定しています。

NodeManagerが動作するサーバの搭載メモリサイズ(MB) － 2048(MB)

【推奨値】

本パラメーターの推奨値は、以下になります。

NodeManagerが動作するサーバの搭載メモリサイズ(MB) － 3072(MB)

【設定先】: ファイル名：/etc/opt/FJSVbsb/bdpp/hadoop/yarn-site.xml

例

NodeManagerがコンテナに割り当てることができる最大メモリサイズを10GB(10240MB) に設定する例：

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>10240</value>
</property>

(5) yarn.scheduler.minimum-allocation-vcores

【説明】: ResourceManagerへのコンテナ割り当て要求が可能な最小CPUコア数を指定します。

【設定値】: 本機能では、設定を行っていません。そのため、デフォルト値の 1 となります。

【推奨値】: 本パラメーターの推奨値は、1です。

【設定先】: ファイル名：/etc/opt/FJSVbsb/bdpp/hadoop/yarn-site.xml

例

ResourceManagerへのコンテナ割り当て要求が可能な最小CPUコア数を1 に設定する例：

<property>
    <name>yarn.scheduler.minimum-allocation-vcores</name>
    <value>1</value>
</property>

(6) yarn.scheduler.maximum-allocation-vcores

【説明】: ResourceManagerへのコンテナ割り当て要求が可能な最大CPUコア数を指定します。

【設定値】: 本機能では、設定を行っていません。そのため、デフォルト値の 32 となります。

【推奨値】

本パラメーターの推奨値は、以下になります。

NodeManagerが動作するサーバの搭載CPUコア数－ 3（OS、DataNode、NodeManager）

【設定先】: ファイル名：/etc/opt/FJSVbsb/bdpp/hadoop/yarn-site.xml

例

ResourceManagerへのコンテナ割り当て要求が可能な最大CPUコア数を10 に設定する例：

<property>
    <name>yarn.scheduler.maximum-allocation-vcores</name>
    <value>10</value>
</property>

(7) yarn.scheduler.minimum-allocation-mb

【説明】: ResourceManagerへのコンテナ割り当て要求が可能な最小メモリサイズを指定します。

【設定値】: 本機能では、設定を行っていません。そのため、デフォルト値の 1024(MB) となります。

【推奨値】: 本パラメーターの推奨値は、1024MBです。

【設定先】: ファイル名：/etc/opt/FJSVbsb/bdpp/hadoop/yarn-site.xml

例

ResourceManagerへのコンテナ割り当て要求が可能な最小メモリサイズを1024MB に設定する例：

<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
</property>

(8) yarn.scheduler.maximum-allocation-mb

【説明】: ResourceManagerへのコンテナ割り当て要求が可能な最大メモリサイズを指定します。

【設定値】

本機能では、NodeManagerが動作するサーバの搭載メモリサイズから値を設定しています。

NodeManagerが動作するサーバの搭載メモリサイズ(MB) － 2048(MB)

【推奨値】

本パラメーターの推奨値は、以下になります。

NodeManagerが動作するサーバの搭載メモリサイズ(MB) －（OSで利用するメモリ容量、DataNodeのヒープサイズ、NodeManagerのヒープサイズ)

【設定先】: ファイル名：/etc/opt/FJSVbsb/bdpp/hadoop/yarn-site.xml

例

ResourceManagerへのコンテナ割り当て要求が可能な最大メモリサイズを10240MB に設定する例：

<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>10240</value>
</property>

(9) yarn.nodemanager.local-dirs

【説明】: コンテナが中間ファイルを格納するディレクトリを指定します。

【設定値】

本機能では、以下のディレクトリを設定しています。

file:///var/opt/FJSVbsb/bdpp/lib/hadoop/yarn/local

【推奨値】

本パラメーターの推奨値は、内蔵ディスク上のディレクトリです。

カンマ区切りで複数のディレクトリを指定することができます。

複数のディレクトリを指定した場合、ディスクI/Oが分散され、中間データの読み書きのパフォーマンスが向上するため、複数のディレクトリを指定することを推奨します。

【設定先】: ファイル名：/etc/opt/FJSVbsb/bdpp/hadoop/yarn-site.xml

例

コンテナが中間ファイルを格納するディレクトリを/disk1/yarn/local、/disk2/yarn/localとする場合の例：

<property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/disk1/yarn/local,/disk2/yarn/local</value>
</property>