hdfs-site.xml ファイルで設定するプロパティについて説明します。
プロパティ名 | 説明 | 変更不可／任意 | 初期値／設定値 | 設定範囲 |
|---|---|---|---|---|
dfs.namenode.name.dir | NameNodeのデータを格納するローカルファイルシステムのディレクトリを指定します。 | 任意 | 【初期値】 file://${hadoop.tmp.dir}/dfs/name 【設定値】 /var/opt/FJSVbsb/bdpp/hdfs/name | － |
dfs.datanode.data.dir | DataNodeのデータを格納するローカルファイルシステムのディレクトリを指定します。 | 任意 | 【初期値】 file://${hadoop.tmp.dir}/dfs/data 【設定値】 /var/opt/FJSVbsb/bdpp/hdfs/data | － |
dfs.namenode.safemode.threshold-pct | HDFSがSafeModeから離脱するために必要な全ブロックに対するレプリケーション数の割合を指定します。 | 任意 | 【初期値】 0.999f 【設定値】 1.0f | 0～1.0f |
dfs.hosts | NameNodeへの接続を許可するホストを列挙するファイルを指定します。 | 任意 | 【初期値】 なし 【設定値】 /etc/opt/FJSVbsb/bdpp/hadoop/dfs.include | － |
dfs.hosts.exclude | NemaNodeへの接続を許可しないホストを列挙するファイルを指定します。 | 任意 | 【初期値】 なし 【設定値】 /etc/opt/FJSVbsb/bdpp/hadoop/dfs.exclude | － |
dfs.namenode.checkpoint.dir | SecondaryNameNode の HDFS 管理情報の格納ディレクトリを指定します。 | 任意 | 【初期値】 ${hadoop.tmp.dir}/dfs/namesecondary 【設定値】 /var/opt/FJSVbsb/bdpp/hdfs/namesecondary | － |
dfs.blocksize | HDFS ファイルのブロックをローカルファイルに格納する際のローカルファイルのサイズを指定します。（単位：バイト） | 任意 | 【初期値】 67108864 (64MB) 【設定値】 134217728 (128MB) | 1 ～ 9223372036854775807 |
dfs.datanode.du.reserved | HDFS のデータ以外で使用するために予約しておく dfs.datanode.data.dir を配置した DISK の容量を指定します。（単位：バイト） | 任意 | 【初期値】 0 【設定値】 dfs.datanode.data.dir が配置されているディスクの空き容量の40%（バイト） | 0 ～ 9223372036854775807 |
dfs.datanode.ipc.address | DataNode 間でデータを送受信するためのアドレスを指定します。 | 任意 | 【初期値】 0.0.0.0:50020 【設定値】 0.0.0.0:50020 （再設定します） | － |
dfs.datanode.max.transfer.threads | DataNode への接続数の最大値を指定します。 | 任意 | 【初期値】 256 【設定値】 4096 | 1 ～ 2147483647 |
dfs.permissions.superusergroup | HDFS のスーパーグループ名を指定します。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 supergroup 【設定値】 hadoop | － |
dfs.nameservices | 二重化を構成するネームサービス名を指定します。 | 変更不可 | 【初期値】 なし 【設定値】 bdpp.confで指定したBDPP_CLUSTER_NAMEの値 | － |
dfs.ha.namenodes.[nameservice ID] | ネームサービスを構成するNameNodeを一意に識別するための識別子を列挙します。 | 変更不可 | 【初期値】 なし 【設定値】 nn1,nn2 | － |
dfs.namenode.rpc-address.[nameservice ID].[name node ID] | NameNodeがRPC接続を待ち合わせるIPアドレスおよびポートを指定します。 Kerberos認証の環境ではホスト名をFQDNとする必要があります。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 <マスタサーバのホスト名>:8020 | － |
dfs.namenode.http-address.[nameservice ID].[name node ID] | NameNodeがHTTP接続を待ち合わせるIPアドレスおよびポートを指定します。 Kerberos認証の環境ではホスト名をFQDNとする必要があります。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 <マスタサーバのホスト名>:50070 | － |
dfs.namenode.shared.edits.dir | NameNodeがeditsを読み書きするJournalNodesのグループを識別するURIを指定します。 Kerberos認証の環境ではホスト名をFQDNとする必要があります。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 qjournal://<マスタサーバ(プライマリ)のホスト名>:8485;<マスタサーバ(セカンダリ)のホスト名>:8485;<開発実行環境サーバのホスト名>:8485 | － |
dfs.client.failover.proxy.provider.[nameservice ID] | アクティブNameNodeにコンタクトするためにHDFSクライアントが使用するJavaクラスを指定します。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider | － |
dfs.ha.fencing.methods | NameNodegのフェイルオーバの間に実行するシェルまたはJavaクラスを指定します。 | 任意 | 【初期値】 なし 【設定値】 shell(/bin/true) | － |
dfs.journalnode.edits.dir | JournalNodeデーモンがローカルな状態を保存するディレクトリを指定します。 | 任意 | 【初期値】 なし 【設定値】 /var/opt/FJSVbsb/bdpp/hdfs/jn | － |
dfs.ha.automatic-failover.enabled | NameNodeの自動フェイルオーバを有効にするかどうかを指定します。 本設定値の修正は不要です。 | 任意 | 【初期値】 false 【設定値】 true | true：NameNodeの自動フェイルオーバを行います。 false：NameNodeの自動フェイルオーバを行いません。 |
dfs.support.append | HDFSの追記機能を使用するかどうかを指定します。 本設定値の修正は不要です。 | 任意 | 【初期値】 false 【設定値】 true | true:HDFSの追記機能を有効にします。 false:HDFSの追記機能を無効にします。 |
dfs.datanode.balance.bandwidthPerSec | バランシング処理中に使用するDataNode間の帯域幅を指定します。単位はbyte/secです。 本設定値の修正は不要です。 | 任意 | 【初期値】 1048576 【設定値】 6250000 | 1048576～業務LANの帯域幅 |
dfs.namenode.name.dir.restore | 前回の失敗したNameNodeデータ格納ディレクトリのリカバリを試みるかどうかを指定します。 | 任意 | 【初期値】 false 【設定値】 true | true：チェックポイント中に、NameNodeディレクトリのリカバリを試みる。 false；リカバリを試みない。 |
dfs.block.access.token.enable | DataNodeへのアクセスにアクセストークンを使用するか否かを指定します。 Kerberos認証の環境でのみ設定が必要です。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 false 【設定値】 true | false：アクセストークンを使用しない true：アクセストークンを使用する |
dfs.namenode.keytab.file | NameNodeのキータブファイルを指定します。 Kerberos認証の環境でのみ設定が必要です。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 /etc/opt/FJSVbsb/bdpp/hadoop/hdfs.keytab | － |
dfs.namenode.kerberos.principal | NameNodeサービスのプリンシパルを指定します。 Kerberos認証の環境でのみ設定が必要です。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 hdfs/_HOST@<ドメイン名> | － |
dfs.namenode.kerberos.internal.spnego.principal | WebUI SPNEGO認証のためにNameNodeによって使用するサーバプリンシパルを指定します。 Kerberos認証の環境でのみ設定が必要です。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 HTTP/_HOST@<ドメイン名> | － |
dfs.datanode.keytab.file | DataNodeのキータブファイルを指定します。 Kerberos認証の環境でのみ設定が必要です。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 /etc/opt/FJSVbsb/bdpp/hadoop/hdfs.keytab | － |
dfs.datanode.kerberos.principal | DataNodeサービスのプリンシパルを指定します。 Kerberos認証の環境でのみ設定が必要です。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 hdfs/_HOST@<ドメイン名> | － |
dfs.web.authentication.kerberos.principal | WebHDFSサービスのプリンシパルを指定します。 Kerberos認証の環境でのみ設定が必要です。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 HTTP/_HOST@<ドメイン名> | － |
dfs.journalnode.keytab.file | JournalNodeのキータブファイルを指定します。 Kerberos認証の環境でのみ設定が必要です。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 /etc/opt/FJSVbsb/bdpp/hadoop/hdfs.keytab | － |
dfs.journalnode.kerberos.principal | JournalNodeサービスのプリンシパルを指定します。 Kerberos認証の環境でのみ設定が必要です。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 hdfs/_HOST@<ドメイン名> | － |
dfs.journalnode.kerberos.internal.spnego.principal | WebUI SPNEGO認証のためにJournalNodeによって使用するサーバプリンシパルを指定します。 Kerberos認証の環境でのみ設定が必要です。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 なし 【設定値】 HTTP/_HOST@<ドメイン名> | － |
dfs.datanode.address | データ転送に使用するDataNodeのIPアドレスとポート番号を指定します。 Kerberos認証の環境ではポート番号は特権ポートにする必要があります。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 0.0.0.0:50010 【設定値】 0.0.0.0:1004 | |
dfs.datanode.http.address | DataNodeのHTTPサーバのIPアドレスとポート番号を指定します。 Kerberos認証の環境ではポート番号は特権ポートにする必要があります。 本設定値の修正は不要です。 | 変更不可 | 【初期値】 0.0.0.0:50075 【設定値】 0.0.0.0:1006 |
