spark-defaults.confファイルで設定するプロパティについて説明します。
プロパティ名 | 説明 | 変更不可／任意 | 初期値／設定値 | 設定値の範囲 |
|---|---|---|---|---|
spark.eventLog.enabled | Apache Sparkのイベントログを記録するかを指定します。 本設定値の修正は不要です。 | 任意 | 【初期値】 false 【設定値】 true | true: Apache Sparkのイベントログを記録します。 false: Apache Sparkのイベントログを記録しません。 |
spark.eventLog.dir | Apache Sparkのイベントログを格納するディレクトリを指定します。 本設定値の修正は不要です。 | 任意 | 【初期値】 file:/tmp/spark-events 【設定値】 hdfs:///history/done/spark | － |
spark.history.fs.logDirectory | Apache Spark Web UIでロードするイベントログファイルの格納ディレクトリを指定します。 本設定値の修正は不要です。 | 任意 | 【初期値】 file:/tmp/spark-events 【設定値】 hdfs:///history/done/spark | － |
spark.hadoop.mapreduce.output.fileoutputformat.compress | Sparkアプリケーション出力ファイルを圧縮するか否かをbool値で指定します。 Sparkアプリケーションの出力を圧縮したい場合のみ設定が必要です。 | 任意 | 【初期値】 false 【設定値】 true | false： 圧縮しません。 true： 圧縮します。 |
spark.executor.extraLibraryPath | executor JVMを起動する場合に使う特別なライブラリパスを設定します。 Sparkアプリケーションの出力を圧縮したい場合のみ設定が必要です。 | 任意 | 【初期値】 なし 【設定値】 /opt/FJSVbsb/bdpp/engine/hadoop/lib/native (注) | － |
spark.hadoop.mapreduce.output.fileoutputformat.compress.codec | Sparkアプリケーション出力ファイルを圧縮する場合に使用する圧縮コーデックのクラス名を指定します。 parkアプリケーションの出力を圧縮したい場合のみ設定が必要です。 | 任意 | 【初期値】 なし 【設定値】 org.apache.hadoop.io.compress.GzipCodec または、 org.apache.hadoop.io.compress.BZip2Codec または、 org.apache.hadoop.io.compress.Lz4Codec または、 org.apache.hadoop.io.compress.DeflateCodec | － |
注)spark.hadoop.mapred.output.compression.codecに、“org.apache.hadoop.io.compress.Lz4Codec”を指定した場合のみ設定が必要です。
