監視対象のログファイルを含め、本製品からは以下のディレクトリにログファイルが出力されます。
デーモンプロセス関連
システムログ
内容 | P-DFSを含むシステム全般のログ |
サーバ | 全サーバ |
ディレクトリ名 | /var/log/ |
ファイル名 | messages* |
作成・管理 | OS起動毎に世代管理 |
JobTrackerログ
内容 | JobTrackerのログ |
サーバ | マスターサーバ |
ディレクトリ名 | /var/log/hadoop/mapred/ |
ファイル名 | hadoop-mapred-jobtracker-<ホスト名>.log* |
作成・管理 | 1日毎に世代管理 |
JobTracker起動ログ
内容 | JobTrackerプロセス起動時のログ |
サーバ | マスターサーバ |
ディレクトリ名 | /var/log/hadoop/mapred/ |
ファイル名 | hadoop-mapred-jobtracker-<ホスト名>.out* |
作成・管理 | JobTracker起動毎に世代管理 |
TaskTrackerログ
内容 | TaskTrackerのログ |
サーバ | スレーブサーバ |
ディレクトリ名 | /var/log/hadoop/mapred/ |
ファイル名 | hadoop-mapred-tasktracker-<ホスト名>.log* |
作成・管理 | 一日毎に世代管理 |
TaskTracker起動ログ
内容 | TaskTrackerプロセス起動時のログ |
サーバ | マスターサーバ |
ディレクトリ名 | /var/log/hadoop/mapred/ |
ファイル名 | hadoop-mapred-tasktracker-<ホスト名>.out* |
作成・管理 | TaskTracker起動毎に世代管理 |
Hadoopジョブ関連
ジョブヒストリログ
内容 | ジョブの実行の詳細とジョブの設定に関するログ |
サーバ | ※DFS上に配置 |
ディレクトリ名 | /mapred/history/done/version-1/<マスターサーバのホスト名>_<JobTracker起動タイムスタンプ>/YYYY/MM/DD/000000/ |
ファイル名 | - <ジョブID>_<ジョブ起動タイムスタンプ>_<ジョブ起動ユーザ>_<ジョブ名> ※実行詳細 - <ジョブID>_conf.xml ※ジョブ設定 |
作成・管理 | ジョブ毎に作成 |
ジョブサマリーログ
内容 | ジョブの実行のサマリーログ |
サーバ | マスターサーバ |
ディレクトリ名 | /var/log/hadoop/mapred/ |
ファイル名 | hadoop-mapreduce.jobsummary.log* |
作成・管理 | ジョブが実行された日毎に世代管理 |
ジョブ監査ログ
内容 | ジョブの実行の監査ログ |
サーバ | マスターサーバ |
ディレクトリ名 | /var/log/hadoop/mapred/ |
ファイル名 | mapred-audit.log* |
作成・管理 | ジョブが実行された日毎に世代管理 |
タスクログ
内容 | タスクの実行ログ |
サーバ | スレーブサーバ |
ディレクトリ名 | /var/log/hadoop/mapred/userlogs/<ジョブID>/<タスク試行ID>/ (/var/lib/hadoop/mapred/local/userlogs/<ジョブID>/<タスク試行ID>/へのシンボリックリンク) |
ファイル名 | - syslog ※タスクの実行ログ - stdout ※タスクの標準出力 - stderr ※タスクの標準エラー出力 - log.index ※上記ファイル群の情報 |
作成・管理 | タスク毎に作成 |
注意
デフォルトの設定ではJobTrackerログとTaskTrackerログは1日毎に新しいログが作成され、無限に増えていきます。
ログを指定にしたがって削除したい場合、以下のファイルを編集して作成・管理の設定を変更してください。
/etc/hadoop/log4j.properties
/etc/hadoop/hadoop-env.sh
設定の変更はファイルを編集したサーバでのみ有効となります。
設定を変更したいサーバが複数存在する場合、全てのサーバでファイルを編集してください。
例：ファイルサイズ毎に世代管理を行う場合。
/etc/hadoop/log4j.propertiesを編集し、ファイル内に存在するファイルサイズ毎に世代管理を行う設定のコメントアウトを外します。
# cat /etc/hadoop/log4j.properties
・・・ 中略 ・・・
#
# Rolling File Appender
#
log4j.appender.RFA=org.apache.log4j.RollingFileAppender
log4j.appender.RFA.File=${hadoop.log.dir}/${hadoop.log.file}
# Logfile size and and 30-day backups
log4j.appender.RFA.MaxFileSize=1MB
log4j.appender.RFA.MaxBackupIndex=30
log4j.appender.RFA.layout=org.apache.log4j.PatternLayout
log4j.appender.RFA.layout.ConversionPattern=%d{ISO8601} %-5p %c{2} - %m%n
log4j.appender.RFA.layout.ConversionPattern=%d{ISO8601} %-5p %c{2} (%F:%M(%L)) - %m%n
・・・ 中略 ・・・/etc/hadoop/hadoop-env.shを編集し、ファイルサイズ毎に世代管理を行うための設定を追加します。
# cat /etc/hadoop/hadoop-env.sh ・・・ 中略 ・・・ export HADOOP_ROOT_LOGGER=INFO,RFA
設定を反映するためHadoopを再起動します。
# /opt/FJSVbdpp/bin/bdpp_stop # /opt/FJSVbdpp/bin/bdpp_start
上記の設定例では、ファイルサイズが1MBを超える毎に新しいログが作成され、最大30個まで作成します（30個を超えると古いログから削除されます）。
参照
トラブルシューティング時に使用するログについては、第18章 トラブルシューティングを参照してください。