監視対象のログファイルを含め、本製品からは以下のディレクトリにログファイルが出力されます。
デーモンプロセス関連
システムログ
内容 | P-DFSを含むシステム全般のログ |
サーバ | 全サーバ |
ディレクトリ名 | /var/log/ |
ファイル名 | messages* |
作成・管理 | OS起動毎に世代管理 |
JobTrackerログ
内容 | JobTrackerのログ |
サーバ | マスターサーバ |
ディレクトリ名 | /var/log/hadoop/mapred/ |
ファイル名 | hadoop-mapred-jobtracker-<ホスト名>.log* |
作成・管理 | 1日毎に世代管理 |
JobTracker起動ログ
内容 | JobTrackerプロセス起動時のログ |
サーバ | マスターサーバ |
ディレクトリ名 | /var/log/hadoop/mapred/ |
ファイル名 | hadoop-mapred-jobtracker-<ホスト名>.out* |
作成・管理 | JobTracker起動毎に世代管理 |
TaskTrackerログ
内容 | TaskTrackerのログ |
サーバ | スレーブサーバ |
ディレクトリ名 | /var/log/hadoop/mapred/ |
ファイル名 | hadoop-mapred-tasktracker-<ホスト名>.log* |
作成・管理 | 一日毎に世代管理 |
TaskTracker起動ログ
内容 | TaskTrackerプロセス起動時のログ |
サーバ | マスターサーバ |
ディレクトリ名 | /var/log/hadoop/mapred/ |
ファイル名 | hadoop-mapred-tasktracker-<ホスト名>.out* |
作成・管理 | TaskTracker起動毎に世代管理 |
Hadoopジョブ関連
ジョブヒストリログ
内容 | ジョブの実行の詳細とジョブの設定に関するログ |
サーバ | ※DFS上に配置 |
ディレクトリ名 | /mapred/history/done/version-1/<マスターサーバのホスト名>_<JobTracker起動タイムスタンプ>/YYYY/MM/DD/000000/ |
ファイル名 | - <ジョブID>_<ジョブ起動タイムスタンプ>_<ジョブ起動ユーザ>_<ジョブ名> ※実行詳細 - <ジョブID>_conf.xml ※ジョブ設定 |
作成・管理 | ジョブ毎に作成 |
ジョブサマリーログ
内容 | ジョブの実行のサマリーログ |
サーバ | マスターサーバ |
ディレクトリ名 | /var/log/hadoop/mapred/ |
ファイル名 | hadoop-mapreduce.jobsummary.log* |
作成・管理 | ジョブが実行された日毎に世代管理 |
ジョブ監査ログ
内容 | ジョブの実行の監査ログ |
サーバ | マスターサーバ |
ディレクトリ名 | /var/log/hadoop/mapred/ |
ファイル名 | mapred-audit.log* |
作成・管理 | ジョブが実行された日毎に世代管理 |
タスクログ
内容 | タスクの実行ログ |
サーバ | スレーブサーバ |
ディレクトリ名 | /var/log/hadoop/mapred/userlogs/<ジョブID>/<タスク試行ID>/ (/var/lib/hadoop/mapred/local/userlogs/<ジョブID>/<タスク試行ID>/へのシンボリックリンク) |
ファイル名 | - syslog ※タスクの実行ログ - stdout ※タスクの標準出力 - stderr ※タスクの標準エラー出力 - log.index ※上記ファイル群の情報 |
作成・管理 | タスク毎に作成 |
参照
トラブルシューティング時に使用するログについては、第18章 トラブルシューティングを参照してください。
