Interstage Big Data Parallel Processing Server V1.2.0 ユーザーズガイド

17.3.2 異常発生箇所の特定

Hadoopジョブの実行中に異常が発生した時は以下の順で異常箇所を特定し、発生している問題に対処します。

1. マスターサーバの/var/log/messagesに異常が記録されていないか。

2. JobTrakerログに異常が記録されていないか

3. ジョブヒストリログに異常が記録されていないか

4. スレーブサーバの/var/log/messagesに異常が記録されていないか

5. TaskTrackerログに異常が記録されていないか

6. タスクログに異常が記録されていないか

参照

ログファイルの詳細は、「17.4.3 ログファイルの一覧」を参照してください。

1. マスターサーバの/var/log/messagesに異常が記録されていないか

本製品の動作のベースとなる、以下のような異常が記録されていないか確認します。

• ハードウェアの異常

• OSの異常

• PRIMECLUSTERの異常

• PRIMECLUSTER GLSの異常

• P-DFSの異常

• JobTrackerのjavaプロセスの異常(→2.へ)

2. JobTrackerログに異常が記録されていないか

JobTracker が検出する、以下のような異常がJobTrackerログ(デーモンプロセス関連のログ)に記録されていないかを確認します。

• JobTracker自体の異常

• JobTrackerが検出したTaskTrackerの異常(→4.へ)

• Hadoopジョブの異常(→3.へ)

3. ジョブヒストリログに異常が記録されていないか

Hadoopジョブが検出する、以下のような異常がジョブヒストリログ(Hadoopジョブ関連のログ)に記録されていないかを確認します。

• Hadoopジョブ自体の異常

• Hadoopジョブの延長で各スレーブサーバのTaskTrackerから起動される処理(タスク)の異常(→4.へ)

4. スレーブサーバの/var/log/messagesに異常が記録されていないか

本製品の動作のベースとなる、以下のような異常が記録されていないか確認します。

• ハードウェアの異常

• OSの異常

• PRIMECLUSTER GLSの異常

• P-DFSの異常

• TaskTrackerのjavaプロセスの異常(→5.へ)

5. TaskTrackerログに異常が記録されていないか

TaskTracker が検出する、以下のような異常がTaskTrackerログ(デーモンプロセス関連のログ)に記録されていないかを確認します。

• TaskTracker自体の異常

• Hadoopジョブの延長で各スレーブサーバのTaskTrackerから起動される処理(タスク)の異常(→6.へ)

6. タスクログに異常が記録されていないか

TaskTracker が検出する、以下のような異常がタスクログ(Hadoopジョブ関連のログ)に記録されていないかを確認します。

• Hadoopジョブの延長で各スレーブサーバのTaskTrackerから起動される処理(タスク)の異常

• タスクの延長で実行されるアプリケーションの異常