マスタサーバ(プライマリ)上で動作しているプライマリMDSがダウンした場合の対処について説明します。
マスタサーバ(プライマリ)上でプライマリMDSダウンが発生した場合、システムログに以下のメッセージが出力されます。
ERROR: pdfsd: 0007: primary MDS down: mountpoint(DFSのマウントポイント)
プライマリMDSがダウンした場合はマスタサーバ(セカンダリ)で動作しているセカンダリMDSが新しいプライマリMDSとして処理を引き継ぎます。この場合、マスタサーバ(プライマリ)上でJobTrackerが動作し、マスタサーバ(セカンダリ)上でプライマリMDSが動作している状態となる場合があります。
上記の場合、マスタサーバ(プライマリ)でファイルシステムの異常が発生しているため、JobTrackerをマスタサーバ(セカンダリ)へ切り替える必要があります。
ポイント
プライマリMDSダウン発生時に実行中であったHadoopジョブは正常終了します。
ただし、プライマリMDSの切り替えを待ち合わせるため、処理時間が遅くなる場合があります。
注意
プライマリMDSダウン発生後は、すみやかにマスタサーバ(セカンダリ)へJobTrackerを切り替え、マスタサーバ(プライマリ)の復旧を実施してください。
JobTrackerの切り替え、およびマスタサーバ(プライマリ)の復旧をしない場合は、マスタサーバ(セカンダリ)でファイルシステムの異常が発生した場合に業務の継続が不可となります。
以降、プライマリMDSダウンが発生した後の対処方法について説明します。
マスタサーバ(セカンダリ)でDFSが"run"状態であることを確認します。
例
DFS 管理サーバ(MDS)がマスタサーバ(セカンダリ)へ切り替えられた状態：
# pdfsrscinfo -m <Enter> /dev/disk/by-id/scsi-1FUJITSU_300000370106: FSID MDS/AC STATE S-STATE RID-1 RID-2 RID-N hostname 1 MDS(P) stop - 0 0 0 master1 1 AC run - 0 0 0 master1 1 MDS(S) run - 0 0 0 master2 ← マスタサーバ(セカンダリ)が "run" 状態 1 AC run - 0 0 0 master2
「マスタサーバの HA クラスタの状態確認」を参照して、マスタサーバ(セカンダリ)へJobTrackerが切り替わっているかを確認します。
切り替えが行われていない場合
マスタサーバ(セカンダリ)へ切り替えを行う必要があります。手順3に進みます。
切り替えが行われている場合
マスタサーバ(セカンダリ)へ切り替えが行われています。手順5に進みます。
マスタサーバ(セカンダリ)でbdpp_startコマンドを実行し、Hadoopを強制起動します。
# /opt/FJSVbdpp/bin/bdpp_start -f <Enter>
「マスタサーバの HA クラスタの状態確認」を参照して、マスタサーバ(セカンダリ)へJobTrackerが切り替わっているかを確認します。
「16.1.1 マスタサーバが二重化構成の場合」の「(4) 分析業務の再開(ジョブ再実行)」以降の手順を参照し、マスタサーバ(プライマリ)への切り戻しを実施します。
プライマリMDSダウンが発生した場合は業務が停止します。
「16.1.2 マスタサーバが二重化構成でない場合」を参照し、マスタサーバを復旧してください。
ポイント
マスタサーバが二重化構成でない場合、プライマリMDSダウン発生時に実行中であったHadoopジョブは異常終了します。マスタサーバの復旧後、必要に応じて再実行してください。
