マスタサーバ(プライマリ)で異常が発生した場合、マスタサーバを導入した環境に応じて以下のとおりマスタサーバ(セカンダリ)へImpalaの切替えが発生します。
異常内容 | 導入環境 | ||||
|---|---|---|---|---|---|
物理 | 仮想環境 | 仮想環境 | |||
KVM | VMware | KVM | VMware | ||
システムの異常（物理マシン） | ○ | ×(*1) | ×(*1) | ×(*2) | ○ |
システムの異常（仮想マシン） | － | ○ | ○ | ○ | ○ |
業務 LAN ネットワークの異常 | ○ | ○ | ○ | ○ | ○ |
クラスタインタコネクト(CIP)の異常 | △ | △ | △(*2) | △ | △(*2) |
iSCSI ネットワークの異常 | ○ | ○ | ○ | ○ | ○ |
JobTrackerの異常 | △(*3) | △(*3) | △(*3) | △(*3) | △(*3) |
statestoredの異常 | ○ | ○ | ○ | ○ | ○ |
catalogdの異常 | ○ | ○ | ○ | ○ | ○ |
hive-metastoreの異常 | ○ | ○ | ○ | ○ | ○ |
○：マスタサーバ(セカンダリ)へImpalaが切り替わります。
△：マスタサーバ(プライマリ)でImpalaの業務を継続します（Impalaの切替えは不要）。
×：マスタサーバ(セカンダリ)へImpalaが切り替わりません。
*1：物理マシン(ホストマシン)の異常であるため、マスタサーバ(セカンダリ)に切り替わっても業務は継続できません。
*2：別途、マスタサーバ(セカンダリ)の強制停止が必要です。
*3：JobTrackerの切り替えが発生します。
注意
マスタサーバ(セカンダリ)で異常が発生した場合は、マスタサーバ(プライマリ)への切替えは発生しません。マスタサーバ(プライマリ)で再度クエリの実行を行う必要はなく、業務を継続できます。
この場合、システムログなどを参照してマスタサーバ(セカンダリ)で発生した異常の原因を調査し、取り除いてください。マスタサーバ(セカンダリ)の復旧が完了した後、マスタサーバ(セカンダリ)を再起動してください。
マスタサーバ(プライマリ)とマスタサーバ(セカンダリ)を同一ホストマシン上の仮想マシンに導入している場合、ホストマシンで異常が発生した場合は業務が停止します。
この場合、ホストマシンのシステムログなどを参照して異常の原因を取り除いてください。ホストマシンの復旧が完了した後、「8.1 起動」を参照して本製品を導入したシステムを起動し直してください。
参考
仮想環境のホストマシンにシステムの異常が発生した場合、マスタサーバ(セカンダリ)へ切り替わりません（一部を除く）。この動作の詳細については、「PRIMECLUSTER 導入運用手引書 4.3」の「2.2.1 仮想マシン機能」における以下の方式の記事を参照してください。
1つの管理 OS 上のゲスト OS 間でクラスタシステムを構築する場合
管理 OS 異常切替機能を使用せず、複数の管理 OS 上のゲスト OS 間でクラスタシステムを構築する場合
以降、マスタサーバ(プライマリ)で異常が発生した後の対処方法について説明します。
図14.1 二重化構成における異常発生から業務再開までの流れ
マスタサーバ(プライマリ)で異常が発生した場合、マスタサーバ(セカンダリ)へImpalaの切替えが行われたかどうかを確認します。
なお、切替えによって状態遷移が行われるため、異常発生から5分経過した後に確認してください。
「マスタサーバの HA クラスタの状態確認」を参照して、マスタサーバ(セカンダリ)へJobTracker、またはImpalaが切り替わっているかを確認します。
切替えが行われている場合は、マスタサーバ(プライマリ)の状態を確認してください。
マスタサーバ(プライマリ)のapp1が「Faulted」状態（または、システムが起動していない場合）
マスタサーバ(プライマリ)が復旧するまでの間、マスタサーバ(セカンダリ)でJobTrakcerの運用を継続できます。手順「(4) 分析業務の再開」に進みます。
マスタサーバ(プライマリ)のcatalogが「Faulted」状態（または、システムが起動していない場合）
マスタサーバ(プライマリ)が復旧するまでの間、マスタサーバ(セカンダリ)でImpalaの運用を継続できます。手順「(4) 分析業務の再開」に進みます。
マスタサーバ(プライマリ)のapp1とcatalogの両方が「Faulted」状態ではない場合
マスタサーバ(プライマリ)で切り戻せる状態です。手順「(7) 切戻しコマンド」に進みます。
切替えが行われていない場合、「マスタサーバ間の通信状態の確認」を参照して、マスタサーバ(プライマリ)とマスタサーバ(セカンダリ)間の通信状態を確認します。
両方のマスタサーバにおいて相手側が「LEFTCLUSTER」状態
クラスタパーティションが発生しています。手順「(2) クラスタパーティションの解消」に進みます。
マスタサーバ(セカンダリ)において相手側が「LEFTCLUSTER」状態
手動でマスタサーバ(セカンダリ)へ切替えを行う必要があります。手順「(3) 手動切替え」に進みます。
マスタサーバ(プライマリ)で業務を継続可能ですが、クラスタパーティションを解消する必要があります。
クラスタインタコネクト(CIP)の故障を取り除きます。
マスタサーバ(セカンダリ)を再起動します。
物理環境または仮想環境（KVM）にマスタサーバを導入している場合：
# shutdown -r now <Enter>
仮想環境（VMware）にマスタサーバを導入している場合（システムを強制停止する必要あり）：
# reboot -f <Enter>
「マスタサーバ間の通信状態の確認」を参照して、マスタサーバ(プライマリ)とマスタサーバ(セカンダリ)間の通信状態を確認し、通信状態が回復したこと（両方のマスタサーバにおいていずれも「UP（起動中）」の状態であること）を確認します。
この対処により通常の稼働状態に戻ります（以降の手順は不要）。
マスタサーバ(プライマリ)でシステムの異常が発生しているため、マスタサーバ(セカンダリ)へ切り替える必要があります。
すべてのスレーブサーバ、開発実行環境サーバ、および連携サーバで DFS をアンマウントします。
例
DFS の論理ファイルシステム名が pdfs1 である場合
# umount pdfs1 <Enter>
マスタサーバ(セカンダリ)のシステムを強制停止し、再起動します。
# reboot -f <Enter>
マスタサーバ(セカンダリ)で pdfsfrmd デーモンを強制起動します。
# pdfsfrmstart -f <Enter>
マスタサーバ(セカンダリ)で DFS が "run" 状態であることを確認します。
例
DFS 管理サーバ(MDS)がマスタサーバ(セカンダリ)へ切り替えられた状態：
# pdfsrscinfo -m <Enter> /dev/disk/by-id/scsi-1FUJITSU_300000370106: FSID MDS/AC STATE S-STATE RID-1 RID-2 RID-N hostname 1 MDS(P) stop - 0 0 0 master1 1 AC stop - 0 0 0 master1 1 MDS(S) run - 0 0 0 master2 ← マスタサーバ(セカンダリ)が "run" 状態 1 AC run - 0 0 0 master2
注意
マスタサーバで起動時に DFS のマウントが自動的に行われない設定となっている場合は、手動で DFS のマウントを行ってください。
すべてのスレーブサーバ、開発実行環境サーバ、および連携サーバで DFS をマウントします。
例
DFS の論理ファイルシステム名が pdfs1 である場合
# mount pdfs1 <Enter>
マスタサーバ(セカンダリ)で impala_start コマンドを実行し、Impala を強制起動します。
# /opt/FJSVbdpp/ext/bin/impala_start -f <Enter>
「マスタサーバの HA クラスタの状態確認」を参照して、マスタサーバ(セカンダリ)へImpalaが切り替わっているかを確認します。
参照
pdfsfrmstart、pdfsrscinfo の各コマンドの詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファレンス」で該当するコマンドを参照してください。
impala_start コマンドの詳細は、「A.4 impala_start」を参照してください。
Hadoopジョブや、Impalaでのクエリの実行中にマスタサーバ(プライマリ)で異常が発生し、マスタサーバ(セカンダリ)への切替えが起こった場合、実行していた処理は中断されてしまいます。中断された処理の実行状況を確認し、切り替わったマスタサーバ(セカンダリ)で、必要に応じて再度処理を実行してください。
注意
マスタサーバ(プライマリ)が異常な状態、もしくは起動していない場合のみ、マスタサーバ(セカンダリ)だけで Hadoop の起動および停止が可能です。マスタサーバ(プライマリ)が復旧した後は、すみやかにマスタサーバ(プライマリ)へ切り戻してください。
切り戻しをせずにマスタサーバ(セカンダリ)で運用を継続した場合は、以下の制限があります。
クラスタインタコネクト(CIP)の異常が発生した場合、マスタサーバ(セカンダリ)からマスタサーバ(プライマリ)へのフェールオーバーが発生します。
クローニング機能が使用できません。
マスタサーバ(セカンダリ)上でbdpp_startコマンドを実行してHadoopを起動する場合、-fオプションを指定して実行する必要があります。
マスタサーバ(プライマリ)が正常な状態において、マスタサーバ(セカンダリ)で Hadoop を起動しないでください。
マスタサーバ(プライマリ)が異常な状態、もしくは起動していない場合のみ、マスタサーバ(セカンダリ)だけで Impala の起動および停止が可能です。マスタサーバ(プライマリ)が復旧した後は、すみやかにマスタサーバ(プライマリ)へ切り戻してください。
切り戻しをせずにマスタサーバ(セカンダリ)で運用を継続した場合は、以下の制限があります。
クラスタインタコネクト(CIP)の異常が発生した場合、マスタサーバ(セカンダリ)からマスタサーバ(プライマリ)へのフェールオーバーが発生します。
クローニング機能が使用できません。
マスタサーバ(セカンダリ)上でimpala_startコマンドを実行してImpalaを起動する場合、-fオプションを指定して実行する必要があります。
マスタサーバ(プライマリ)が正常な状態において、マスタサーバ(セカンダリ)で Impala を起動しないでください。
参照
マスタサーバの状態については、「マスタサーバの HA クラスタの状態確認」を参照してください。
Impala の起動・停止については、「A.4 impala_start」「A.6 impala_stop」を参照してください。
Hadoop の起動・停止については、「FUJITSU Software Interstage Big Data Parallel Processing Server ユーザーズガイド」の「bdpp_start」と「bdpp_stop」を参照してください。
マスタサーバ(プライマリ)の起動、停止処理のログ（/var/opt/FJSVbdpp/ext/log/bdpp2_pcl_impala.log）やシステムログなどを参照して異常の原因を調査し、取り除いてください。
また、マスタサーバにサーバの再構築が必要となるような重度の障害が発生した場合は、本製品のリストア機能を使用して復旧作業を行ってください。リストア機能を使用することで、システム構成や、マスタサーバの定義情報を復元することができます。
マスタサーバのリストアの手順については、「13.2.1.1 マスタサーバ、開発実行環境サーバのリストア」を参照してください。
ポイント
リストアを行うためには、事前に正常稼働時のマスタサーバのバックアップを採取している必要があります。
マスタサーバのバックアップ手順については、「13.1.2.1 マスタサーバ、開発実行環境サーバのバックアップ」を参照してください。
JobTrackerがマスタサーバ(セカンダリ)に切り替わっている場合
マスタサーバ(プライマリ)の復旧が完了した後、復旧を行ったマスタサーバ(プライマリ)の再起動を行ってください。
JobTrackerがマスタサーバ(セカンダリ)に切り替わっていない場合
以下のコマンドを実行してマスタサーバ(プライマリ)のcatalogが「Offline」状態になったことを確認してください。
# hvutil -c catalog <Enter>
# hvdisp -a <Enter>
Local System: primaryRMS
Configuration: /opt/SMAW/SMAWRrms/build/bdpp2impala.us
Resource Type HostName State StateDetails
-----------------------------------------------------------------------------
secondaryRMS SysNode Online
primaryRMS SysNode Online
catalog userApp Offline
Machine001_catalog andOp secondaryRMS
Machine000_catalog andOp primaryRMS Offline
ManageProgram002_Cmd_CATALOG gRes Offline
ManageProgram001_Cmd_CATALOG gRes Offline
ManageProgram000_Cmd_CATALOG gRes Offline
app1 userApp Online
Machine001_app1 andOp secondaryRMS
Machine000_app1 andOp primaryRMS Online
ManageProgram000_Cmd_APP1 gRes Online
Ipaddress000_Gls_CATALOG gRes Offline
Ipaddress000_Gls_APP1 gRes Onlineマスタサーバ(プライマリ)の復旧・再稼働が完了したあとは、マスタサーバ(セカンダリ)に切り替わっているJobTrackerとImpalaをマスタサーバ(プライマリ)へ切り戻してください。切戻しは、マスタサーバ(セカンダリ)で切戻しコマンドを実行することで行うことができます。なお、マスタサーバ(セカンダリ)で分析業務を行っていた場合は、一度休止してから(Hadoopジョブ、またはクエリを停止してから)切戻しを行ってください。
JobTrackerの切戻し
JobTrackerがマスタサーバ(セカンダリ)に切り替わっている場合は、以下の手順でマスタサーバ(プライマリ)へ切り戻してください。
マスタサーバ(セカンダリ)で DFS をアンマウントします。
これにより、DFS 管理サーバ(MDS)が切り戻されます。
例
DFS のマウントポイントが /mnt/pdfs の場合：
# pdfsumount /mnt/pdfs <Enter>
マスタサーバ(セカンダリ)で DFS をマウントします。
例
DFS のマウントポイントが /mnt/pdfs の場合：
# pdfsmount /mnt/pdfs <Enter>
マスタサーバ(プライマリ)で DFS が "run" 状態であることを確認します。
例
DFS 管理サーバ(MDS)がマスタサーバ(プライマリ)へ切り戻された状態：
# pdfsrscinfo -m <Enter> /dev/disk/by-id/scsi-1FUJITSU_300000370106: FSID MDS/AC STATE S-STATE RID-1 RID-2 RID-N hostname 1 MDS(P) run - 0 0 0 master1 ← マスタサーバ(プライマリ)が "run" 状態 1 AC run - 0 0 0 master1 1 MDS(S) wait - 0 0 0 master2 1 AC run - 0 0 0 master2
マスタサーバ(セカンダリ)で hvswitch コマンドを実行して、マスタサーバ(セカンダリ)からマスタサーバ(プライマリ)へ切り戻します。
# hvswitch app1 <Enter>
app1 は、固定の文字列です。
「マスタサーバの HA クラスタの状態確認」を参照して、マスタサーバ(プライマリ)へ切り戻されているかを確認します。
参照
pdfsumount、pdfsmount、pdfsrscinfo の各コマンドの詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファレンス」で該当するコマンドを参照してください。
hvswitch コマンドの詳細は、「PRIMECLUSTER 活用ガイド <コマンドリファレンス編>」－「第7章」－「hvswitch」を参照してください。
Impalaの切戻し
Impalaがマスタサーバ(セカンダリ)に切り替わっている場合は、以下の手順でマスタサーバ(プライマリ)へ切り戻してください。
マスタサーバ(セカンダリ)で hvswitch コマンドを実行して、マスタサーバ(セカンダリ)からマスタサーバ(プライマリ)へ切り戻します。
# hvswitch catalog <Enter>
catalog は、固定の文字列です。
「マスタサーバの HA クラスタの状態確認」を参照して、マスタサーバ(プライマリ)へ切り戻されているかを確認します。
参照
hvswitch コマンドの詳細は、「PRIMECLUSTER 活用ガイド <コマンドリファレンス編>」－「第7章」－「hvswitch」を参照してください。
参考
マスタサーバが二重化構成であり、マスタサーバ(プライマリ)もしくはマスタサーバ(セカンダリ)のどちらかが起動しなかった場合は、以下のとおり運用を開始します。
マスタサーバ(プライマリ)が起動していない場合のシステム起動
マスタサーバ(プライマリ)が異常により動作しない状況で、システムをマスタサーバ(セカンダリ)だけで起動した場合、impala_start コマンドによる Impala の起動が可能です。
Impala の起動については、「A.4 impala_start」を参照してください。
マスタサーバ(セカンダリ)が起動していない場合のシステム起動
マスタサーバ(セカンダリ)が異常により動作しない状況で、システムをマスタサーバ(プライマリ)だけで起動した場合、impala_start コマンドによる Impala の起動が可能です。
Impala の起動については、「A.4 impala_start」を参照してください。