3.7.5 トラブル対処例 4

事象

ノード fuji2 がパニックし、再起動されました。ノード fuji2 のコンソールに以下のメッセージが表示されます。

Aug 28 10:38:25 fuji2 kernel: CF: fuji2: busy: local node not DOWN: retrying

この場合、ノード fuji2が、LEFTCLUSTER 状態になっている可能性があります。

診断

ノード fuji2 の /var/adm/messages を参照します。

Aug 28 10:38: fuji2 kernel: CF: (TRACE): JoinServer: Startup.
Aug 28 10:38:25 fuji2 kernel: CF: Giving UP Mastering (Cluster already Running).
Aug 28 10:38:25 fuji2 kernel: CF: fuji3: busy: local node not DOWN: retrying
… 最後のメッセージが繰り返されます。

上記の内容は、ノード fuji2 はクラスタを離脱しているのに DOWN 宣言されていないことを示しています。

また、fuji3 のコンソールにも /var/adm/messages にも新しいメッセージはありません。

ノード fuji3 で cftool -n を実行して、ノードの状態を表示します。

fuji3:cftool -n
Node Number State Os Cpu
fuji2 1 LEFTCLUSTER Linux Pentium
fuji3 2 UP Linux Pentium

上記のとおり、ノード fuji2 が LEFTCLUSTER 状態になっていることが確認されます。

修正方法

LEFTCLUSTER 状態は、cftool -k を実行することで解除できます。

このオプションを指定すると、ノードは DOWN 状態になります。

注意

稼動中のノードを DOWN 宣言すると重大な障害が発生し、最悪の場合にはデータが消失する可能性があります。ノードが停止していない場合には、cftool コマンドでノードを DOWN 状態にしないでください。

cftool -k
Enter node number: 1
Enter name for node #1: fuji2
cftool(down): declaring node #1 (fuji2) down
cftool(down): node fuji2 is down

ノード fuji3 のコンソールに以下のメッセージが表示されます。

Aug 28 10:47:39 fuji3 kernel: CF: FUJI: fuji2 is Down. (#0000 2)
Aug 28 10:49:09 fuji3 kernel: CF: Node fuji2 Joined Cluster FUJI.
(#0000 2)

また、ノード fuji2 のコンソールに以下のメッセージが表示されます。

Aug 28 10:49:00 fuji2 kernel: CF: Local Node fuji2 Created Cluster FUJI.
(#0000 1)