ページの先頭行へ戻る
PRIMECLUSTER  導入運用手引書 4.3
FUJITSU Software

はじめに

本書は、PRIMECLUSTERを使用する際に、起点としてご使用頂きたいマニュアルです。

PRIMECLUSTERシステムの導入から運用管理までの一連の流れ/操作について説明しております。PRIMECLUSTERシステムは複数の機能から構成されていることから、本書以外にも機能ごとに複数のマニュアルが存在しますが、操作上必要な機能固有の情報については本書から各関連マニュアルをポイント参照しているため、まず本書を参照することで一連の操作が可能となります。

また、本書では、PRIMECLUSTERシステムに対応した製品の機能概要、および操作手順についても説明しております。

なお、本書ではPRIMECLUSTERの基本パターンについて記載しております。記載されていないパターンについては、関連マニュアルを参照してください。

PRIMECLUSTERシステムの導入から運用管理を始めるまでの流れと本書の参照先の関係は以下のとおりです。

PRIMECLUSTERシステム導入から運用管理までの流れ

PRIMECLUSTERシステム運用の流れ

本書の参照先

1.PRIMECLUSTERシステムの構築の流れを理解し、PRIMECLUSTERシステムの設計をする。

第1部 導入準備編

2.PRIMECLUSTERシステムを新規に導入する。

第2部 導入編

3.PRIMECLUSTERシステムの運用状態を監視する。

第3部 運用編

4.PRIMECLUSTERシステムの運用開始後、システムの構成などを変更する。

第4部 システム構成変更編

5.PRIMECLUSTERシステムの保守を行う。

第5部 保守編

6.PRIMECLUSTERシステムに対応製品を導入する。

第6部 PRIMECLUSTER対応製品編

詳細な手順の説明については、各部の該当箇所に参照マニュアル名を明記しますので、そちらを参照してください。

本書の読者

本書はPRIMECLUSTER 4.3を使用して、クラスタシステムの導入・運用管理を行う、すべてのユーザと、PRIMECLUSTER上にアプリケーションを作成するプログラマを対象にしています。

本書について

本書は6部と付録、用語集で構成されています。各部の内容は以下のとおりです。

第1部 導入準備編

対象:PRIMECLUSTERシステムを構築するシステム管理者
内容:PRIMECLUSTERシステムの導入から運用までの全体の作業の流れを説明します。

第2部 導入編

対象:PRIMECLUSTERシステムを構築するシステム管理者
内容:ソフトウェアのインストール、クラスタの構築、アプリケーション構築までの操作について説明します。

第3部 運用編

対象:システムを運用管理するシステム管理者
内容:PRIMECLUSTERシステムの監視方法、異常の原因を調査する方法などを説明します。

第4部 システム構成変更編

対象:PRIMECLUSTERシステムを構築するシステム管理者
内容:PRIMECLUSTERシステム構成の追加、変更、削除を行う場合に必要な作業について説明します。

第5部 保守編

対象:PRIMECLUSTERシステムを構築するシステム管理者
内容:PRIMECLUSTERシステム動作環境の保守を行う場合に必要な作業について説明します。

第6部 PRIMECLUSTER対応製品編

対象:PRIMECLUSTERシステム上でPRIMECLUSTER対応製品を動作させるユーザ
内容:PRIMECLUSTERシステムに対応した製品のVL、機能概要を説明します。

付録A PRIMECLUSTERシステム設計ワークシート

対象:PRIMECLUSTERシステムを設計するユーザ
内容:PRIMECLUSTERシステム 設計ワークシートを掲載しています。

付録B マニュアルページ

対象:PRIMECLUSTERシステムを使用する、すべてのユーザ
内容:PRIMECLUSTERシステムの各機能で使用するオンラインマニュアルページについて説明します。

付録C トラブルシューティング

対象:PRIMECLUSTERシステムを使用する、すべてのユーザ
内容:PRIMECLUSTERシステムでトラブルが発生した場合の対処法を説明します。
トラブル調査を依頼する際のデータの採取方法について説明します。

付録D PRIMECLUSTER対応製品用の状態遷移プロシジャリソースの登録/変更/削除

対象:PRIMECLUSTER対応製品用リソースを使用する、すべてのユーザ
内容:クラスタアプリケーションでプロシジャリソースを使用する場合のプロシジャリソースの登録/変更/削除方法について説明します。

付録E シャットダウンエージェント設定更新機能

対象:PRIMECLUSTERシステムを使用する、すべてのユーザ
内容:シャットダウンエージェント設定更新機能について説明します。

付録F KVM環境でPRIMECLUSTERを使用する場合

対象:KVM環境でPRIMECLUSTERシステムを使用する、すべてのユーザ
内容:KVM環境でPRIMECLUSTERシステムを使用する場合の導入手順について説明します。

付録G KVM環境でマイグレーション機能を使用する場合

対象:KVM環境でマイグレーション機能を使用する、すべてのユーザ
内容:KVM環境でマイグレーション機能を使用する場合の手順について説明します。

付録H VMware環境でPRIMECLUSTERを使用する場合

対象:VMware環境でPRIMECLUSTERシステムを使用する、すべてのユーザ
内容:VMware環境でPRIMECLUSTERシステムを使用する場合の導入手順について説明します。

付録I PRIMECLUSTERの起動スクリプト/起動デーモンとポート番号

対象:PRIMECLUSTERシステムを構築するシステム管理者
内容:PRIMECLUSTERが起動するスクリプトとデーモン、使用するポート番号について説明します。

付録J PRIMECLUSTERのsystemdサービス/起動デーモンとポート番号

対象:PRIMECLUSTERシステムを構築するシステム管理者
内容:PRIMECLUSTERが起動するsystemdサービスとデーモン、使用するポート番号について説明します。

付録K Firewallを使用する場合

対象:PRIMECLUSTERシステムを使用する、すべてのユーザ
内容:PRIMECLUSTERシステムでFirewallを使用する場合について説明します。

付録L クラスタシステム環境をクローニングする場合

対象:PRIMECLUSTERシステム環境をクローニングするシステム管理者
内容:PRIMECLUSTERシステム環境でクローニングを行う場合の手順について説明します。

付録M バージョン毎の変更点

対象:PRIMECLUSTER 4.0A20、4.1A20、4.1A30、4.2A00、4.2A30、4.3A00、4.3A10、4.3A20、または4.3A30を使用していた、すべてのユーザ
内容:PRIMECLUSTER 4.3A40の仕様変更点について説明します。

付録N リリース情報

対象:PRIMECLUSTERシステムを使用する、すべてのユーザ
内容:本マニュアルの主な変更内容について説明します。

用語集

対象:PRIMECLUSTERシステムを使用する、すべてのユーザ
内容:PRIMECLUSTERシステムの用語について説明します。

関連マニュアル

以下のマニュアルはクラスタ設定を行う際に必要に応じて参照してください。

注意

PRIMECLUSTERの関連ドキュメントには上記マニュアル以外に以下のドキュメントがあります。

  • PRIMECLUSTER ソフトウェア説明書/インストールガイド

    PRIMECLUSTERの各製品に添付されるソフトウェア説明書およびインストールガイドです。

    データは各製品の“DVD”に格納されています。また、ファイル名については、「製品のご案内」を参照ください。

マニュアルの体系

マニュアルの印刷について

マニュアルの印刷をする場合には、PRIMECLUSTER製品用DVDの中に入っているPDFファイルを利用してください。PDFファイル名とマニュアルとの関係については、製品に添付されているPRIMECLUSTERのソフトウェア説明書を参照してください。

PDFファイルの参照・印刷には、Adobe Readerが必要です。Adobe Readerの入手方法については、Adobe Systems Incorporated. (アドビシステムズ社)のホームページを参照してください。

オンラインマニュアルについて

オンラインマニュアルを参照するためには、クラスタ管理サーバでユーザ名をwvroot、clroot、cladmin、clmonのいずれかのユーザグループに登録してください。

ユーザグループの登録の方法、ユーザグループの意味については、“4.3.1 クラスタを管理するユーザの作成”を参照してください。

本書の表記について

表記
プロンプト

実行にシステム管理者(ルート)権限が必要なコマンドライン例の場合、先頭にシステム管理者プロンプトを示すハッシュ記号(#)が付いています。システム管理者権限を必要としないエントリの場合、先頭にドル($)が付いています。

マニュアルページのセクション番号

Linux(R)オペレーティングシステムコマンドの後ろにマニュアルページのセクション番号が括弧付きで示されています。―例: cp(1)

キーボード

印字されない文字のキーストロークは、<Enter>や<F1>などのキーアイコンで表示されます。たとえば、<Enter>はEnterというラベルの付いたキーを押すことを意味し、<Ctrl>+<B>は、CtrlまたはControlというラベルの付いたキーを押しながら<B>キーを押すことを意味します。

書体/記号

以下の書体は特定要素の強調に使用されます。

書体 / 記号

使用方法

均等幅

コンピュータ出力、およびプログラムリスト:テキスト本文中のコマンド、ファイル名、マニュアルページ名、他のリテラルプログラミング項目

斜体, <斜体>

具体的な数値/文字列に置き換える必要のある変数 ―入力値―

<均等幅>

具体的な数値/文字列に置き換える必要のある変数 ―表示値―

太字

記述どおりに入力する必要のあるコマンドライン項目

“均等幅”

参照先のタイトル名、マニュアル名、画面名等

[均等幅]

ツールバー名、メニュー名、コマンド名、アイコン名

<均等幅>

ボタン名

例1.

以下に/etc/passwdファイルのエントリの一部を示します。

root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/bin/bash
daemon:x:2:2:daemon:/sbin:/bin/bash
lp:x:4:7:lp daemon:/var/spool/lpd:/bin/bash

例2.

cat(1)コマンドでファイルの内容を表示するには、以下のコマンドラインを入力します。

$ cat ファイル名
記号

特に注意すべき事項の前には以下の記号が付いています。

ポイント

ポイントとなる内容について説明します。

注意

注意する項目について説明します。

例題を用いて説明します。

参考

参考となる内容を説明します。

参照

参照するマニュアル名などを説明します。

略称
  • Red Hat Enterprise Linux をRHELと略しています。

  • Red Hat Enterprise Linux AS をRHEL-ASと略しています。

  • Red Hat Enterprise Linux ES をRHEL-ESと略しています。

  • RHEL-AS、RHEL-ESを総称してLinux(R)と表記しています。

  • VMware(R) ESXi(TM) をESXiと略しています。

  • VMware vSphere(R) をVMware vSphereと略しています。

  • VMware vSphere(R) High Availability をVMware HAと略しています。

  • VMware vSphere(R) Fault Tolerance をVMware FTと略しています。

  • VMware vSphere(R) Distributed Resource Scheduler(TM)をVMware DRSと略しています。

  • VMware vSphere(R) vMotion(R)をVMware vMotionと略しています。

  • VMware vSphere(R) Storage vMotion(R)をVMware Storage vMotionと略しています。

  • VMware(R) vCenter(TM) Converter(TM)をVMware vCenter Converterと略しています。

  • PRIMEQUEST 2000/1000 シリーズ をPRIMEQUESTと略しています。

輸出管理規制について

本ドキュメントを輸出または第三者へ提供する場合は、お客様が居住する国および米国輸出管理関連法規等の規制をご確認のうえ、必要な手続きをおとりください。

商標について

Red Hat は米国およびそのほかの国において登録されたRed Hat, Inc. の商標です。

Linux は、Linus Torvalds 氏の登録商標です。

Oracle とJava は、Oracle Corporation およびその子会社、関連会社の米国およびその他の国における登録商標です。文中の社名、商品名等は各社の商標または登録商標である場合があります。

Microsoft、WindowsおよびInternet Explorerは、米国Microsoft Corporationの米国およびその他の国における登録商標です。

NetWorkerは、米国およびその他の国におけるEMC Corporation の商標または登録商標です。

VMware は、米国およびその他の地域における VMware,Inc の登録商標または商標です。

Symfoware は、富士通株式会社の登録商標です。

ioMemoryは、Fusion-io, Inc.の米国およびその他の国における商標または登録商標です。

PRIMECLUSTERは、富士通株式会社の登録商標です。

その他各種製品名は、各社の製品名称、商標または登録商標です。

お願い

出版年月および版数

2015年11月 第11版
2016年7月 第11.1版
2017年8月 第11.2版
2017年12月 第11.3版
2020年3月 第11.4版

著作権表示

All Rights Reserved, Copyright (C) 富士通株式会社 2008-2020

変更履歴

追加・変更内容

変更箇所

版数

RSBに関する記事を削除しました。

1.7.2 PRIMERGYの場合の注意点

第11.1版

管理OS異常切替機能を使用せず、複数の管理OS上のゲストOS間でクラスタシステムを構築する場合の注意事項を追加しました。

2.2.1 仮想マシン機能

kdumpシャットダウンエージェントに必要な設定の手順に注意を追加しました。

3.1.6.1 PRIMERGYの場合

blacklistの設定にGDSモジュールを追加しました。

3.3 PRIMECLUSTERのインストール

/etc/kdump.confのkdump_postについての注意を追加しました。

3.3 PRIMECLUSTERのインストール

bondingデバイスをクラスタインタコネクトに使用する場合の注意事項を追加しました。

5.1.1 CF、CIPの設定

kdumpシャットダウンエージェントの設定についての注意を追加しました。

5.1.2.3.4 kdump

シャットダウン機構起動後に、"sdtool -s"を実行した場合および、MMB非同期監視デーモンの初回起動時の注意事項を追加しました。

5.1.2.4.1 MMB

RMSを使用する場合の注意事項を追加しました。

第6章 クラスタアプリケーションの構築

スクリプトで使用する環境変数についての注意を変更しました。

6.6 Online/Offlineスクリプトの設定

userApplicationの名前に関する注意事項を追加しました。

6.7.2 userApplicationの設定

userApplicationに登録できるスクリプトについて参考を追加しました。

6.7.2.1 スタンバイ運用のクラスタアプリケーション作成

StopCommandsにnoneを設定した場合の注意を追加しました。

6.7.3.1 Cmdlineリソースの設定

マウントポイントとして指定するディレクトリのパスについての注意を追加しました。

6.7.3.2 Fsystemリソースの設定

「Check スクリプトのタイムアウトについて」の説明を追加しました。

6.11.2.2.4 Check スクリプトのタイムアウトについて

スクリプトで使用する環境変数についての注意を変更しました。

6.11.3 スクリプトの留意事項について

注意事項に、保守モードに関するuserApplicationオブジェクトの状態アイコンを追加しました。

7.1.3.1 RMSツリー

障害が発生したリソースの対処に、リソースの故障形跡のクリアの手順を追加しました。

7.4.1.2 障害が発生したリソースの対処

Dynamic Reconfigurationによる減設手順を追加しました。

8.1.2.3 Dynamic Reconfigurationによる減設

SA_icmp を使用している場合のSFの設定変更手順を追加しました。

8.1.3.3 CIPで使用するネットワークインタフェースカードの変更
9.2.3 CIPのIPアドレスの変更

RHEL7の場合の実行例を変更しました。

9.2.1 業務LANのIPアドレスの変更
9.2.2 管理LANのIPアドレスの変更

すべてのuserApplicationを削除した場合の注意を追加しました。

10.2.2 userApplicationの削除

スタンバイ運用のクラスタアプリケーションの変更の場合の変更する内容に、リソース名に使用される識別子を追加しました。

10.3 クラスタアプリケーションの変更

CheckCommandsTimeoutsオブジェクトを追加しました。

A.10.1 Cmdlineリソース設定ワークシート

状態遷移プロシジャの起動優先度の変更手順を変更しました。

D.2.2 状態遷移プロシジャの起動優先度の変更

プロシジャリソースの登録情報の変更手順を変更しました。

D.2.3 プロシジャリソースの登録情報の変更

プロシジャリソースの登録情報を変更する場合の注意を追加しました。

D.2.3 プロシジャリソースの登録情報の変更

管理OSの情報の参照設定手順を追加しました。

G.2.1 管理OS異常切替機能を使用しない場合

移動先管理OSのユーザID作成手順を追加しました。

G.2.1 管理OS異常切替機能を使用しない場合
G.2.2 管理OS異常切替機能を使用する場合

KVM環境でマイグレーション機能を使用する場合の設定変更手順を追加しました。

G.4 設定変更

I/Oフェンシング機能を使用した強制停止の説明を変更しました。

H.1 VMware環境でのクラスタシステム

仮想マシン ハードウェアに対するホット変更についての注意事項を追加しました。

H.1 VMware環境でのクラスタシステム

ネイティブマルチパス(NMP)のパスポリシーの条件を変更しました。

H.1 VMware環境でのクラスタシステム

VMware vSphere の導入の仮想ネットワークの設定の説明を変更しました。

H.2.1.1 関連ソフトウェアのインストールと設定

インタコネクトに指定するネットワークをVMwareのNICチーミングの機能を用いて束ねる場合の注意を追加しました。

H.2.1.1 関連ソフトウェアのインストールと設定

設定に関する説明を追加、変更しました。

H.2.1.1 関連ソフトウェアのインストールと設定
H.3.1.1 関連ソフトウェアのインストールと設定

運用時の注意を追加しました。

H.4 運用

/etc/rc3.dに以下を追加しました。
・S05poffinhibit
・S07cllkcd
・S27SMAWsfex

I.2 起動スクリプト一覧

S13SMAWsfの使用ポートを変更しました。

I.2 起動スクリプト一覧

poffinhibit.serviceを追加しました。

J.2 systemdサービス一覧

smawsf.serviceの使用ポートを変更しました。

J.2 systemdサービス一覧

共用ディスクリソースの削除手順を変更しました。

L.3.5 GDSの構成情報のリストア

hvshutコマンドの変更点の記載を変更しました。

付録M バージョン毎の変更点

サーバ間ミラーリングを使用する場合の記載を追加しました。

3.2.1.1 管理OSの設定(ゲストOSのOSインストール前)
3.2.1.2 管理OSの設定(ゲストOSのOSインストール後)
3.2.2.2 管理OSの設定(ゲストOSのOSインストール後)
3.2.3.1.3 管理OSの設定(ゲストOSのOSインストール前)
3.2.3.1.4 管理OSの設定(ゲストOSのOSインストール後)

第11.2版

時刻同期に関する注意点の説明を変更しました。

1.7.1 PRIMERGY/PRIMEQUEST 共通の注意点

第11.3版

実行例を変更しました。

3.1.6.1 PRIMERGYの場合
5.1.2.3.2 IPMI
E.3.1 IPMIサービスの起動設定

CFハートビートのタイムアウト値の注意事項を変更しました。

3.2.3.3 クラスタの構築(管理OS)

マニュアルの参照箇所を追加しました。

4.3.3.2 Web-Based Admin Viewの起動確認

生存優先度の設計指針の説明を変更しました。

5.1.2.2 生存優先度

テスト状態にTestFailedと表示された場合の注意事項を追加しました。

5.1.2.3.5 シャットダウン機構の起動

6750と1421のメッセージ表示例を英語に変更しました。

5.2 故障リソース特定とオペレータ介入要求の設定

Checkスクリプトの終了コードについての説明を追加しました。

6.6 Online/Offlineスクリプトの設定

userApplicationに設定可能な属性の一覧と詳細についての参考を追加し、userApplicationに登録可能なスクリプトについての参考についての説明を変更しました。

6.7.2.1 スタンバイ運用のクラスタアプリケーション作成

属性の変更手順についての説明を変更しました。

6.7.3.1 Cmdlineリソースの設定

LVMのボリューム上のファイルシステムについての注意を追加しました。

6.7.3.2 Fsystemリソースの設定

ノード故障、リソース故障、RMS 停止時に userApplication をフェイルオーバさせたい場合の説明を変更しました。

6.10.1 クラスタアプリケーションの設定内容

MONITORONLY属性の概要を変更しました。

6.11 Cmdline リソース設定時の注意点

図のGlsリソースの状態のWaitをOnline処理中に変更しました。

6.11.1.5 動作フロー

保守モード使用時の注意事項を追加しました。

6.11.2.1.4 NULLDETECTOR フラグを設定した場合の注意事項

終了コードについての注意事項を追加しました。

6.11.2.2.3 Check スクリプトの終了コードについて

PRIMECLUSTER対応製品を使用している場合およびNULLDETECTOR フラグを設定した場合の注意事項を追加しました。

7.2.2.6 クラスタアプリケーションを保守モードにする

削除するリソースを選択する場合の説明を変更しました。

10.5 リソースの削除

I/Oフェンシング機能を使用しているVMware環境の場合の注意を追加しました。

10.5 リソースの削除
10.6.2 Fsystemリソースが制御するファイルシステムのデバイスの変更

ntp.confの記載例を削除しました。

A.11.1.1 クラスタ構築ワークシート
A.11.2.1 クラスタ構築ワークシート

hvlogcontrol と config.usを削除しました。

B.6 RMS

ホットクローン機能、Data Recovery、VCBによるバックアップに関する記載を削除しました。

H.1 VMware環境でのクラスタシステム

GdsリソースやFsystemリソースを登録しているクラスタアプリケーションの注意事項を追加しました。

H.1 VMware環境でのクラスタシステム

I/Oフェンシング機能使用時の共用ディスク関連の設定についての説明を変更しました。

H.2.1.1 関連ソフトウェアのインストールと設定

PreOnlineスクリプト、OfflineDoneスクリプト、Faultスクリプトについての説明を追加しました。

H.2.4.1 I/Oフェンシング機能の設定

chronyd.serviceを追加しました。

J.3 PRIMECLUSTERが動作するうえで必要なサービス

GLSと引継ぎネットワークをどちらも使用しない場合を追加しました。

L.3.8 クラスタアプリケーション情報の設定変更

RHEL7 環境で ntpdate サービスを使用する場合の注意を追加しました。

3.3 PRIMECLUSTERのインストール

第11.4版

Web-Based Admin View の管理サーバの設定についての注意を追加しました。

4.3.3 Web-Based Admin Viewの初期設定

Web-Based Admin View のプライマリ管理サーバ、セカンダリ管理サーバの設定に関する説明を変更しました。

4.3.3.1 運用管理サーバの初期設定
L.3.2 シングルユーザモードでの設定

IP アドレスの設定に関する注意を追加しました。

4.3.3.1 運用管理サーバの初期設定

HV_NODENAME の例の説明を変更しました。

6.6 Online/Offlineスクリプトの設定
6.11.2.1.2 Start/Stop スクリプト内で参照できる環境変数

hvw コマンド実行中の注意を追加しました。

6.7.1 RMS Wizardの起動

マウントポイントの定義に関する説明を追加しました。

6.7.3.2 Fsystemリソースの設定

PRIMECLUSTER Wizard for NAS を使用している場合の注意を追加しました。

6.7.5 PRIMECLUSTER対応製品のクラスタサービス登録

参考にクラスタアプリケーションの Standby 状態への遷移に関する説明を追加しました。

6.7.7 クラスタアプリケーションの排他関係

クラスタアプリケーション設定時の注意点の説明を変更しました。

6.10.2 設定時の注意点

Check スクリプトのタイムアウト値の説明を追加しました。

6.11.2.2.4 Checkスクリプトのタイムアウトについて

Fsystem リソース作成時の注意を追加しました。

6.12.1 Fsystem の監視

Cluster Admin からログを表示する場合の注意を追加しました。

7.1.3.3 switchlogとアプリケーションログ
7.3.4 PRIMECLUSTERシステムで発生したログを参照する

保守モードを開始する場合の注意を変更しました。

7.2.2.6 クラスタアプリケーションを保守モードにする

RHEL6 環境でのシステム起動時の注意を追加しました。

7.5 運用時の注意点

業務 LAN の IP アドレスを変更する手順を変更しました。

9.2.1 業務LANのIPアドレスの変更

管理 LAN の IP アドレスを変更する手順を変更し、参照を追加しました。

9.2.2 管理LANのIPアドレスの変更

RELIANT_SHUT_MIN_WAIT の設定に関する説明を変更しました。

11.2.1 RMS停止処理のタイムアウト時間の変更

引継ぎネットワークリソースのホスト名を変更する際の説明を変更しました。

L.3.8.2 引継ぎネットワークを使用している場合