ページの先頭行へ戻る
PRIMECLUSTER DR/PCI Hot Plug ユーザーズガイド
第4章 PRIMECLUSTER > 4.3 SPARC M10/SPARC EnterpriseでのPCI Hot Plug操作 > 4.3.3 PCI Hot Plugによるクラスタインタコネクトの交換手順(Ethernetの場合)
前

4.3.3 PCI Hot Plugによるクラスタインタコネクトの交換手順(Ethernetの場合)

交換対象のPCIカードに接続しているのがクラスタインタコネクトだけの場合と、GLSによる業務LANも接続している場合とで手順が異なります。以下の場合に分けて説明します。

4.3.3.1 PCIカードにクラスタインタコネクトだけを接続している場合

  1. クラスタインタコネクトを交換する前に、ハードウェアの構成情報をファイルに保存します。

    # /usr/sbin/prtpicl -v > pre_prtpicl.log

  2. 交換するPCIカードに対応するデバイスをクラスタインタコネクトから切り離します。

    次に、切り離した後の"Receptacle"と"Occupant"が、それぞれ"disconnected"、"unconfigured"であることを確認します。

    cfgadmコマンドについては、Oracle Solarisのデバイスのドキュメントを参照してください。

    例）交換するPCIカードのデバイスが/dev/fjgi7、PCIスロットの位置を表す値が pcipsy8:R0B00-PCI#slot05 の場合
    （PCIスロットの位置を表す値の求め方はOracle Solarisのデバイスのドキュメントを参照してください。）

    # cftool -d
    Number Device     Type Speed    Mtu      State Configured Address
1      /dev/fjgi1 4    100      1432     UP    YES        00.00.0e.25.1a.38
2      /dev/fjgi7 4    100      1432     UP    YES        00.00.0e.25.1a.38
    [cftool -dで/dev/fjgi7が表示されている場合]
    # cfrecon -d /dev/fjgi7

Delete Cluster Interconnect:

device "/dev/fjgi7" successfully removed from node configuration
# cfgadm -c disconnect pcipsy8:R0B00-PCI#slot05
# cfgadm pcipsy8:R0B00-PCI#slot05
Ap_Id                            Type       Receptacle    Occupant       Condition
pcipsy8:R0B00-PCI#slot05     unknown    disconnected  unconfigured  unknown
    [cftool -dで/dev/fjgi7が表示されていない場合]

    /etc/default/clusterを編集して交換するPCIカードのデバイスの設定を削除してください。

    [変更前]

    nodename node0
clustername PRIMECLUSTER
device /dev/fjgi1
device /dev/fjgi7

    [変更前]

    nodename node0
clustername PRIMECLUSTER
device /dev/fjgi1

    必要に応じて以下のコマンドを実行してください。

    # cfgadm -c disconnect pcipsy8:R0B00-PCI#slot05
# cfgadm pcipsy8:R0B00-PCI#slot05
Ap_Id Type Receptacle Occupant Condition
pcipsy8:R0B00-PCI#slot05 unknown disconnected unconfigured unknown

  3. PCIカードを取り外します。この作業はCEが行います。

  4. 新たなPCIカードをPCIスロットに搭載します。この作業はCEが行います。

  5. 手順4でPCIカードを搭載したPCIスロットの位置を表す値を求めます。

    値の求め方はOracle Solarisのデバイスのドキュメントを参照してください。

  6. 交換したPCIカードを組み込みます。以下に示すように"cfgadm -c configure"に続いて、手順5で求めた値を指定します。その後、以下のように "Receptacle"と"Occupant" がそれぞれ"connected"、"configured"であることを確認します。

    cfgadmコマンドについては、Oracle Solarisのデバイスのドキュメントを参照してください。

    例）手順5で求めた値が pcipsy18:R0B02-PCI#slot02 の場合

    # cfgadm -c configure pcipsy18:R0B02-PCI#slot02
# cfgadm pcipsy18:R0B02-PCI#slot02
Ap_Id                             Type          Receptacle    Occupant    Condition
pcipsy18:R0B02-PCI#slot02     bridge/hp    connected    configured    ok

  7. ハードウェアの構成情報を、前述とは違う名前のファイルに保存します。

    # /usr/sbin/prtpicl -v > post_prtpicl.log

  8. 前述の手順によって保存した2つのファイルを比較し、交換後のPCIカードのインタフェース名とインスタンス番号を求めます。

    # diff -c pre_prtpicl.log post_prtpicl.log | more
(中略)
!               :devfs-path/pci@9c,4000/SUNW,hme@3,1
!               :driver-namehme
!               :binding-nameSUNW,hme
!               :bus-addr 3,1
!               :instance 9
!               :_class     obp-device
!               :nameSUNW,hme
(以下省略)

  9. 求めたインタフェース名とインスタンス番号を使用して、インタコネクトへの組込みを行います。

    例）/dev/hme9 の場合

    # cfrecon -a /dev/hme9

Add Cluster Interconnect:

device "/dev/hme9" successfully added to node configuration

  10. 各ノードのコンソールに以下のようなメッセージが表示されることを確認します。

    例）/dev/hme9 の場合

    cf:eventlog     CF: Route recovery on /dev/hme9 to node node0. (#0000 1 2 2 2)

  11. クラスタインタコネクトへの組込みが成功したことを確認します。

    例）/dev/hme9 が組み込まれた場合

    # cftool -d
Number DeviceType SpeedMtuState ConfiguredAddress
1      /dev/fjgi141001432UPYES00.00.0e.25.1a.38
2      /dev/hme941001432UPYES 00.00.0e.25.1a.38

4.3.3.2 PCIカードにクラスタインタコネクトとGLSによる業務LANを接続している場合

注意

ここでの操作は、複数のポートを持つ1つのPCIカードに対しクラスタインタコネクトとGLSによる業務LANをそれぞれ接続している場合のものです。

また、このような接続形態の場合、PCI Hot PlugによるPCIカードの交換作業の前後において異なるデバイス名を使用することはできません。必ず交換前に使用していたPCIスロットに交換前と同一のPCIカードを搭載してください。

  1. 交換するNIC(PCIカード)をGLSの冗長構成から切り離します。以下の手順に記載されているインタフェース名は、環境によって異なりますので、環境に合わせて読み替えてください。

    • 高速切替方式の場合

      • Solaris 10の場合

        # /opt/FJSVhanet/usr/sbin/hanetnic delete -n sha0 -i fjgi7
# /usr/sbin/ifconfig fjgi7 unplumb
# /usr/sbin/ifconfig fjgi7 inet6 unplumb

      • Solaris 11の場合

        # /opt/FJSVhanet/usr/sbin/hanetnic delete -n sha0 -i net7
# /usr/sbin/ipadm delete-ip net7

      注意

      冗長化構成に戻すときに、hanetnic deleteコマンドで指定したインタフェースのIPアドレスとネットマスクの設定が必要です。ifconfigコマンドなどを使用して、事前にメモしておいてください。

      # /usr/sbin/ifconfig net7

    • NIC切替方式の場合

      交換対象のNICの状態により、以下の手順が必要となります。

      • NICが運用NICである場合、NICの交換前に手動でNICの切替えを行う必要があります。

      • Solaris 11である、かつNICがプライマリインタフェースである場合、NICの交換前にIPアドレスの設定を削除する必要があります。

      1. プライマリインタフェース名、および運用NICの確認

        プライマリインタフェース名を確認してください。プライマリインタフェース名は、Interface List列のリストの先頭に表示されます。この例では“net1”です。

        # /opt/FJSVhanet/usr/sbin/hanetconfig print
[IPv4,Patrol]

 Name        Hostname        Mode MAC Adder/Phys ip Interface List
+-----------+---------------+----+-----------------+---------------------------+
 sha0        192.168.70.1     d   192.168.70.2      net1,net7
 sha1        -                p   00:00:00:00:00:00 sha0

[IPv6]

 Name        Hostname/prefix                   Mode Interface List
+-----------+---------------------------------+----+---------------------------+

        運用NIC名を確認してください。運用NICは、Device列のリストに"(ON)"と表示されているインタフェースです。この例では“net1”です。

        # /opt/FJSVhanet/usr/sbin/dsphanet
[IPv4,Patrol]
 Name       Status   Mode CL  Device
+----------+--------+----+----+------------------------------------------------+
 sha0       Active    d   ON   net1(ON),net7(OFF)
 sha1       Active    p   OFF  sha0(ON) 
[IPv6]
 Name       Status   Mode CL  Device
+----------+--------+----+----+------------------------------------------------+

      2. HUB監視機能、パトロール監視機能の停止

        # /opt/FJSVhanet/usr/sbin/hanetpoll off
# /opt/FJSVhanet/usr/sbin/stpptl -n sha1

      3. 物理インタフェースの切替え

        交換するNICが運用NICの場合のみ実行してください。

        # /opt/FJSVhanet/usr/sbin/hanetnic change -n sha0

      4. IPアドレス設定の削除

        Solaris 11である、かつ交換するNICがプライマリインタフェースの場合のみ実行してください。

        # /usr/sbin/ifconfig net7
        # /usr/sbin/ipadm delete-ip net1

        注意

        冗長化構成に戻すときに、ipadm delete-ipコマンドで指定したインタフェースのIPアドレスとネットマスクの設定が必要です。

        ifconfigコマンドの出力結果をメモしておいてください。

        # /usr/sbin/ifconfig net7

    • GS/SURE連携方式の場合

      交換するNICを束ねている仮想インタフェースを、冗長構成から削除します。

      # /opt/FJSVhanet/usr/sbin/hanetnic delete -n sha0 -i sha2

  2. 交換するPCIカードに対応するデバイスをクラスタインタコネクトから切り離します。次に、切り離した後の"Receptacle"と"Occupant"が、それぞれ"disconnected"、"unconfigured"であることを確認します。

    cfgadmコマンドについては、Oracle Solarisのデバイスのドキュメントを参照してください。

    例）交換するPCIカードのデバイスが/dev/fjgi7、PCIスロットの位置を表す値が pcipsy8:R0B00-PCI#slot05 の場合
    （PCIスロットの位置を表す値の求め方はOracle Solarisのデバイスのドキュメントを参照してください。）

    # cftool -d
    Number Device     Type Speed    Mtu      State Configured Address
1      /dev/fjgi1 4    100      1432     UP    YES        00.00.0e.25.1a.38
2      /dev/fjgi7 4    100      1432     UP    YES        00.00.0e.25.1a.38
    [cftool -dで/dev/fjgi7が表示されている場合]
    # cfrecon -d /dev/fjgi7

Delete Cluster Interconnect:

device "/dev/fjgi7" successfully removed from node configuration
# cfgadm -c disconnect pcipsy8:R0B00-PCI#slot05
# cfgadm pcipsy8:R0B00-PCI#slot05
Ap_Id                            Type       Receptacle    Occupant        Condition
pcipsy8:R0B00-PCI#slot05     unknown    disconnected  unconfigured  unknown
    [cftool -dで/dev/fjgi7が表示されていない場合]

    /etc/default/clusterを編集して交換するPCIカードのデバイスの設定を削除してください。

    [変更前]

    nodename node0
clustername PRIMECLUSTER
device /dev/fjgi1
device /dev/fjgi7

    [変更前]

    nodename node0
clustername PRIMECLUSTER
device /dev/fjgi1

    必要に応じて以下のコマンドを実行してください。

    # cfgadm -c disconnect pcipsy8:R0B00-PCI#slot05
# cfgadm pcipsy8:R0B00-PCI#slot05
Ap_Id Type Receptacle Occupant Condition
pcipsy8:R0B00-PCI#slot05 unknown disconnected unconfigured unknown

  3. PCIカードを交換します。この作業はCEが行います。

  4. 交換したPCIカードを組み込み、以下のように"Receptacle"と"Occupant"がそれぞれ"connected"、"configured"であることを確認します。

    cfgadmコマンドについては、Oracle Solarisのデバイスのドキュメントを参照してください。

    例）交換したPCIスロットの位置を表す値が pcipsy8:R0B00-PCI#slot05 の場合

    # cfgadm -c configure pcipsy8:R0B00-PCI#slot05
# cfgadm pcipsy8:R0B00-PCI#slot05
Ap_Id                            Type           Receptacle   Occupant   Condition
pcipsy8:R0B00-PCI#slot05      bridge/hp    connected     configured   ok

  5. 交換したNIC(PCIカード)をGLSの冗長構成に組み込みます。以下の手順に記載されているインタフェース名は、環境によって異なりますので、環境に合わせて読み替えてください。

    • 高速切替方式の場合

      • Solaris 10の場合

        # /opt/FJSVhanet/usr/sbin/hanetnic add -n sha0 -i fjgi7

      • Solaris 11の場合

        # /opt/FJSVhanet/usr/sbin/hanetnic add -n sha0 -i net7

      高速切替方式の環境設定を行う場合、交換したインタフェースに対して、以下のコマンドを実行して事前に活性化してください。

      • IPv4アドレスを使用する場合

        － Solaris 10の場合

        # /usr/sbin/ifconfig fjgi7 plumb
# /usr/sbin/ifconfig fjgi7 ipaddress netmask + broadcast + -trailers up

        － Solaris 11の場合

        # /usr/sbin/ipadm create-ip net7
# /usr/sbin/ipadm create-addr -T static -a ipaddress/netmask net7/v4

      • IPv6アドレスを使用する場合

        － Solaris 10の場合

        # /usr/sbin/ifconfig fjgi7 inet6 plumb up

        － Solaris 11の場合

        # /usr/sbin/ipadm create-ip net7
# /usr/sbin/ipadm create-addr -T addrconf net7/v6

    • NIC切替方式の場合

      交換したNIC(PCIカード)の状態により、以下の手順が必要となります。

      Solaris 11である、かつNICがプライマリインタフェースである場合、手順1.に従い、NICの交換後に手動でNICの切戻しを行い、IPアドレスの再設定をする必要があります。それ以外の場合は、手順2.に進んでください。

      1. 物理インタフェースの切戻し、およびIPアドレスの再設定

        - IPv4アドレスを使用する場合

        # /usr/bin/touch /var/opt/FJSVhanet/tmp/disable_watchif
# /opt/FJSVhanet/usr/sbin/hanetnic change -n sha0
# /usr/sbin/ipadm delete-ip net1
# /usr/sbin/ipadm create-ip net1
# /usr/sbin/ipadm create-addr -T static -a ipaddress/netmask net1/v4
# /usr/bin/rm -f /var/opt/FJSVhanet/tmp/disable_watchif

        - IPv6アドレスを使用する場合

        # /usr/bin/touch /var/opt/FJSVhanet/tmp/disable_watchif
        # /opt/FJSVhanet/usr/sbin/hanetnic change -n sha0
        # /usr/sbin/ipadm delete-ip net1
# /usr/sbin/ipadm create-ip net1
# /usr/sbin/ipadm create-addr -T addrconf net1/v6
        # /usr/bin/rm -f /var/opt/FJSVhanet/tmp/disable_watchif

      2. HUB監視機能、パトロール監視機能の開始

        # /opt/FJSVhanet/usr/sbin/strptl -n sha1
        # /opt/FJSVhanet/usr/sbin/hanetpoll on

      3. 物理インタフェースの切戻し

        Solaris 10である、かつ運用NICをプライマリインタフェースに戻したい場合は、物理インタフェースの切戻しを行ってください。

        # /opt/FJSVhanet/usr/sbin/hanetnic change -n sha0

    • GS/SURE連携方式の場合

      交換したNICを束ねている仮想インタフェースを、冗長構成へ組み込みます。

      # /opt/FJSVhanet/usr/sbin/hanetnic delete -n sha0 -i sha2

  6. 交換したPCIカードをインタコネクトへ組み込みます。

    例）交換したPCIカードのデバイスが /dev/fjgi7 の場合

    # cfrecon -a /dev/fjgi7

Add Cluster Interconnect:

device "/dev/fjgi7" successfully added to node configuration

  7. 各ノードのコンソールに以下のようなメッセージが表示されることを確認します。

    例）交換したPCIカードのデバイスが/dev/fjgi7の場合

    cf:eventlog     CF: Route recovery on /dev/fjgi7 to node node0. (#0000 1 2 2 2)

  8. クラスタインタコネクトへの組込みが成功したことを確認します。

    例）交換したPCIカードのデバイスが /dev/fjgi7 の場合

    # cftool -d
Number Device   Type  Speed   Mtu     State  Configured  Address
1      /dev/fjgi1  4    100     1432    UP      YES        00.00.0e.25.1a.38
2      /dev/fjgi7  4    100     1432    UP      YES        00.00.0e.25.1a.38
前
Copyright FUJITSU LIMITED 2012-2017