ページの先頭行へ戻る
Interstage Big Data Parallel Processing Server V1.2.0 ユーザーズガイド
FUJITSU Software

6.5.2 DFS のセットアップ

DFS のセットアップ手順を以下に示します。

  1. マウントポイントの作成および fstab の設定

  2. hadoop グループおよび mapred ユーザの登録

  3. マウント


6.5.2.1 マウントポイントの作成および fstab の設定

マウントポイントを作成し、/etc/fstab に DFS の記述を追加します。

マウントポイントの作成

DFS として利用するストレージシステム上のディスクパーティションをマウントするマウントポイントを作成します。

マウントポイントは、マスタサーバで指定したものと同じにしてください。

/mnt の配下にマウントポイント pdfs を作成します。

# mkdir /mnt/pdfs <Enter>

fstab 設定

/etc/fstab に上記で作成したマウントポイントおよび論理ファイルシステム名を定義します。

論理ファイルシステム名は、DFS ファイルシステムを識別するための論理名です。マスタサーバでファイルシステムの構成情報を生成する際に定義した名前を使用します。

/etc/fstab にマウントポイント /mnt/pdfs および論理ファイルシステム名 pdfs1 を定義した場合の例を示します。

LABEL=/                 /                       ext3    defaults        1 1
LABEL=/home             /home                   ext3    defaults        1 2
LABEL=/boot             /boot                   ext3    defaults        1 2
tmpfs                   /dev/shm                tmpfs   defaults        0 0
devpts                  /dev/pts                devpts  gid=5,mode=620  0 0
sysfs                   /sys                    sysfs   defaults        0 0
proc                    /proc                   proc    defaults        0 0
LABEL=SWAP-sda3         swap                    swap    defaults        0 0

pdfs1                   /mnt/pdfs               pdfs    _netdev	0 0

参照

/etc/fstab に追加するエントリーの各フィールドに指定するパラメーターについて、スレーブサーバ導入時の「6.2.2.1 マウントポイントの作成および fstab の設定」を参照してください。


6.5.2.2 hadoop グループおよび mapred ユーザーの登録

hadoop グループおよび mapred ユーザーを登録します。

hadoop グループの グループID および mapred ユーザーのユーザーID は、マスタサーバの hadoop グループのグループID および mapred ユーザーのユーザーID と同じ値である必要があります。

マスタサーバの /etc/passwd ファイルを確認して、同じ値となるように登録してください。

  1. マスタサーバで登録されているグループのうち、hadoop グループを確認する。

    # cat /etc/group <Enter>
    ・・・ 中略 ・・・
    hadoop:x:123:hbase
    hbase:x:1503:
    bdppgroup:x:1500:
  2. マスタサーバで登録されているユーザーのうち、mapred ユーザーを確認する。

    # cat /etc/passwd <Enter>
    ・・・ 中略 ・・・
    bdppuser1:x:1500:1500::/home/bdppuser1:/bin/bash
    bdppuser2:x:1501:1500::/home/bdppuser2:/bin/bash
    mapred:x:202:123:Hadoop MapReduce:/tmp:/bin/bash
    hdfs:x:201:123:Hadoop HDFS:/tmp:/bin/bash
    hbase:x:203:1503::/tmp:/bin/bash
  3. hadoop グループを登録する。

    # groupadd -g 123 hadoop <Enter>
  4. mapred ユーザーを登録する。

    # useradd -g hadoop -u 202 -c "Hadoop MapReduce" -d /tmp -s /bin/bash mapred <Enter>

注意

連携サーバで、すでに グループID および ユーザーID が登録済となっているために別の グループID、ユーザーID に変更する必要がある場合には、マスタサーバ、スレーブサーバ、および開発実行環境サーバに登録されている hadoop グループの グループID、mapred ユーザーの ユーザーID もすべて同じ値となるように変更してください。


6.5.2.3 マウント

マスタサーバで生成した DFS 構成情報ファイルを連携サーバに配付し、DFS ファイルシステムをマウントします。

  1. マスタサーバの「6.1.3.11 DFS ファイルシステム構成情報の生成」で生成した DFS 構成情報ファイルを /etc/pdfs 配下にコピーします。

    # scp -p root@master1:{DFS 構成情報ファイルを作成したディレクトリ}/client.conf.pdfs1 /etc/pdfs <Enter>
  2. DFS ファイルシステムをマウントします。

    連携サーバで、DFS ファイルシステムをマウントします。

    # mount pdfs1 <Enter>

注意

  • DFS ファイルシステムをマウントする前に連携サーバに DFS 構成情報ファイルを配置しておく必要があります。

  • DFS では、必ずマスタサーバ、スレーブサーバ、開発実行環境サーバ、連携サーバの順でマウントしてください。スレーブサーバ、開発実行環境サーバ、または連携サーバを先にマウントしても、マスタサーバ(MDS) が存在しないためマウントが失敗します。

参照

マウントの詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファレンス」で「mount.pdfs」を参照してください。