DFS のセットアップ手順を以下に示します。
マウントポイントを作成し、/etc/fstab に DFS の記述を追加します。
マウントポイントの作成
DFS として利用するストレージシステム上のディスクパーティションをマウントするマウントポイントを作成します。
マウントポイントは、マスタサーバで指定したものと同じにしてください。
例
/mnt の配下にマウントポイント pdfs を作成します。
# mkdir /mnt/pdfs <Enter>
fstab 設定
/etc/fstab に上記で作成したマウントポイントおよび論理ファイルシステム名を定義します。
論理ファイルシステム名は、DFS ファイルシステムを識別するための論理名です。マスタサーバでファイルシステムの構成情報を生成する際に定義した名前を使用します。
例
/etc/fstab にマウントポイント /mnt/pdfs および論理ファイルシステム名 pdfs1 を定義した場合の例を示します。
LABEL=/ / ext3 defaults 1 1 LABEL=/home /home ext3 defaults 1 2 LABEL=/boot /boot ext3 defaults 1 2 tmpfs /dev/shm tmpfs defaults 0 0 devpts /dev/pts devpts gid=5,mode=620 0 0 sysfs /sys sysfs defaults 0 0 proc /proc proc defaults 0 0 LABEL=SWAP-sda3 swap swap defaults 0 0 pdfs1 /mnt/pdfs pdfs _netdev 0 0
参照
/etc/fstab に追加するエントリーの各フィールドに指定するパラメーターについて、スレーブサーバ導入時の「6.2.2.1 マウントポイントの作成および fstab の設定」を参照してください。
hadoop グループおよび mapred ユーザーを登録します。
hadoop グループの グループID および mapred ユーザーのユーザーID は、マスタサーバの hadoop グループのグループID および mapred ユーザーのユーザーID と同じ値である必要があります。
マスタサーバの /etc/passwd ファイルを確認して、同じ値となるように登録してください。
例
マスタサーバで登録されているグループのうち、hadoop グループを確認する。
# cat /etc/group <Enter>
・・・ 中略 ・・・
hadoop:x:123:hbase
hbase:x:1503:
bdppgroup:x:1500:
マスタサーバで登録されているユーザーのうち、mapred ユーザーを確認する。
# cat /etc/passwd <Enter>
・・・ 中略 ・・・
bdppuser1:x:1500:1500::/home/bdppuser1:/bin/bash
bdppuser2:x:1501:1500::/home/bdppuser2:/bin/bash
mapred:x:202:123:Hadoop MapReduce:/tmp:/bin/bash
hdfs:x:201:123:Hadoop HDFS:/tmp:/bin/bash
hbase:x:203:1503::/tmp:/bin/bash
hadoop グループを登録する。
# groupadd -g 123 hadoop <Enter>
mapred ユーザーを登録する。
# useradd -g hadoop -u 202 -c "Hadoop MapReduce" -d /tmp -s /bin/bash mapred <Enter>
注意
連携サーバで、すでに グループID および ユーザーID が登録済となっているために別の グループID、ユーザーID に変更する必要がある場合には、マスタサーバ、スレーブサーバ、および開発実行環境サーバに登録されている hadoop グループの グループID、mapred ユーザーの ユーザーID もすべて同じ値となるように変更してください。
マスタサーバで生成した DFS 構成情報ファイルを連携サーバに配付し、DFS ファイルシステムをマウントします。
マスタサーバの「6.1.3.11 DFS ファイルシステム構成情報の生成」で生成した DFS 構成情報ファイルを /etc/pdfs 配下にコピーします。
# scp -p root@master1:{DFS 構成情報ファイルを作成したディレクトリ}/client.conf.pdfs1 /etc/pdfs <Enter>
DFS ファイルシステムをマウントします。
例
連携サーバで、DFS ファイルシステムをマウントします。
# mount pdfs1 <Enter>
注意
DFS ファイルシステムをマウントする前に連携サーバに DFS 構成情報ファイルを配置しておく必要があります。
DFS では、必ずマスタサーバ、スレーブサーバ、開発実行環境サーバ、連携サーバの順でマウントしてください。スレーブサーバ、開発実行環境サーバ、または連携サーバを先にマウントしても、マスタサーバ(MDS) が存在しないためマウントが失敗します。
参照
マウントの詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファレンス」で「mount.pdfs」を参照してください。