DFS のセットアップについて説明します。DFS のセットアップ手順は次のとおりです。
マウントポイントの作成および fstab の設定
hadoop グループおよび mapred ユーザの登録
マウント
マウントポイントの作成
DFS として利用するストレージシステム上のディスクパーティションをマウントするマウントポイントを作成します。
例
“/mnt”の配下にマウントポイント“pdfs”を作成します。
# mkdir /mnt/pdfs <Enter>
fstab設定
“/etc/fstab”に上記で作成したマウントポイントおよび論理ファイルシステム名を定義します。
論理ファイルシステム名は、DFS ファイルシステムを識別するための論理名です。マスタサーバでファイルシステムの構成情報を生成する際に定義した名前を使用します。
例
“/etc/fstab”にマウントポイント“/mnt/pdfs”および論理ファイルシステム名“pdfs1”を定義した場合の例を示します。
LABEL=/ / ext3 defaults 1 1 LABEL=/home /home ext3 defaults 1 2 LABEL=/boot /boot ext3 defaults 1 2 tmpfs /dev/shm tmpfs defaults 0 0 devpts /dev/pts devpts gid=5,mode=620 0 0 sysfs /sys sysfs defaults 0 0 proc /proc proc defaults 0 0 LABEL=SWAP-sda3 swap swap defaults 0 0 pdfs1 /mnt/pdfs pdfs _netdev 0 0
hadoop グループおよび mapred ユーザを登録します。
hadoop グループの GID および mapred ユーザの UID は、マスタサーバの hadoop グループの GID および mapred ユーザの UID と同じ値である必要があります。
マスタサーバの“/etc/passwd”ファイルを確認して、同じ値となるように登録してください。
例
マスタサーバで登録されているグループのうち、hadoop グループを確認する。
# cat /etc/group <Enter>
・・・ 中略 ・・・
hadoop:x:123:hbase
hbase:x:503:
bdppgroup:x:1500:マスタサーバで登録されているユーザのうち、mapred ユーザを確認する。
# cat /etc/passwd <Enter>
・・・ 中略 ・・・
bdppuser1:x:1500:1500::/home/bdppuser1:/bin/bash
bdppuser2:x:1501:1500::/home/bdppuser2:/bin/bash
mapred:x:202:123:Hadoop MapReduce:/tmp:/bin/bash
hdfs:x:201:123:Hadoop HDFS:/tmp:/bin/bash
hbase:x:203:503::/tmp:/bin/bashhadoop グループを登録する。
# groupadd -g 123 hadoop
mapred ユーザを登録する。
# useradd -g hadoop -u 202 -c "Hadoop MapReduce" -d /tmp -s /bin/bash mapred
注意
連携サーバで、すでに GID および UID が登録済となっているために別の GID、UID に変更する必要がある場合には、マスタサーバ、スレーブサーバ、および開発実行環境サーバに登録されている hadoop グループの GID、mapred ユーザの UID もすべて同じ値となるように変更してください。
DFS ファイルシステムをマウントする前に連携サーバに「DFS ファイル構成情報」が配付されている必要があります。
「DFS ファイル構成情報」が配付されていない場合は、「3.1.5 DFS ファイルシステム構成情報の配付」を参照してください。
DFS ファイルシステムのマウントについては、「付録D DFSの環境構築」の「D.4.6 マウント」を参照してください。
例
スレーブサーバで、DFS ファイルシステムをマウントします。
# mount pdfs1 <Enter>