DFS のセットアップ手順は次のとおりです。
管理パーティションの作成
ファイルシステムの作成
MapReduce 実行用のユーザ ID の設定
スレーブサーバ、開発実行環境サーバ、および連携サーバ(DFS クライアント)情報の登録
マウントポイントの作成および fstab の設定
マウント
DFS ファイルシステム構成情報の生成と配付
管理パーティションの作成方法については、「付録D DFSの環境構築」の「D.3 管理パーティションの作成」を参照してください。
例
管理パーティションの作成(マスタサーバ(プライマリ)で実施)
# pdfssetup -c /dev/disk/by-id/scsi-1FUJITSU_300000370105 <Enter>
管理パーティションへのDFS 管理サーバ情報の登録(マスタサーバ(プライマリ)で実施し、マスタサーバ(セカンダリ)でも同じ操作を実施)
# pdfssetup -a /dev/disk/by-id/scsi-1FUJITSU_300000370105 <Enter>
DFS 管理サーバ情報の登録確認(マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)で同じ操作を実施)
# pdfssetup <Enter> HOSTID CIPNAME MP_PATH 80000001 master1RMS yes 80000000 master2RMS yes # pdfssetup -p <Enter> /dev/disk/by-id/scsi-1FUJITSU_300000370105
pdfsfrmd デーモンの起動(マスタサーバ(プライマリ)で実施し、マスタサーバ(セカンダリ)でも同じ操作を実施)
# pdfsfrmstart <Enter>
ファイルシステムの作成方法については、「付録D DFSの環境構築」の「D.4 ファイルシステムの作成」を参照してください。
例
ファイルシステムの作成(マスタサーバ(プライマリ))
代表パーティション：
/dev/disk/by-id/scsi-1FUJITSU_300000370106
ファイルデータパーティション：
/dev/disk/by-id/scsi-1FUJITSU_300000370107
/dev/disk/by-id/scsi-1FUJITSU_300000370108
マスタサーバ(プライマリ)：master1
マスタサーバ(セカンダリ)：master2
# pdfsmkfs -o dataopt=y,blocksz=8388608,data=/dev/disk/by-id/scsi-1FUJITSU_300000370107,data=/dev/disk/by-id/scsi-1FUJITSU_300000370108,node=master1,master2 /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>
ファイルシステム情報の確認
# pdfsinfo /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter> /dev/disk/by-id/scsi-1FUJITSU_300000370106: FSID special size Type mount 1 /dev/disk/by-id/scsi-1FUJITSU_300000370106 (864) 25418 META ----- 1 /dev/disk/by-id/scsi-1FUJITSU_300000370106 (864) 5120 LOG ----- 1 /dev/disk/by-id/scsi-1FUJITSU_300000370106 (864) 232256 DATA ----- 1 /dev/disk/by-id/scsi-1FUJITSU_300000370107 (880) 7341778 DATA ----- 1 /dev/disk/by-id/scsi-1FUJITSU_300000370108 (896) 6578704 DATA -----
Hadoop の JobTracker、TaskTracker を mapred ユーザで実行するために、DFS にユーザを設定する必要があります。
ここでは、DFS への mapred ユーザの設定手順を説明します。
マスタサーバにログインしていない場合は、root 権限でログインします。
DFS がマウントされている場合は、アンマウントします。
# pdfsumntgl /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>
ユーザ ID を設定します。
“pdfsadm コマンド”で MAPRED 変数に MapReduce を実行するユーザ ID を設定します。
# pdfsadm -o MAPRED=mapred /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>
ユーザ ID が設定されていることを確認します。
# pdfsinfo -e /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter> MAPRED=mapred
参照
設定した MAPRED 変数の削除方法など、“pdfsadm コマンド”の詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファレンス」で pdfsadm を参照してください。
スレーブサーバ、開発実行環境サーバ、および連携サーバ情報を接続許可リストに登録します。この接続許可リストの登録はマスタサーバ(プライマリ)で行いマスタサーバ(セカンダリ)に配付します。スレーブサーバ、開発実行環境サーバ、および連携サーバ(DFS クライアント)情報の登録については、「付録D DFSの環境構築」の「D.4.3 スレーブサーバ、開発実行環境サーバ、および連携サーバ情報の登録」を参照してください。
例
ファイルシステムIDを確認します。
# pdfsinfo /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter> /dev/disk/by-id/scsi-1FUJITSU_300000370106: FSID special size Type mount 1 /dev/disk/by-id/scsi-1FUJITSU_300000370106 (864) 25418 META ----- 1 /dev/disk/by-id/scsi-1FUJITSU_300000370106 (864) 5120 LOG ----- 1 /dev/disk/by-id/scsi-1FUJITSU_300000370106 (864) 232256 DATA ----- 1 /dev/disk/by-id/scsi-1FUJITSU_300000370107 (880) 7341778 DATA ----- 1 /dev/disk/by-id/scsi-1FUJITSU_300000370108 (896) 6578704 DATA -----
接続許可リストファイルを作成します。
# cd /etc/pdfs <Enter> # cp -p ./server.conf.sample ./server.conf.1 <Enter>
接続許可リストファイルを編集し、スレーブサーバ、開発実行環境サーバ、および連携サーバ情報を定義します。
最初に導入するスレーブサーバは1台ですが、ここで接続対象となるスレーブサーバ、開発実行環境サーバ、および連携サーバを含めて、あらかじめ定義しておきます。
# # Copyright (c) 2012 FUJITSU LIMITED. All rights reserved. # # /etc/pdfs/server.conf.<FSID> # # List of client hostnames of a file system. # # Notes: # Do not describe hostnames of management servers. # # example: #CLIENT nodeac1 #CLIENT nodeac2 #CLIENT nodeac3 #CLIENT nodeac4 #CLIENT nodeac5 CLIENT collaborate ← 追加する連携サーバ CLIENT slave1 ← 追加するスレーブサーバ CLIENT slave2 ← 追加するスレーブサーバ CLIENT slave3 ← 追加するスレーブサーバ CLIENT slave4 ← 追加するスレーブサーバ CLIENT slave5 ← 追加するスレーブサーバ
マウントポイントの作成
DFS として利用するストレージシステム上のディスクパーティションをマウントするマウントポイントを作成します。
マウントポイントの作成は、マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)の両方でそれぞれ実施します。
例
“/mnt”の配下にマウントポイント“pdfs”を作成します。
# mkdir /mnt/pdfs <Enter>
fstab 設定
“/etc/fstab”に上記で作成したマウントポイントおよび DFS の代表パーティションを定義します。
fstab 設定は、マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)の両方でそれぞれ実施します。
例
“/etc/fstab”にマウントポイント“/mnt/pdfs”および DFS の代表パーティションを定義した場合の例を示します。
LABEL=/ / ext3 defaults 1 1 LABEL=/boot /boot ext3 defaults 1 2 tmpfs /dev/shm tmpfs defaults 0 0 devpts /dev/pts devpts gid=5,mode=620 0 0 sysfs /sys sysfs defaults 0 0 proc /proc proc defaults 0 0 LABEL=SWAP-sda3 swap swap defaults 0 0 /dev/disk/by-id/scsi-1FUJITSU_300000370106 /mnt/pdfs pdfs noauto,noatime 0 0
DFS のファイルシステムをマスタサーバ(プライマリ)でマウントします。DFS のファイルシステムのマウントについては、「付録D DFSの環境構築」の「D.4.6 マウント」を参照してください。
例
マスタサーバのマスタサーバ(プライマリ)で、DFS のファイルシステムをマウントします。
# pdfsmntgl /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>
マスタサーバ(プライマリ)で DFS のファイルシステム構成情報ファイルを生成します。
ファイルシステムの構成情報生成の手順を、以下の環境を例に説明します。
| ：1 |
| ：pdfs1 |
| ：slave1, slave2, slave3, slave4, slave5, develop, collaborate |
マスタサーバ(プライマリ)に、root 権限でログインします。
ファイルシステム ID を確認します。
管理パーティションに記録されたファイルシステム情報から、対象となるファイルシステム ID を確認します。
# pdfsinfo /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter> /dev/disk/by-id/scsi-1FUJITSU_300000370106: FSID special size Type mount 1 /dev/disk/by-id/scsi-1FUJITSU_300000370106 (864) 25418 META ----- 1 /dev/disk/by-id/scsi-1FUJITSU_300000370106 (864) 5120 LOG ----- 1 /dev/disk/by-id/scsi-1FUJITSU_300000370106 (864) 232256 DATA ----- 1 /dev/disk/by-id/scsi-1FUJITSU_300000370107 (880) 7341778 DATA ----- 1 /dev/disk/by-id/scsi-1FUJITSU_300000370108 (896) 6578704 DATA -----
DFS の構成情報ファイルを“pdfsmkconf コマンド”で生成します。
“pdfsmkconf コマンド”は、マスタサーバ(プライマリ)で実行します。
# pdfsmkconf <Enter>
生成した構成情報ファイルの名前を、ファイルシステム ID から論理ファイルシステム名に変更します。
# cd pdfsmkconf_out <Enter> # mv ./client.conf.1 client.conf.pdfs1 <Enter>
注意
構成情報ファイルは、“pdfsmkconf コマンド”を実行したディレクトリ配下に作成されます。
構成情報ファイルの名前は、ファイルシステム ID 部分以外 (client.conf.) を変更しないでください。
構成情報ファイルをマスタサーバ(セカンダリ)に配付します。
# scp ./client.conf.pdfs1 root@master2:/etc/pdfs/client.conf.pdfs1 <Enter>
注意
構成情報ファイルは、各サーバの“/etc/pdfs”配下に配置してください。
参照
“pdfsmkconf コマンド”の詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファレンス」で “pdfsmkconf” を参照してください。
