3.3.2 ファイルシステム構成の設計

ファイルシステム構成の設計にあたり、以下の設計を行ってください。

共用ディスク装置への搭載容量

本製品の運用において DFS に格納するファイルデータの総容量を想定し、DFS で必要となる共用ディスク装置の容量を見積ります。

領域種別	見積り方法
(a)ファイルデータ領域	ファイルデータで必要となる容量
(b)メタデータ領域	ファイルデータ領域 ≦ 1TB の場合： 100GB ファイルデータ領域＞ 1TB の場合： 300GB
(c)アップデートログ領域	メタデータ領域に内包されるため見積り不要
(d)管理パーティション	固定値（見積り不要）：1GB
合計	(a)+(b)+(d)

使用するパーティション

上記で見積った容量を踏まえ、DFS に使用する共用ディスク装置のパーティションを決定しデバイス名を確認します。

複数のパーティションから、各領域として使用する管理パーティション、代表パーティション、およびファイルデータパーティションを決定します。

例

ファイルシステムを構成するための各領域のパーティションの例：

・管理パーティション	：/dev/disk/by-id/scsi-1FUJITSU_300000370105
・代表パーティション	：/dev/disk/by-id/scsi-1FUJITSU_300000370106
・ファイルデータパーティション	：/dev/disk/by-id/scsi-1FUJITSU_300000370107 /dev/disk/by-id/scsi-1FUJITSU_300000370108

ポイント

メタデータ領域とファイルデータ領域を分離して別パーティションに配置します。また、管理パーティションとして別途パーティションが必要となります。
DFS のメタデータ領域とファイルデータ領域を1つのパーティションでも構成できますが、複数のパーティションで構成した場合、I/O 処理の分散効果が得られます。
複数のパーティションで構成する場合、メタデータ領域に使用するパーティションが、代表パーティションとなります。
最大 256 パーティションまで使用できます。
共用ディスクのデバイス名には、udev 機能により生成される by-id 名を使用します。
by-id 名の詳細は、「6.1.3.1 共用ディスク設定の確認」を参照してください。

参考

ファイルデータ領域の分離は、ファイルシステムの作成時に pdfsmkfs コマンドの dataopt オプションで指定します。

ファイルデータ領域のサイズ

DFS の容量を拡張することが予想される場合は、将来に備えて、拡張する最大サイズを予測してファイルシステムを作成します。

最大サイズは、ファイルシステムの作成時に pdfsmkfs コマンドの maxdsz オプションで指定できます。

注意

ファイルアクセスの高速化のため、本製品を構成する全サーバにおいて各ファイルデータパーティションごとに約6GBを予約領域として確保します。そのため、ファイルデータ領域は以下のサイズ以上を目安に確保するようにしてください。

全サーバ数×ファイルデータパーティション数×10GB

予約領域はdfコマンド等で使用中の容量として計上されます。

参照

ファイルデータ領域のサイズの詳細は、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファレンス」で「pdfsmkfs」を参照してください。

データブロックサイズ

DFS の作成時、pdfsmkfs コマンドの blocksz オプションでデータブロックサイズを指定できます。データブロックサイズを指定することで、共用ディスク装置の領域を連続で割り当てられるようになり、I/O 処理を効率的に行えます。

データブロックサイズは、圧縮機能を利用しない場合には8MB、圧縮機能を利用する場合には2MBとすることを推奨します。なお、2MBを超えるデータブロックサイズを指定した場合、圧縮機能は利用できません。

注意

たとえば、データブロックサイズに 8MB を指定した場合、ファイルサイズが 8MB 未満であっても 8MB の共用ディスク領域が使用されます。
小容量ファイルを大量に格納する場合は、容量効率を優先してデータブロックサイズを指定しないでください。

参照

データブロックサイズと最大ファイルシステムサイズ、最大ファイルサイズの関係は、「3.3.2.1 ファイルシステムサイズ、データブロックサイズ、最大ファイルサイズの関係」を参照してください。

データブロックサイズは、値を指定しないでファイルシステムを作成した場合、ファイルデータ領域のサイズ、またはファイルシステムを構成する最大パーティションサイズを元に、自動で算出されます。ファイルシステムサイズが大きくなると、データブロックサイズも大きくなります。また、データブロックサイズが大きくなると、最大ファイルサイズも大きくなります。

以下に、データブロックサイズを指定しないでファイルシステムを作成した場合の、ファイルシステムサイズ、データブロックサイズ、最大ファイルサイズの関係を示します。

表3.1 ファイルシステムサイズ、データブロックサイズ、最大ファイルサイズの関係
ファイルシステムサイズ	データブロックサイズ	最大ファイルサイズ
～ 1TB	8KB	1TB － 8KB
( 1TB + 1Byte) ～ 2TB	8KB ～ 16KB	(1TB － 8KB) ～ (2TB － 16KB)
( 2TB + 1Byte) ～ 4TB	8KB ～ 32KB	(1TB － 8KB) ～ (4TB － 32KB)
( 4TB + 1Byte) ～ 8TB	8KB ～ 64KB	(1TB － 8KB) ～ (8TB － 64KB)
( 8TB + 1Byte) ～ 16TB	16KB ～ 128KB	(2TB － 16KB) ～ (16TB －128KB)
( 16TB + 1Byte) ～ 32TB	32KB ～ 256KB	(4TB － 32KB) ～ (32TB －256KB)
( 32TB + 1Byte) ～ 64TB	64KB ～ 512KB	(8TB － 64KB) ～ (64TB －512KB)
( 64TB + 1Byte) ～ 128TB	128KB ～ 1MB	(16TB －128KB) ～ (128TB － 1MB)
(128TB + 1Byte) ～ 256TB	256KB ～ 1MB	(32TB －256KB) ～ (128TB － 1MB)
(256TB + 1Byte) ～ 512TB	512KB ～ 1MB	(64TB －512KB) ～ (128TB － 1MB)
(512TB + 1Byte) ～ 1PB	1MB	128TB － 1MB
( 1PB + 1Byte) ～ 2PB	2MB	256TB － 2MB

注意

ファイルシステムサイズには、ファイルデータ領域のサイズだけでなく、メタデータ領域やアップデートログ領域のサイズなども含まれるため、上表のファイルシステムサイズの各境界値付近では、データブロックサイズが 1段階小さい値になる場合があります。

参照

ファイルシステムの上限値については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「定量制限値」を参照してください。

ファイルシステムのデータブロックサイズは、ファイルシステム作成時に変更できます。詳細は、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファレンス」で「pdfsmkfs」を参照してください。