ページの先頭行へ戻る
Big Data Integration ServerV1.2.0 検索編導入・運用ガイド
FUJITSU Software

D.5.4 searcherのメモリ使用量

searcherのメモリ使用量の見積り式について説明します。


共用メモリ

共用メモリの見積り式について以下に示します。

定義単位

変動要因

サイズ(バイト)

コマンド情報格納領域

固定

1,000,000


メモリ検索使用時のローカルメモリ

メモリ検索を使用している場合の、ローカルメモリの見積り式について以下に示します。

定義単位

変動要因

サイズ(バイト)

固定

  • p:searcherの並列度

7,000,000 + 1,000,000 × p

実データ確保メモリ

  • r:レコードの平均サイズ

  • Sn:searcherに配置するレコード件数(注1)

  • I:レコード識別子サイズ(注2)

(r × 1.14 + I + 20) × Sn × 1.1

検索依頼格納領域(注3)

  • k:キーワードの平均バイト数(注4)

  • M:検索依頼の同時受付最大件数(注5)

  • FQ:平均検索式サイズ

  • p:searcherの並列度

(k × 2,064 + FQ) × M × p × 1.1

更新依頼格納領域

  • r:レコードの平均サイズ

  • Tn:トランザクション内平均更新レコード件数(注6)

  • T:最大トランザクション数(注7)

((r + 72) × Tn + 2,344) × T × 1.1

ヒット結果格納領域

  • M:検索依頼の同時受付最大件数(注5)

  • I:レコード識別子サイズ(注2)

  • p:searcherの並列度

(I + [M / 8]× 4) × 10,000 × p
※[  ]は計算結果を整数値に切り上げ


サーチデータのオーバーフロー制御機能使用時のローカルメモリ

サーチデータのオーバーフロー制御機能を使用している場合の、ローカルメモリの見積り式について以下に示します。

定義単位

変動要因

サイズ(バイト)

固定

  • p:searcherの並列度

64,000,000 + 1,000,000 × p

実データ確保メモリ

  • r:レコードの平均サイズ

  • Sn:searcherに配置するレコード件数(注1)

  • Sm:searcherの最大メモリ使用量(バイト)(注8)

  • I:レコード識別子サイズ(注2)

( min(r × 1.14 × Sn,Sm)+(I + 20) × Sn ) × 1.1


※min(  )は、第1引数と第2引数の小さいほうを使用

検索依頼格納領域(注3)

  • k:キーワードの平均バイト数(注4)

  • M:検索依頼の同時受付最大件数(注5)

  • FQ:平均検索式サイズ

  • p:searcherの並列度

(k × 2,064 + FQ) × M × p × 1.1

更新依頼格納領域

  • r:レコードの平均サイズ

  • Tn:トランザクション内平均更新レコード件数(注6)

  • T:最大トランザクション数(注7)

((r + 72) × Tn + 2,344) × T × 1.1

ヒット結果格納領域

  • M:検索依頼の同時受付最大件数(注5)

  • I:レコード識別子サイズ(注2)

  • p:searcherの並列度

(I + [M / 8] × 4) × 10,000 × p
※[  ]は計算結果を整数値に切り上げ

director接続時、縮退・切換え時、リカバリ時に一時的に使用する最大メモリ使用量

-

2,097,152,000 (2000MB)(注10)


ディスク検索機能使用時のローカルメモリ

ディスク検索機能を使用している場合の、ローカルメモリの見積り式について以下に示します。

定義単位

変動要因

サイズ(バイト)

固定

  • p:searcherの並列度

64,000,000 + 1,000,000 × p

データ履歴管理域(注9)

  • Sn:searcherに配置するレコード件数(注1)

Sn × 12

検索依頼格納領域(注3)

  • k:キーワードの平均バイト数(注4)

  • M:検索依頼の同時受付最大件数(注5)

  • FQ:平均検索式サイズ

  • p:searcherの並列度

(k × 2,064 + FQ)) × M × p × 1.1

更新依頼格納領域

  • r:レコードの平均サイズ

  • Tn:トランザクション内平均更新レコード件数(注6)

  • T:最大トランザクション数(注7)

((r + 72) × Tn + 2,344) × T × 1.1

ヒット結果格納領域

  • M:検索依頼の同時受付最大件数(注5)

  • I:レコード識別子サイズ(注2)

  • p:searcherの並列度

(I + [M / 8] × 4) × 10,000 × p
※[  ]は計算結果を整数値に切り上げ

director接続時、縮退・切換え時、リカバリ時に一時的に使用する最大メモリ使用量

-

2,097,152,000 (2000MB)(注10)

注1)searcherに割り当てる検索データのレコード件数を指定します。
注2)director用動作環境ファイルのUsedTheShunrdbDataの設定内容によってIの値が異なります。

注3)以下の3つの注意点があります。

注4) 1つの検索式あたりに指定するキーワードの平均バイト数を指定します。1つの検索式に複数のキーワードが指定されている場合には、その合計になります。
注5)director用動作環境ファイルのMultiMaxで定義します。
注6)1トランザクション内で更新する平均レコード件数を指定します。
注7)同時実行する最大トランザクション数を指定します。
注8)システム用動作環境ファイルのDirectorパラメタのSearcherMaxMemorySizeをバイトに変換した値を指定します。
注9)最小値として、1メガバイト使用します。算出したサイズが1メガバイトを超える場合には、1メガバイトの倍数で最も近い値に切り上げます。
注10)通常は「2000 / 同一directorに接続するsearcher数」メガバイトのメモリだけを使用しますが、最大で2000メガバイト使用することがあります。


見積り例

メモリ検索機能使用時

メモリ検索機能を使用した場合の、ローカルメモリの見積り例を以下に示します。


変動要因が以下の条件の場合

  • レコードの平均サイズ:4,000(バイト)

  • searcherに配置するレコード件数:10,000(件)

  • 検索式の平均サイズ:200(バイト)

  • キーワードの平均文字数:80(バイト)

  • 検索依頼の同時受付最大件数:100(件)

  • トランザクション内平均更新レコード件数:10(件)

  • 最大トランザクション数:100

  • Searcherの並列度:8

  • UsedTheShunrdbDataは省略


実データ確保メモリ

(4,000 × 1.14 + 8 + 20) × 10,000× 1.1 = 50,468,000バイト(約48.1MB)

検索依頼格納領域

(80 × 2,064 + 200) × 100 × 8 × 1.1 = 145,481,600バイト(約138.7MB) →140MB

更新依頼格納領域

((4,000 + 72) × 10 + 2,344) × 100 × 1.1 = 4,737,040バイト(約4.6MB)

ヒット結果格納領域

(8 + [100/8] × 4) × 10,000 × 8 = 4,800,000バイト(約4.6MB)

サーチデータのオーバーフロー制御機能使用時

サーチデータのオーバーフロー制御機能を使用した場合の、ローカルメモリの見積り例を以下に示します。

変動要因が以下の条件の場合

  • レコードの平均サイズ:4,000(バイト)

  • searcherに配置するレコード件数:10,000(件)

  • 検索式の平均サイズ:200(バイト)

  • キーワードの平均文字数:80(バイト)

  • 検索依頼の同時受付最大件数:100(件)

  • トランザクション内平均更新レコード件数:10(件)

  • 最大トランザクション数:100

  • Searcherの並列度:8

  • searcherの最大メモリ使用量:1024M(バイト)

  • UsedTheShunrdbDataは省略

実データ確保メモリ

( min(4,000×1.14×10,000, 1,073,741,824) + (8 + 20) × 10,000 ) × 1.1 
= 50,468,000バイト(約48.1MB)

検索依頼格納領域

(80 × 2,064 + 200) × 100 × 8 × 1.1 = 145,481,600バイト(約138.7MB) →140MB

更新依頼格納領域

((4,000 + 72) × 10 + 2,344) × 100 × 1.1 = 4,737,040バイト(約4.6MB)

ヒット結果格納領域

(8 + [100/8] × 4) × 10,000 × 8 = 4,800,000バイト(約4.6MB)

ディスク検索機能使用時

ディスク検索機能を使用した場合の、ローカルメモリの見積り例を以下に示します。


変動要因が以下の条件の場合

  • レコードの平均サイズ:4,000(バイト)

  • searcherに配置するレコード件数:10,000(件)

  • 検索式の平均サイズ:200(バイト)

  • キーワードの平均文字数:80(バイト)

  • 検索依頼の同時受付最大件数:100(件)

  • トランザクション内平均更新レコード件数:10(件)

  • 最大トランザクション数:100

  • Searcherの並列度:8

  • UsedTheShunrdbDataは省略


データ履歴管理域

10,000 × 12 = 120,000バイト(約117KB) →1MB

検索依頼格納領域

(80 × 2,064 + 200) × 100 × 8 × 1.1 = 145,481,600バイト(約138.7MB) →140MB

更新依頼格納領域

((4,000 + 72) × 10 + 2,344) × 100 × 1.1 = 4,737,040バイト(約4.6MB)

ヒット結果格納領域

(8 + [100/8] × 4) × 10,000 × 8 = 4,800,000バイト(約4.6MB)