3.1.2 業務実行時に必要なハードウェア容量

Fluentdのメモリ見積りについて説明します。

Fluentdのメモリ使用量は100MB以上です。使用するプラグインによってメモリ使用量が増加します。

例

Buffer (memory)プラグインを使用した場合のメモリ使用量
以下のデータ量がメモリに保存されます。
各設定項目についてはFluentdのオンラインドキュメントを参照してください。
```
total_limit_size (デフォルト:512MB)  × プロセス数(デフォルト:1)
```

3.1.2.1.2 ログ収集のディスク見積り

Fluentdのディスク見積りについて説明します。

Fluentdのディスク使用量は200MB以上です。ログファイル、使用するプラグインによって、ディスク使用量が増加します。

例

ログファイルのディスク使用量

以下のlogrotateの設定例では、ログが30日分保存されます。

/var/log/td-agent/logs/td-agent.log {
  daily
  rotate 30
  compress
  delaycompress
  notifempty
  create 640 td-agent td-agent
  sharedscripts
  postrotate
    pid=/var/run/td-agent/td-agent.pid
    if [ -s "$pid" ]
    then
      kill -USR1 "$(cat $pid)"
    fi
  endscript
}

Buffer (file)プラグインを使用した場合のディスク使用量
以下のデータ量がディスクに保存されます。
各設定項目についてはFluentdのオンラインドキュメントを参照してください。
```
total_limit_size (デフォルト:512MB)  × プロセス数(デフォルト:1)
```

3.1.2.1.3 メッセージングのメモリ見積り

Apache Kafkaのメモリ見積りについて説明します。

以下の設定値の合計（初期状態は約140MB）よりも大きい値が必要です。

Javaヒープサイズは4GB以上を推奨します。

offsets.load.buffer.size
 + replica.socket.receive.buffer.bytes
 + socket.receive.buffer.bytes
 + socket.send.buffer.bytes
 + transaction.state.log.load.buffer.size
 + log.cleaner.dedupe.buffer.size
 + log.cleaner.io.buffer.size

各設定項目およびJavaヒープの設定方法についてはApache Kafkaのオンラインドキュメントを参照してください。

3.1.2.1.4 メッセージングのディスク見積り

Apache Kafkaのディスク見積りについて説明します。

見積り式を以下に示します。

topicに必要な容量 = replication.factorの指定値 × 1日あたりのメッセージ量 × 保存日数(注)
必要なディスク容量 = 全topicに必要な容量 ÷ Broker数

注) 保存日数に関わる設定項目は以下です。
log.retention.ms、log.retention.bytes、log.segment.bytes

各設定項目についてはApache Kafkaのオンラインドキュメントを参照してください。

3.1.2.2 データ管理機能を使用する場合

データ管理機能を使用するにあたり、処理に必要な資源について説明します。

3.1.2.2.1 スキーマレス加工を使用する場合

本機能を使用するにあたり、処理に必要なメモリを見積る必要があります。

参照

本機能を使用する場合の資源の見積りについては“加工編導入・運用ガイド”の“メモリ見積り式”を参照してください。

3.1.2.2.2 並列分散処理を使用する場合

本機能を使用するにあたり、処理に必要なメモリを見積る必要があります。

【マスタサーバ】

マスタサーバの搭載メモリサイズは、以下の見積もり式より見積もってください。

OSで利用するメモリ容量 + ResourceManagerのヒープサイズ(注) + NameNodeのヒープサイズ(注) + 1GB

注) ResourceManagerのヒープサイズおよびNameNodeのヒープサイズの見積もりは、“分散処理編ユーザーズガイド”の“チューニングパラメーター”を参照してください。

【スレーブサーバ】

スレーブサーバの搭載メモリサイズは、以下の見積もり式より見積もってください。

OSで利用するメモリ容量 + NodeManagerのヒープサイズ(注1) + DataNodeのヒープサイズ(注1) + yarn.scheduler.maximum-allocation-mbパラメーターの値(注2)

注1) NodeManagerのヒープサイズおよびDataNodeのヒープサイズの見積もりは、“分散処理編ユーザーズガイド”の“チューニングパラメーター”を参照してください。
注2) 並列分散処理で実行するアプリケーションで利用するメモリサイズ × 1スレーブサーバあたりの並列度

【開発実行環境サーバ】: 開発実行環境サーバの搭載メモリサイズは、2GB以上です。

3.1.2.3 EDI連携機能/DB連携機能を使用する場合

EDI連携機能、DB連携機能を使用するにあたり、処理に必要な資源について説明します。

3.1.2.3.1 EDI連携機能を使用する場合

EDI連携機能を使用するにあたり、処理に必要なメモリを見積る必要があります。

【開発実行環境サーバ】: 開発実行環境サーバの搭載メモリサイズは、3.5GB以上です。

3.1.2.3.2 DB連携機能を使用する場合

DB連携機能を使用するにあたり、処理に必要な資源を見積る必要があります。

静的ディスク容量

【開発実行環境サーバ】

開発実行環境サーバにおいて、以下の機能の動作用に合計4GB以上のディスク容量が必要です。

変更差分蓄積機能<データ基盤側>：1GB以上
変更差分抽出機能<データ基盤側>(変更差分連携機能<データ基盤側>を同梱)：2GB以上
連携設定変更機能：1GB以上

【データ提供側サーバ】

データ提供側サーバにおいて、以下の機能の動作用に2GB以上のディスク容量が必要です。

変更差分連携機能<データ提供側> (変更差分抽出機能<データ提供側>を同梱)：2GB以上

【データ利用側サーバ】

データ利用側サーバにおいて、以下の機能の動作用に1GB以上のディスク容量が必要です。

変更差分連携機能<データ利用側>：1GB以上

注意

複数のデータベースを連携させる場合、データ提供側サーバおよびデータ利用側サーバに必要な静的ディスク容量は以下の見積り式で計算してください。

データ提供側サーバ
運用業務に関する初回設定で複製したDBアダプタのモジュール数 × 2GB以上
データ利用側サーバ
運用業務に関する初回設定で複製したDBアダプタのモジュール数 × 1GB以上

動的ディスク容量

本機能を使用する場合、開発実行環境サーバではインストールに必要な静的ディスク容量に加えて、業務で利用するデータ量に依存して動的ディスク容量の見積もりも必要です。

注意

DB連携機能を使用する場合、データ連携のために必要なデータ容量が別途必要となります。ディスク容量の監視などを行い、ディスク容量が枯渇する前にディスクの増設などを行ってください。

3.1.2.4 検索機能を使用する場合

検索機能を使用するにあたり、処理に必要な資源について説明します。

3.1.2.4.1 インメモリ検索を使用する場合

本機能を使用するにあたり、処理に必要な資源を見積る必要があります。

各サーバに配置するプロセスの資源の算出
各サーバのプロセスの資源の合計

参照

本機能を使用する場合の資源の見積りについては“検索編導入・運用ガイド”の“資源の見積り”を参照してください。