fluentdを利用したデータ連携機能のディスク容量について説明します。データ連携サーバ、データ連携エージェントの両方でディスク容量の見積もりが必要です。
バッファパス容量の見積り
各matchタグのバッファパス容量の概算は、次の式で見積もることができます。
各matchタグに該当するデータが一度に処理するデータの最大サイズ(*1)(*2) + (36バイト(*3) + タグ名のバイト長(*4)) × 各matchタグの出力プラグインが一度に処理するデータの最大件数
*1：デフォルトの設定の場合、出力プラグインは1秒間隔で収集するデータを監視して、60秒間隔でデータを処理します。
*2：各matchタグの出力プラグインは、それぞれmatchタグの開始タグの属性に該当するtagパラメーターのデータを処理します。
データ連携エージェントの場合、入力プラグインで収集するデータから該当データを絞ります。
データ連携サーバの場合、データ連携エージェントから転送されるすべてのデータから該当データを絞ります。
*3:“fluentd_time”の文字列の長さ(12バイト) + 区切りデータの長さ(1バイト) + エポック秒データの長さ(10バイト) + 区切りデータの長さ(1バイト) + “fluentd_tag”の文字列の長さ(11バイト) + 区切りデータの長さ(1バイト)
*4:入力プラグインのtagパラメーターに指定したタグ名のバイト長です。入力プラグインのtagパラメーターは、データ連携エージェントのfluentd動作定義ファイルに記載します。
見積り結果は、fluentdの出力プラグインのパラメーターにも使用します。見積り結果にしたがって各ディスクの容量を確保してからバッファ用パラメーターを変更してください。
変更するバッファ用パラメーターを以下に示します。fluentd動作定義ファイルのmatchタグごとに変更してください。
パラメーター | デフォルト値 | 設定値 |
|---|---|---|
buffer_queue_limit(*5)(*6) | 256 | バッファパス容量の見積り結果 ÷ buffer_chunk_limitの値(*7) × 安全率(*8) |
*5:buffer_queue_limitのデフォルト値は256です。変更後の値が256未満になる場合は、変更は不要です。
*6:整数を指定してください。変更したあとの値に小数点以下の数値が含まれる場合は、小数点以下は切り上げてください。
*7:buffer_chunk_limitのデフォルト値は8メガバイトです。
*8:推奨値は1.5です。
注意
出力プラグインは一度にバッファサイズに収まるデータしか処理できません。
データ連携エージェントの場合はデータ連携サーバへの転送ができず、データ連携サーバではデータ連携エージェントから受け取ったデータをODSに格納することができません。
バッファ用パラメーターには十分に余裕を持った数値を設定してください。
