5.2.2 fluentdを利用したデータ連携で使用できるプラグイン

fluentdを利用したデータ連携で使用できるプラグインの一覧を以下に示します。

プラグイン名	プラグインのバージョン	設定するシステム
プラグイン名	プラグインのバージョン	データ連携サーバ	データ連携エージェント
in_forward	fluentd V0.12.12	○
in_http	fluentd V0.12.12	○
in_tail	fluentd V0.12.12		○
out_forward	fluentd V0.12.12		○
in_secure_forward	fluent-plugin-secure-forward V0.3.2	○
out_secure_forward	fluent-plugin-secure-forward V0.3.2		○
out_symas	Symfoware Analytics Server独自	○

注意

fluentdのプラグインは、本マニュアルで設定値の変更方法を説明しているパラメーターのみ変更できます。

out_symasは、Symfoware Analytics Serverが提供するデータ連携サーバ(fluentd)の出力プラグインです。out_symasを使用するためにfluentd動作定義ファイルに設定する内容について、説明します。

注意

システムカタログpgxa_ods_categories_columnsにODSのカラム情報を格納するため、out_symas出力プラグインを使用する数だけデータベースサーバへの接続が発生します。

out_symasは、データ連携サーバ(fluentd)の出力プラグインであるため、データ連携サーバ(fluentd)のfluetnd動作定義ファイルを編集します。

タグ

matchタグ

指定形式

matchタグで囲まれた部分に以下のように設定します。パラメーター名と設定値の間には、半角スペースを入れてください。

指定例)

<match fj.*.fluentdlogcategory>
  type symas
  buffer_path /var/opt/FJSVsymas/fluentd/out_symas_buffer/
  tmpdir /var/opt/FJSVsymas/fluentd/tmpdir
  category fluentdlogcategory
  database postgres
  port 26500
  include_time_key true
  time_key fluentd_time
  include_tag_key true
  tag_key fluentd_tag
</match>

パラメーター

パラメーター	省略可否	説明
type	×	出力プラグインout_symasを示す“symas”を指定します。本パラメーターを省略した場合、出力プラグインout_symasとして動作できません。値を省略した場合、DWHサーバ起動時または設定ファイル再読み込み時にエラーになります。
buffer_path	×	バッファのディレクトリを絶対パスで指定します。存在しないパスを指定した場合、指定したパスのディレクトリを作成します。パスセパレーターで終わるパスを指定した場合、指定文字列のディレクトリ配下を作業ディレクトリとして使用します。パスセパレーター以外の文字で終わるパスを指定した場合、最後のパスセパレーターまでを作業ディレクトリとして使用し、最後のパスセパレーター以降の文字列をプレフィクスとしたファイルが作成されます。ピリオド＋パスセパレーター(./)で始まる値を指定した場合、データ連携サーバ起動時のカレントディレクトリ＋指定された文字列の値のパスが指定されたものとして動作します。パスセパレーター以外で始まる値を指定した場合、データ連携サーバ起動時のカレントディレクトリ＋指定された文字列の値のパスが指定されたものとして動作します。本パラメーターを省略した場合、DWHサーバ起動時または設定ファイル再読み込み時にエラーになります。値を省略した場合、データ連携サーバ起動時のカレントディレクトリが指定されたものとして動作します。指定したディレクトリにデータ連携サーバユーザーに対する書き込み権限と実行権限がない場合、データ連携エージェントからデータ連携サーバへの転送処理に失敗して、データ連携エージェントおよびデータ連携サーバのログに警告が出力されます。
tmpdir	×	テンポラリディレクトリを絶対パスで指定します。存在しないパスを指定した場合、指定されたパスのディレクトリを作成します。存在するパスを指定する場合、空のディレクトリまたは前回起動時と同じディレクトリを指定してください。本パラメーターを省略した場合、および値を省略した場合は、DWHサーバ起動時または設定ファイル再読み込み時にエラーになります。指定したディレクトリにデータ連携サーバユーザーに対する書き込み権限と実行権限がない場合、ODSへの格納処理に失敗してデータ連携サーバのログに警告が出力されます。
category	○	出力先となるデータ蓄積サーバ機能のODSのカテゴリ名を指定します。存在するカテゴリ名を指定してください。本パラメーターを省略した場合、タグの最下層を格納先カテゴリ名として動作します。たとえば、以下の例の場合は、workカテゴリに格納します。例) a.b.foo.bar.hoge.work 値を省略した場合、DWHサーバ起動時または設定ファイル再読み込み時にエラーになります。
database	×	pgxa_ods_categories_columnsの作成先となるデータベース名を指定します。存在するデータベース名を指定してください。本パラメーターを省略した場合、および値を省略した場合は、DWHサーバ起動時または設定ファイル再読み込み時にエラーになります。
port	○	databaseに接続するポート番号を指定します。本パラメーターを省略した場合、26500が指定されたものとして動作します。値を省略した場合、DWHサーバ起動時または設定ファイル再読み込み時にエラーになります。
include_time_key	×	必ず“true”を指定します。
time_key	×	必ず“fluentd_time”を指定します。
include_tag_key	×	必ず“true”を指定します。
tag_key	×	必ず“fluentd_tag”を指定します。

5.2.2 fluentdを利用したデータ連携で使用できるプラグイン

5.2.2.1 out_symas