Symfoware Analytics ServerV12.2.0 利用ガイド

5.2.1 データ処理

fluentdを利用したデータ連携で行うデータ処理について説明します。

5.2.1.1 データ処理の概要

fluentdを利用したデータ連携では、データ連携エージェントが収集したデータをデータ連携サーバへ転送します。そのあと、データ連携サーバでは、受信したデータを処理してSymfoware Analytics Serverに格納します。

データ連携エージェントおよびデータ連携サーバ間のデータ処理の流れは、以下のとおりです。

図5.1 データ処理の流れ

1. 基幹システムから収集したログのデータを入力プラグインでJSON形式データに変換して、日時とタグ情報を付加します。

2. 変換したデータをデータ連携サーバへ転送します。

3. データ連携エージェントからデータを受信します。

4. 受信したデータをもとにCSVファイルを作成します。CSVファイルのデータには、受信したデータに加えてODSに格納するデータに変換した日時を追加します。また、以下のカラム構成でCSVファイルを作成します。

   • fluentd_id_time

     CSVファイルの作成日時を格納します。

   • fluentd_time

     データ連携エージェントでのログ収集日時を格納します。

   • fluentd_tag

     データ連携エージェントのタグ名を格納します。

   • col1,col2,…,colN

     JSON形式データをCSV形式に変換したデータを格納します。

5.2.1.2 データ連携エージェントから収集したデータの変換

データ連携サーバでは、データ連携エージェントで作成したJSON形式データをCSV形式に変換します。

データの変換処理について、データ連携エージェントおよびデータ連携サーバのデータの例を以下に示します。