Big Data Integration ServerV1.2.0 加工編導入・運用ガイド

1.3 基本的なデータ操作

Data Effectorは、CSVファイルまたはXML文書を入力とし、それらからデータを抽出・集計したり、ファイル間の連結したりする製品です。

日常業務の基本的なデータ操作に対応するため、Data Effectorでは4つの機能を提供しています。

• 抽出機能

• 連結機能

• 集計機能

• ソート機能

  
  

また、各機能を実現するインターフェースは、以下の2つを用意しています。

• コマンド

• C APIの関数

Data Effectorの機能、インターフェースおよび各機能が対応するデータ操作について、以下に示します。

表1.1 機能と対応するデータ操作

機能名	インターフェース種別		対応するデータ操作例
	コマンド名	C APIの関数名
抽出機能	shunselectコマンド	抽出関数	データの検索 別々のファイルへの条件仕分け
連結機能	shunreplaceコマンド	連結関数	ジャーナルデータとマスタデータの結合 XML形式からCSV形式への変換
集計機能	shunanalyzeコマンド	集計関数	データの集計
ソート機能	shunsortコマンド	ソート関数	データの並替え キー指定によるキー仕分け

本書では、shunselectコマンド、shunreplaceコマンド、shunanalyzeコマンド、shunsortコマンドを合わせて、基本コマンドと呼びます。

さらに、文字列の処理、数値の処理などの豊富な関数も提供しています。

要となる4つの機能に、複数の関数を組み合わせることで、きめ細かいデータ加工処理を実現できます。

参照

• データの処理例については、“第3章 データを操作する”および“第4章 データを変換する”を参照してください。

• コマンドを利用した業務構築の詳細は、“第5章 コマンドを利用する”を参照してください。

• C APIの関数を利用した業務構築の詳細は、“第6章 C APIを利用する”を参照してください。

• コマンドの種類については、“リファレンス集”の“コマンドリファレンス”を参照してください。

• 関数の種類については、“リファレンス集”の“C APIリファレンス”を参照してください。