ページの先頭行へ戻る
Big Data Integration ServerV1.0.0 利用ガイド
FUJITSU Software

1.3.1 データ管理機能

データ管理機能は、様々なデータソースから収集したデータをスキーマレスで管理・加工し、検索機能で使用するデータを事前に準備します。

1.3.1.1 スキーマレス加工

データの構造(スキーマ)を意識せず、そのままの形式で収集したデータを、使いたい項目だけを抽出・加工することで、検索用のデータの準備が容易にできます。

大量データから絞り込みや項目編集/結合をした検索用ファイルは、ディスク検索用データ格納ディレクトリ、または、インメモリ検索用データに取り込んでメモリ上に格納します。

スキーマレス加工では、以下の機能があります。これらは組合せが自由で、データ処理に必要な条件を指定して実行するだけです。


表1.1 スキーマレス加工の機能一覧

機能名

概要

抽出

検索条件に一致するデータを抽出し、結果をファイルに出力します。検索条件には、以下があります。

  • 文字列検索(完全一致、部分一致および大小比較)

  • 数値比較

  • 日時データ検索

  • 項目比較

連結

入力ファイルと他のファイルを連結条件に合わせて結合・編集し、結果をファイルに出力します。
また、以下のデータ形式の変換ができます。

  • CSV形式のデータをXML形式に変換

  • XML形式のデータをCSV形式に変換

  • CSV形式/XML形式のデータを自由な形式に変換

集計

入力ファイルのデータを任意のグループごとに集計し、結果をファイルに出力します。

ソート

入力ファイルのデータを任意の項目ごとにソートし、結果をファイルに出力します。

本機能は、XML文書またはCSVファイルを入力とし、必要な加工処理を施してXML文書またはCSVファイルを出力します。
また、各機能を実現するインターフェースは、以下の2つを提供しています。

参照

  • スキーマレス加工の詳細については、“加工編 導入・運用ガイド”を参照してください。

  • スキーマレス加工のアプリケーション開発については、“5.1 データを管理する”を参照してください。