データ管理機能は、様々なデータソースから収集したデータをスキーマレスで管理・加工し、検索機能で使用するデータを事前に準備します。
データの構造(スキーマ)を意識せず、そのままの形式で収集したデータを、使いたい項目だけを抽出・加工することで、検索用のデータの準備が容易にできます。
大量データから絞り込みや項目編集/結合をした検索用ファイルは、ディスク検索用データ格納ディレクトリ、または、インメモリ検索用データに取り込んでメモリ上に格納します。
スキーマレス加工では、以下の機能があります。これらは組合せが自由で、データ処理に必要な条件を指定して実行するだけです。
機能名 | 概要 |
---|---|
抽出 | 検索条件に一致するデータを抽出し、結果をファイルに出力します。検索条件には、以下があります。
|
連結 | 入力ファイルと他のファイルを連結条件に合わせて結合・編集し、結果をファイルに出力します。
|
集計 | 入力ファイルのデータを任意のグループごとに集計し、結果をファイルに出力します。 |
ソート | 入力ファイルのデータを任意の項目ごとにソートし、結果をファイルに出力します。 |
本機能は、XML文書またはCSVファイルを入力とし、必要な加工処理を施してXML文書またはCSVファイルを出力します。
また、各機能を実現するインターフェースは、以下の2つを提供しています。
コマンド
C APIの関数
参照
スキーマレス加工の詳細については、“加工編 導入・運用ガイド”を参照してください。
スキーマレス加工のアプリケーション開発については、“5.1 データを管理する”を参照してください。