ページの先頭行へ戻る
Big Data Integration ServerV1.7.0 利用ガイド

1.3.5 検索機能

検索機能は、マートレスで高速にデータを検索します。
BIや分析アプリケーションから本製品上のデータを高速に検索できます。

1.3.5.1 インメモリ検索

インメモリ検索は、スキーマレス加工によって準備されたデータのうち、サマリデータや直近データなどの重要なデータをインメモリに格納し、インメモリ検索API(JavaまたはC)を使用することで、格納データの絞り込み、ソート/集計を高速にできます。
絞り込みやソート/集計の高速化によってマートを作成する必要がなくなり、すぐに検索業務を開始できるようになります。

インメモリ検索には、以下の機能があります。

表1.5 インメモリ検索の機能一覧

カテゴリ

機能名

概要

基本

データ検索

条件に一致するデータを検索し、検索結果をアプリケーションに返します。検索条件には、以下の種類を指定できます。

  • パターン(部分一致)

  • 文字列(完全一致、部分一致、文字列の大小比較)

  • 数値(数値比較)

データ更新

アプリケーションからの要求により、XML文書の追加、削除、更新をします。

データのソート・集計

検索条件に一致したデータをソートまたは集計し、その結果をアプリケーションに返します。

データ取込み

事前にXML文書に変換されたデータをメモリ上に格納します。
インメモリ検索用の拡張サーバが複数存在する場合は、自動ですべての拡張サーバにデータを均等に配布します。

性能最適化

ダイレクトアクセス

データを一意に特定するキー情報を使用して、データ操作の高速化を実現します。

運用・信頼性

トランザクション

データの整合性を保証するために、アプリケーションからトランザクションを使用できます。

Shunsaku File

Shunsaku Fileにより、それぞれの検索対象のデータをグルーピングして管理する(Fileとして管理する)ことができるため、アプリケーションからは、グルーピングされたデータごとにアクセス範囲を限定できます。

オーバーフロー制御

データを格納する際にメモリに空きが無くなった場合、格納処理がエラーになるか、検索用データをディスクに格納するかを選択できます。

バックアップ・リカバリ

検索や更新を止めることなく、データをバックアップできます。また、運用中のディスクに異常が発生した場合、あらかじめバックアップしておいたデータや更新ログを使用して復元できます。

HA(High Availability)

インメモリ検索用の拡張サーバに異常が発生した場合、データを残りの正常な拡張サーバに自動的に配布することで縮退運用ができます。
さらに、インメモリ検索用のサーバのフェイルオーバ運用をすることにより、サーバダウンが発生しても、即座に別サーバに業務を引き継いでサービスを継続できます。

本機能は、XML文書を入力とし、条件にあったXML文書を出力します。
また、各機能を実現するインターフェースは、以下を提供しています。

ポイント

  • オーバーフロー制御によって検索用データがディスクに格納された場合、検索性能が低下します。一時的なメモリ不足による業務停止を回避したい場合にのみ使用してください。

  • HAの動作の詳細については“2.2.3 HA構成”を参照してください。

参照

  • インメモリ検索の詳細については、“検索編 導入・運用ガイド”を参照してください。

  • インメモリ検索のアプリケーション開発については、“7.3.1 直近の少量データを迅速に検索する”を参照してください。

1.3.5.2 ディスク検索

ディスク上の大量データのすべてをキーワードで検索できます。また、絞り込み、ソート/集計、項目編集、結合が可能なため、大量データを要約(サマリ)して抽出もできます。

ディスク検索のコマンドを使用して検索実行アプリケーションを作成することで、大量データから高速にデータを抽出できます。

ディスク検索には、以下の機能があります。

表1.6 ディスク検索の機能一覧

機能名

概要

抽出

検索条件に一致するデータを抽出し、結果をファイルに出力します。検索条件には、以下の種類を指定できます。

  • 文字列検索(完全一致、部分一致および大小比較)

  • 数値比較

  • 日時データ検索

  • 項目比較

連結

入力ファイルと他のファイルを連結条件に合わせて結合・編集し、結果をファイルに出力します。

集計

入力ファイルのデータを任意のグループごとに集計し、結果をファイルに出力します。

ソート

入力ファイルのデータを任意の項目ごとにソートし、結果をファイルに出力します。


本機能は、XML文書またはCSVファイルを入力とし、条件にあったXML文書またはCSVファイルを出力します。
また、各機能を実現するインターフェースは、以下を提供しています。

ポイント

  • 統合コマンドとは

    統合コマンド(deexコマンド)は、抽出・連結・集計・ソートの機能を統括的に制御します。

  • 基本コマンドとは

    shunselectコマンド(抽出)、shunreplaceコマンド(連結)、shunanalyzeコマンド(集計)およびshunsortコマンド(ソート)のことです。ディスク検索の基本的な操作を実行するコマンドです。


本機能を使用するためには、以下の方法があります。

参照

  • ディスク検索の詳細については、“加工編 導入・運用ガイド”を参照してください。

  • ディスク検索のアプリケーション開発については、“7.3.2 大量データを検索する”を参照してください。

1.3.5.3 検索補助機能

検索補助機能は、検索キーワードを利用者任意の類義語で検索したり、検索結果文字列に任意のタグを付与したりすることで、利用者アプリケーションによる検索操作やデータ処理の利便性を向上させることができます。

検索補助機能には、以下があります。

表1.7 検索補助機能の機能一覧

機能名

概要

類義語検索機能

類義語検索機能は、単一のキーワードから類義語ファイルに登録されている複数のキーワードに展開できます。

任意タグ付与機能

任意タグ付与機能は、Javaアプリケーションから使用するアプリケーションライブラリです。独自の検索ロジック部品でヒット位置を特定し、装飾タグ(任意の文字列)を付加します。

参照

検索補助機能の詳細については、“検索編 アプリケーション開発ガイド”を参照してください。