全体最適を支えるSOAミドルウェア

膨大なデータ集計時間を10時間からわずか40分に短縮

「Interstage Data Effector」の特長について事例を用いて具体的にご紹介します。

流通卸業A社は、「販売データを即日集計して翌日の営業活動に活かしたい」というニーズがありました。そのためには、会計業務、販売業務、加工業務といったA社の基幹系システムから情報系システムにむけて目的に合った形式にデータを加工しなければなりません。

一日の売上情報が集計された1,500万行、15GBに及ぶ膨大なデータを手組みアプリケーションによりソートと連結を繰り返して抽出する作業は、全てのデータ加工処理に10時間を要すると見込まれました。そのため、夜間バッチに組み込むことを諦めていました。

ところが、「Interstage Data Effector」の導入によりデータ加工処理時間はわずか40分、翌日の営業活動に活かすための要件としてあった4時間以内のデータ生成をクリア。営業担当者は小売店へのセールス、売れ筋商品の手配など翌朝にはいつでも最新の売上情報を活用できるようになりました。飛躍的ともいえる導入効果の実現には3つのポイントがありました。

大量データの高速処理

1番目のポイントは高速性です。図2のように、「Interstage Data Effector」は、対象データを一度読み込むだけで使用目的に応じて加工された業務データが得られます。連結処理については、通常、手組みアプリケーションを設計してシステム構築する場合、店舗マスタや商品マスタなどのマスタのキー順にソートし、マスタと照らし合わせていくプログラミングが必要となりますが、「Interstage Data Effector」を導入することで、細かなソート処理を無くすことができます。しかも複数マスタに対して一度に連結が行え、BI用、帳票用、照会用など目的ごとの仕分けも一括して処理が可能となります。

さらに、処理と処理の間の中間データの受け渡しも名前付きパイプ（注1）を使用するため、中間ファイルを使わずに行えます。

コマンドベースで簡単・プログラミングレス

2番目のポイントは簡単な操作です。従来、業務間で受け渡すデータの加工は、目的に合わせてプログラミングが必要でしたが、「Interstage Data Effector」では、店舗名や売上日など抽出条件をパラメータ定義してコマンドを実行するだけで可能です（ 図3）。データは「Interstage Data Effector」の抽出・連結・集計・ソート機能を組み合わせ、現場の業務に利用しやすい形に自由に加工できます。データ加工の条件を指定するための手組みアプリケーションの開発や、データベース構築といった作業は必要ありません。

データ項目揃えが不要

3番目のポイントは効率性です。さまざまな業務システムから抜き出した業務データの活用を考えた場合、 RDBシステムでSQLを利用したときは、データ形式の統一やテーブル設計などの事前設計が必要です。また運用後のデータやニーズの変化に対応するためには、テーブル設計変更などの作業が発生し、迅速な対応は困難でした。

「Interstage Data Effector」は、会計、販売などの業務システムから抜き出したCSV/XML形式のデータをそのまま使うことができるため、手間のかかる事前の作業が不要です。また項目の並びや長さの異なる不揃いなデータもそのまま扱えます。さらに、定型的なデータ加工においては、処理のパラメータを定義ファイルとして保存しておき再利用できるため、運用後のデータ変化・ニーズ変化があっても、パラメータを変更するだけで運用継続できます（図4）。現在から将来にわたって開発コストの削減とスピーディーな情報提供の実現を可能にします。

圧倒的なスピードを支える先進技術

ではなぜ「Interstage Data Effector」は、圧倒的ともいえる高速処理を行えるのでしょうか。速さの理由は先進技術の採用にあります。代表的な実装技術は、以下の3点です。

速さの理由 1. 高速パターンマッチングSIGMA技術

高速パターンマッチングSIGMA技術（注2）は、CSVやXML形式の業務データをインデックスレスで、なおかつ高速検索を可能にします。また図5のように、目的のデータを検索するための抽出ルールからオートマトン（注3）を生成し、一方向に1字ずつ1度読むだけで、オートマトンで処理して1レコード単位で条件の成否を判定。より複雑な複数条件での抽出であっても、対象となるデータを重複して読み込むことはなく、条件の複雑さに依存しない安定したレスポンスを実現します （図5）。

速さの理由 2. 高速検索技術（ハイトラフィック技術）

通常、アプリケーションからデータ検索のための要求が重なると、1個の要求の処理が完了するまで、他の要求は待ちの状態になります。ハイトラフィック技術（図6）は、オートマトンで条件を一体化し、一括して対象データに検索処理を実行。複数条件の仕分けをするために、SQLではn回問い合わせ処理を要するところ、1回で済むため、1/nの検索時間で処理が行えます。ハイトラフィック技術は富士通が開発し特許登録済です。

速さの理由 3. 並列化による処理時間のさらなる短縮

大量の入力ファイルが指定された場合にも、複数のファイルを同時に処理できます。たとえば図7のように、入力ファイルが3つあった場合、3つを同時に読み込んで並列に処理できます。I/O処理と実処理を並列に行うことでCPUを効率よく使用するため（図7）、データ処理の実行時間をさらに大幅に短縮できます。

富士通社内ベンチマーク結果では、手組みアプリケーションの10倍、SQLを活用した場合に比べて24倍の高速化を検証。ほかにも入出力データの値を元に仮想的に別の値に変換する仮想項目機能などデータ加工機能の強化や、入力ファイル形式の拡張をはじめとする入出力ファイル機能の強化を図っています。

拡大する「Interstage Data Effector」の適用領域

分散する業務データの加工処理のニーズはさまざまです。生産現場における活用例として富士通社内の業務への適用例もご紹介します。

富士通の生産管理部門ではサーバ製品の生産において余剰部品がどこで発生しているのかを把握するために、過去から現在にいたる生産計画と実績推移を追跡したいというニーズがありました。

部品計画データは2億件（200万件（10GB）/週×2年）、手組みアプリケーションやRDBを利用すると処理に10時間もかかることから、夜間バッチに組み込めませんでしたが、「Interstage Data Effector」の適用により、部品の追跡バッチ処理を4時間に短縮。余剰部品の早期発見・早期対応による在庫圧縮が行え、長期滞留品・不健全在庫の20%圧縮を実現できました。

「Interstage Data Effector」の実力はさまざまな分野の企業で実証されています。たとえば、コールセンターにおいてお客様に関する情報検索に活用しお問い合わせに対するサービス向上を実現した事例、ログ監査証跡や販売分析への活用、さらにパッケージ製品への組み込みなど、適用領域は大きくひろがっています。

既存のシステムを活かしながらデータの活用を促進する「Interstage Data Effector」。SOAの技術を活用し全体最適へとステップアップしていくために、「タイムリーな情報活用」によりビジネススピードの加速と可能性の拡大に貢献いたします。

---

「全体最適を支えるSOAミドルウェア」特集も今回が最終回です。情報システム全体をサービスの集まりとしてとらえるSOAの考え方に基づき、人、業務プロセス、IT資産、情報と、4つの切り口からお客様の身近な課題に着目し、段階的に課題を解決しながら全体最適にステップアップしていくという、富士通の考え方をご紹介してきました。

富士通では、4つの切り口に応じて「ユーザー利便性の向上」「変化に強いシステム構築」「業務プロセスの改善」「タイムリーな情報活用」と、4つの導入パターンをご提案しています。導入パターンに適用の順番はありません。身近な課題から解決し適用範囲を拡大していく、実践的かつ経営戦略と結びついたSOAの活用を通じ、富士通はこれからもお客様企業の継続的成長をご支援していきます。