本製品の各機能を別々のサーバに分散して動作させるシステム構成です。さらに、インメモリ検索はプロセス単位にサーバを分けることができます。機能ごとにCPUとメモリを占有できるため、１つのシステムで大量データを並行して処理できます。
数十ギガバイトからテラバイト以上の大量データを処理する業務に適しています。
マルチサーバ構成のハードウェア構成要素について説明します。
ハードウェアの構成要素 | 説明 | |||
|---|---|---|---|---|
収集エージェント | ログ収集を配置するサーバです。 | |||
収集サーバ | ログ収集を配置するサーバです。 | |||
データ管理サーバ | スキーマレス加工サーバ | データ管理機能を配置するサーバです。 | ||
並列分散処理サーバ | マスタサーバ | 大量のデータファイルをブロックに分けた上でファイル化(分散ファイルシステム)し、そのファイル名や保管場所を一元管理するサーバです。プライマリとセカンダリの2台構成が基本です。 | ||
スレーブサーバ | マスタサーバによってブロック化されたデータファイルを並列に分散処理するサーバです。複数台用意します。 | |||
開発実行環境サーバ | 並列分散のアプリケーションを実行するサーバです。 | |||
検索サーバ | インメモリ検索サーバ | 検索機能のうち、インメモリ検索を配置するサーバです。 | ||
インメモリ検索拡張サーバ | インメモリ検索で、searcherを増設する場合のサーバです。 | |||
ディスク検索サーバ | 検索機能のうち、ディスク検索を配置するサーバです。 | |||
インメモリ検索クライアント | インメモリ検索のうち、検索要求の受付け、検索ユーザー認証・許可、同時実行制御、検索サーバへの検索実行依頼、検索結果返却を受け持つコンピュータです。 | |||
ストレージ | 検索サーバの検索対象データを格納する記憶装置です。 | |||
注1) データ管理機能を配置するサーバの総称です。
注2) 並列分散処理を配置するサーバの総称です。
注3) 検索機能のサーバの総称です。
図2.2 マルチサーバ構成の例
並列分散処理は、複数のサーバで構成されますので、以下の設計が必要です。
サーバの設計
並列分散処理サーバの設計にあたり、サーバ種別ごとに以下の設計を行ってください。
セットアップ時に用いる構成ファイルbdpp.confに事前に設計した情報を設定します。
本機能では、マスタサーバを二重化構成（1:1運用待機型のHAクラスタ構成）にできます。二重化構成では2台のマスタサーバ(プライマリとセカンダリ)を必要とします。
なお、本機能の二重化構成では、ResouceManager、NameNodeの二重化を行います。また、ResouceManager、NameNodeの二重化によるAutomatic failover(自動フェイルオーバ)を可能とするためにマスタサーバ(プライマリとセカンダリ)と開発実行環境サーバにZooKeeperを導入し、ZKクラスタを構築します。
本機能はスレーブサーバをスケールアウト構成とし、スレーブサーバを追加していくことで、スケーラブルに性能を向上することができます。このとき、必要となるスレーブサーバの台数は、並列分散処理アプリケーション、処理するデータの量と特性などにより、処理時間が変わるため、業務への適用の前に、プロトタイプによる検証を行い、サーバ台数の見積りを行うことをお勧めします。
図2.3 並列分散処理サーバ構成とプロセス配置の例
参照
並列分散処理を使用する場合のプロセス構成については、“2.1.1 並列分散処理のプロセス構成”を参照してください。
システム資源の設計
本機能を使用するために必要なハードウェアを設計します。必要なハードウェアの詳細については“3.1 ハードウェア要件”を参照してください。
ネットワークの設計
マスタサーバおよびスレーブサーバ間の並列分散処理を行うためには、業務LANを使用します。上図を参照して必要な各種LANの設計を実施してください。
インメモリ検索の各プロセスをどのサーバに配置するかについては、業務の処理要件や設備投資予算などの条件をもとに設計してください。
sorterを増設するマルチサーバ構成も可能ですが、本書では説明を省略しています。詳細については、“検索編 導入・運用ガイド”の“サーバ構成”を参照してください。
参照
インメモリ検索を使用する場合のプロセス構成については、“2.1.2 インメモリ検索のプロセス構成”を参照してください。
インメモリ検索を使用する場合のサーバ構成の詳細については、“検索編 導入・運用ガイド”の“システム構成”を参照してください。
