収集機能は、データ管理機能および検索機能で利用できるように、様々なデータソース内のデータを収集します。
ログ収集は、様々なデバイス、アプリケーション、ミドルウエアから出力されるログを効率的に収集します。
収集エージェントが集めたデータを収集サーバへ転送します。収集サーバはスキーマレス加工や並列分散処理が入力データとして扱えるように、受信したデータをメッセージングに格納します。
収集エージェントおよび収集サーバ間のデータ加工の流れを、以下に示します。
本機能では、散在するログを収集・加工・集約するOSSの「Fluentd」を標準装備します。
参照
Fluentdの詳細情報については、OSSのオンラインドキュメントを参照してください。
本製品でのログ収集の使い方については、“収集編 ユーザーズガイド”を参照してください。
メッセージングは、ログ収集で外部から集めてきたデータを一時的にメモリに保持（キューイング）し、スキーマレス加工などを使用したデータ加工が入力データとして利用できるようにします。
メッセージングを使用して収集・加工などの異なるデータ加工間のデータ受渡しを仲介することで、以下の利点があります。
データ加工間のデータ入出力を非同期化することで、全体のレスポンス・スループット性能を最適化できます。
各データ加工間のデータ受渡しインターフェースをメッセージングで統一することにより、データ入出力を行う処理の追加・変更を柔軟に行うことができます。
メッセージングの高可用・高信頼な機能を使用することで、低レイテンシを求められるデータ加工でも安全にデータ連携できます。
本機能では、リアルタイムなデータ連携パイプラインを実現するOSSの「Apache Kafka」を標準装備します。Apache Kafkaはソフトウェアのサーバ分散動作を管理するOSSの「Apache ZooKeeper」を内包します。
参照
Apache Kafkaの詳細情報については、OSSのオンラインドキュメントを参照してください。
本製品でのメッセージングの使い方については、“収集編 ユーザーズガイド”を参照してください。
