ページの先頭行へ戻る
Big Data Integration ServerV1.7.0 利用ガイド

B.3 Apache Sparkの機能

本製品の並列分散処理がサポートするApache Sparkの機能は以下になります。

機能

説明

配備モード

Apache Hadoop YARN

ジョブスケジューリング

Dynamic Resource Allocation
リソース(YARMコンテナ)の動的確保

Fair Scheduler
ジョブ同時実行時、リソースを均等に割り当てる

ファイル形式

Text File

SequenceFile

Hadoop InputFormat

コマンド

spark-submit
start-history-server.sh
stop-history-server.sh
Sparkアプリケーションの実行(注)

言語

Java

プログラミング

RDD

Dataset

注) Javaアプリケーションのみサポートします。