本製品の並列分散処理がサポートするApache Sparkの機能は以下になります。
機能
説明
配備モード
Apache Hadoop YARN
ジョブスケジューリング
Dynamic Resource Allocationリソース(YARMコンテナ)の動的確保
Fair Schedulerジョブ同時実行時、リソースを均等に割り当てる
ファイル形式
Text File
SequenceFile
Hadoop InputFormat
コマンド
spark-submitstart-history-server.shstop-history-server.shSparkアプリケーションの実行(注)
言語
Java
プログラミング
RDD
Dataset
注) Javaアプリケーションのみサポートします。