C.2 Apache Sparkで使用するポート一覧

Apache Sparkの処理において使用するポートです。

LAN 種別	送信元			送信先			プロトコル
LAN 種別	サーバ	サービス	ポート	サーバ	サービス	ポート	プロトコル
業務 LAN	内部通信用			マスタサーバ開発実行環境サーバ	Apache Spark アプリケーション	4040 (注1)(注4)	tcp
	マスタサーバ	Apache Spark アプリケーション	不定	マスタサーバ	Apache Spark (Driver)	不定 (注2)	tcp
	スレーブサーバ	Apache Spark アプリケーション	不定
	開発実行環境サーバ	Apache Spark アプリケーション	不定
	マスタサーバ	Apache Spark アプリケーション	不定	マスタサーバ	Apache Spark (Block Manager)	不定 (注3)	tcp
	スレーブサーバ	Apache Spark アプリケーション	不定
	開発実行環境サーバ	Apache Spark アプリケーション	不定
	クライアントPC	http	不定	マスタサーバ	Apache Spark (Spark履歴サーバ)	不定 (注5)	tcp
	マスタサーバ	Apache Spark アプリケーション	不定	スレーブサーバ	Apache Spark (Driver)	不定 (注2)	tcp
	スレーブサーバ	Apache Spark アプリケーション	不定
	開発実行環境サーバ	Apache Spark アプリケーション	不定
	マスタサーバ	Apache Spark アプリケーション	不定	スレーブサーバ	Apache Spark (Block Manager)	不定 (注3)	tcp
	スレーブサーバ	Apache Spark アプリケーション	不定
	開発実行環境サーバ	Apache Spark アプリケーション	不定
	マスタサーバ	Apache Spark アプリケーション	不定	開発実行環境サーバ	Apache Spark (Driver)	不定 (注2)	tcp
	スレーブサーバ	Apache Spark アプリケーション	不定
	開発実行環境サーバ	Apache Spark アプリケーション	不定
	マスタサーバ	Apache Spark アプリケーション	不定	開発実行環境サーバ	Apache Spark (Block Manager)	不定 (注3)	tcp
	スレーブサーバ	Apache Spark アプリケーション	不定
	開発実行環境サーバ	Apache Spark アプリケーション	不定

注1) 同一サーバで複数の並列分散処理アプリケーションが動作する場合、4040から連続したポートが割り当てられます。(例：4041、4042)

注2) Spark設定ファイルにspark.driver.portのパラメータを設定することで割り当てられるポートを固定できます。

注3) Spark設定ファイルにspark.blockManager.portのパラメータを設定することで割り当てられるポートを固定できます。

注4) 同一サーバ内の通信のため、ファイアウォールによる通信許可の設定は不要です。

注5) Spark履歴サーバ起動時に環境変数 SPARK_HISTORY_OPTS 内で設定する spark.history.ui.port の値です。