Sparkのインストール前に実施する作業について説明します。
設定項目 | 導入環境 | |||
---|---|---|---|---|
マスタサーバ | スレーブ | 開発実行 | データ | |
○ | ○ | ○ | ○ | |
◯ | × | × | × | |
× | × | × | ○ | |
JDBCドライバーのインストール (注2) | ○ | × | × | × |
○:設定する必要があります。
×:設定は不要です。
注1) 新規にデータベースサーバを構築する場合のみ、設定する必要があります。
注2) 新規にJDBCドライバーのインストールする場合のみ、設定する必要があります。
OS のマニュアルを参照し、ファイアーウォール機能に対して必要な通信(ポート)を許可してください。
Sparkが使用するポートについては、「Sparkマニュアル http://spark.apache.org/docs/1.4.1/index.html」を参照し、適切に設定してください。
マスタサーバ(セカンダリ)は、Spark実行ユーザー権限でスレーブサーバに対してパスワードなしでsshの通信ができるように設定する必要があります。
マスタサーバ(セカンダリ)において、公開鍵を作成してSpark実行ユーザー権限でパスワードなしでssh接続できるようにしてください。
メタデータを格納するためのデータベースサーバにRDBソフトウェアをインストールしてください。
MySQLをインストールします。以下はyumコマンドを使ってインストールする例です。
# yum install mysql-server <Enter>
MySQLを起動します。
Red Hat Enterprise Linux 6の場合
# service mysqld start <Enter>
Red Hat Enterprise Linux 7の場合
# systemctl start mysqld <Enter>
MySQLの管理者(root)のパスワードを設定します。
# /usr/bin/mysql_secure_installation <Enter> [...] Enter current password for root (enter for none): <Enter> OK, successfully used password, moving on... [...] Set root password? [Y/n] y <Enter> New password: (MySQLの管理者パスワード)Enter> Re-enter new password: (MySQLの管理者パスワード)Enter> Remove anonymous users? [Y/n] Y <Enter> [...] Disallow root login remotely? [Y/n] N <Enter> [...] Remove test database and access to it [Y/n] Y <Enter> [...] Reload privilege tables now? [Y/n] Y <Enter> All done
MySQLの自動起動設定を行います。
Red Hat Enterprise Linux 6の場合
# /sbin/chkconfig mysqld on <Enter> # /sbin/chkconfig --list mysqld <ENTER> mysqld 0:off 1:off 2:on 3:on 4:on 5:on 6:off
Red Hat Enterprise Linux 7の場合
# systemctl is-enabled mysqld <Enter> enable
ポイント
既存のデータベースサーバを利用する場合、本設定は不要です。
MySQLのJDBCドライバーをマスタサーバ(セカンダリ)にインストールしてください。
# yum install mysql-connector-java <Enter>
ポイント
既存のJDBCドライバーを利用する場合、本設定は不要です。