ページの先頭行へ戻る
Interstage Big DataParallel Processing Server V1.2.2 ユーザーズガイド
FUJITSU Software

I.2.3 前準備

Sparkのインストール前に実施する作業について説明します。

設定項目

導入環境

マスタサーバ
(セカンダリ)

スレーブ
サーバ

開発実行
環境
サーバ

データ
ベース
サーバ

ファアー

sshの

×

×

×

RDBソフトェアのインストール・セットアップ(注1)

×

×

×

JDBCドライーのイストール (注2)

×

×

×

○:設定する必要があります。

×:設定は不要です。

注1) 新規にデータベースサーバを構築する場合のみ、設定する必要があります。

注2) 新規にJDBCドライバーのインストールする場合のみ、設定する必要があります。


ファイアーウォールの設定

OS のマニュアルを参照し、ファイアーウォール機能に対して必要な通信(ポート)を許可してください。

Sparkが使用するポートについては、「Sparkマニュアル http://spark.apache.org/docs/1.4.1/index.html」を参照し、適切に設定してください。


sshの設定

マスタサーバ(セカンダリ)は、Spark実行ユーザー権限でスレーブサーバに対してパスワードなしでsshの通信ができるように設定する必要があります。

マスタサーバ(セカンダリ)において、公開鍵を作成してSpark実行ユーザー権限でパスワードなしでssh接続できるようにしてください。


RDBソフトウェアのインストール・セットアップ

メタデータを格納するためのデータベースサーバにRDBソフトウェアをインストールしてください。


  1. MySQLをインストールします。以下はyumコマンドを使ってインストールする例です。

    # yum install mysql-server <Enter>
  2. MySQLを起動します。

    • Red Hat Enterprise Linux 6の場合

      # service mysqld start <Enter>
    • Red Hat Enterprise Linux 7の場合

      # systemctl start mysqld <Enter>
  3. MySQLの管理者(root)のパスワードを設定します。

    # /usr/bin/mysql_secure_installation <Enter>
    [...]
    Enter current password for root (enter for none): <Enter>
    OK, successfully used password, moving on...
    [...]
    Set root password? [Y/n] y <Enter>
    New password: (MySQLの管理者パスワード)Enter>
    Re-enter new password: (MySQLの管理者パスワード)Enter>
    Remove anonymous users? [Y/n] Y <Enter>
    [...]
    Disallow root login remotely? [Y/n] N <Enter>
    [...]
    Remove test database and access to it [Y/n] Y <Enter>
    [...]
    Reload privilege tables now? [Y/n] Y <Enter>
    All done
  4. MySQLの自動起動設定を行います。

    • Red Hat Enterprise Linux 6の場合

      # /sbin/chkconfig mysqld on <Enter>
      # /sbin/chkconfig --list mysqld <ENTER>
      mysqld          0:off   1:off   2:on    3:on    4:on    5:on    6:off
    • Red Hat Enterprise Linux 7の場合

      # systemctl is-enabled mysqld <Enter>
      enable

ポイント

既存のデータベースサーバを利用する場合、本設定は不要です。


JDBCドライバーのインストール

MySQLのJDBCドライバーをマスタサーバ(セカンダリ)にインストールしてください。

# yum install mysql-connector-java <Enter>

ポイント

既存のJDBCドライバーを利用する場合、本設定は不要です。