本製品とSparkの連携のために使用する設定ファイルについて説明します。
マスタサーバ（セカンダリ）の設定ファイル
マスタサーバ（セカンダリ）で作成・編集する設定ファイルについて説明します。
{Sparkインストールディレクトリ}/conf
Spark で使用する環境変数を定義する設定ファイルです。
環境変数を以下のように設定してください。
環境変数 | 設定例 | 説明 |
|---|---|---|
SPARK_MASTER_IP | 10.10.10.12 | マスタサーバ（セカンダリ）の業務LANのIPを指定します。 |
SPARK_PID_DIR | /var/run/spark | SparkのPIDファイルを格納するディレクトリを指定します。 指定しなかった場合、PIDファイルは/tmp配下に格納されます。/tmp配下のファイルは自動的に削除されることがあるため、/tmp配下以外に格納することを推奨します。 |
HADOOP_CONF_DIR | /etc/hadoop_spark | Spark用のHadoop設定ファイル(core-site.xml)を格納するディレクトリを指定します。 |
JAVA_HOME | /usr/lib/jre-fj | Sparkが利用するJVMのパスを指定します。 |
環境変数HADOOP_CONF_DIRで指定したディレクトリ
Hadoop に関する設定ファイルです
プロパティを以下のように設定してください。
プロパティ | 設定値/設定例 | 説明 |
|---|---|---|
fs.default.name | file:/// | DFSへのアクセスに使用する URI schemeを指定します。 file:///を指定してください。 |
{Hiveインストールディレクトリ}/conf
Hive に関する設定ファイルです。
プロパティを以下のように設定してください。
プロパティ | 設定例 | 説明 |
|---|---|---|
javax.jdo.option.ConnectionURL | jdbc:mysql://meta-db-server:3306/metastore_spark | メタストアDBへのJDBC接続URLを指定します。 以下の形式で指定します。 |
javax.jdo.option.ConnectionDriverName | com.mysql.jdbc.Driver | メタストアDB接続のJDBCドライバーのクラス名を指定します。 |
javax.jdo.option.ConnectionUserName | hive | メタストアDBのDBユーザー名を指定します。 |
javax.jdo.option.ConnectionPassword | hive_password | メタストアDBのDBユーザーのパスワードを指定します。 |
datanucleus.autoCreateSchema | false | メタストアDBに必要なスキーマの自動作成を行うか指定します。 flaseを指定してください。 |
datanucleus.autoStartMechanism | SchemaTable | 起動時の初期化設定を指定します。 SchemaTableを指定してください。 |
hive.metastore.warehouse.dir | file:///mnt/pdfs/hadoop/user/hive/warehouse | ネイティブテーブルのデフォルトロケーションを指定します。 指定したディレクトリにデータが格納されます。 「file://{PDFSのマウントポイント}/」から始まる形式でフルパスを指定してください。 |
スレーブサーバの設定ファイル
スレーブサーバで作成・編集する設定ファイルについて説明します。
{Sparkインストールディレクトリ}/conf
Spark で使用する環境変数を定義する設定ファイルです。
環境変数を以下のように設定してください。
環境変数 | 設定例 | 説明 |
|---|---|---|
SPARK_MASTER_IP | 10.10.10.12 | ＜マスタサーバ（セカンダリ）と同じ値を設定します＞ |
SPARK_PID_DIR | /var/run/spark | ＜マスタサーバ（セカンダリ）と同じ値を設定します＞ |
HADOOP_CONF_DIR | /etc/hadoop_spark | ＜マスタサーバ（セカンダリ）と同じ値を設定します＞ |
JAVA_HOME | /usr/lib/jre-fj | ＜マスタサーバ（セカンダリ）と同じ値を設定します＞ |
環境変数HADOOP_CONF_DIRで指定したディレクトリ
Hadoop に関する設定ファイルです
プロパティを以下のように設定してください。
プロパティ | 設定値/設定例 | 説明 |
|---|---|---|
fs.default.name | file:/// | ＜マスタサーバ（セカンダリ）と同じ値を設定します＞ |
開発実行環境サーバの設定ファイル
開発実行環境サーバで作成・編集する設定ファイルについて説明します。
{Sparkインストールディレクトリ}/conf
Spark で使用する環境変数を定義する設定ファイルです。
環境変数を以下のように設定してください。
環境変数 | 設定例 | 説明 |
|---|---|---|
SPARK_MASTER_IP | 10.10.10.12 | ＜マスタサーバ（セカンダリ）と同じ値を設定します＞ |
SPARK_PID_DIR | /var/run/spark | ＜マスタサーバ（セカンダリ）と同じ値を設定します＞ |
HADOOP_CONF_DIR | /etc/hadoop_spark | ＜マスタサーバ（セカンダリ）と同じ値を設定します＞ |
JAVA_HOME | /usr/lib/jre-fj | ＜マスタサーバ（セカンダリ）と同じ値を設定します＞ |
環境変数HADOOP_CONF_DIRで指定したディレクトリ
Hadoop に関する設定ファイルです
プロパティを以下のように設定してください。
プロパティ | 設定値/設定例 | 説明 |
|---|---|---|
fs.default.name | file:/// | ＜マスタサーバ（セカンダリ）と同じ値を設定します＞ |
{Sparkインストールディレクトリ}/conf
Hive に関する設定ファイルです。
プロパティを以下のように設定してください。
プロパティ | 設定例 | 説明 |
|---|---|---|
hive.metastore.uris | thrift://10.10.10.12:9083 | Hiveメタストアへの接続URIを指定します。 thrift://{マスタサーバ（セカンダリ）の業務LANのIP}:{Hive Metastoreのポート番号} |
hive.exec.scratchdir | file:///mnt/pdfs/hadoop/tmp/spark-${user.name} | Spark SQLからクエリを実行する時に使用する一時領域を指定します。 |
