目次の展開や折りたたみを行うには、ブラウザのJavaScriptを有効にしてください。
(目次をすべて閉じる)
表紙
まえがき
第1章 Symfoware Analytics Serverの概要
1.1 Symfoware Analytics Serverとは
1.2 Symfoware Analytics Serverの機能概要
1.2.1 データ分析
1.2.1.1 分析ファンクション
1.2.1.2 Data Analytics Library for Pythonパッケージを利用したデータ分析
1.2.1.3 R言語による統計解析
1.2.2 データ連携
1.2.2.1 Interstage Information Integratorを利用したデータ連携
1.2.2.2 fluentdを利用したデータ連携
1.2.3 カラムナテーブル
1.2.4 データ蓄積
1.2.5 バックアップ・リストアの簡易化
1.2.6 セキュリティ
1.2.6.1 データ秘匿化
1.2.6.2 暗号化
1.2.7 クライアント機能
1.2.7.1 データベースクライアント機能
1.2.7.2 データ連携クライアント機能
1.2.7.3 データ蓄積クライアント機能
1.2.8 エージェント機能
1.2.8.1 データ連携エージェント機能
1.2.9 スケールアウト機能
1.2.10 カラムナテーブル分割機能
1.3 Symfoware Analytics Serverのシステム構成
第2章 導入
2.1 必要なハードウェア
2.2 必要なソフトウェア
2.3 排他ソフトウェア
2.4 Symfoware Analytics Serverで利用するオープンソース・ソフトウェア
2.5 Symfoware Analytics Serverで利用するオープンソース・ソフトウェアマニュアル
2.6 インストール
2.6.1 DWHサーバのインストール
2.6.1.1 Linuxの場合のインストール
2.6.2 クライアントのインストール
2.6.2.1 データベースクライアント機能のインストール
2.6.2.2 データ連携クライアント機能のインストール
2.6.2.3 データ蓄積クライアント機能のインストール
2.6.2.3.1 インストール後の作業
2.6.3 データ連携エージェント機能のインストール
2.7 アンインストール
2.7.1 クライアントのアンインストール
2.7.1.1 データベースクライアント機能のアンインストール
2.7.1.2 データ連携クライアント機能のアンインストール
2.7.1.3 データ蓄積クライアント機能のアンインストール
2.7.2 データ連携エージェント機能のアンインストール
2.7.2.1 アンインストール後の作業
2.7.3 DWHサーバのアンインストール
2.7.3.1 Linuxの場合のアンインストール
第3章 セットアップ
3.1 DWHサーバのセットアップ
3.1.1 単一サーバ構成
3.1.1.1 Linuxの場合のセットアップ
3.1.2 マルチサーバ構成
3.1.2.1 Linuxの場合のセットアップ
3.1.3 環境変数の設定
3.2 DWHサーバのアンセットアップ
3.2.1 Linuxの場合のアンセットアップ
3.3 DWHサーバの起動
3.3.1 Linuxの場合の起動
3.4 DWHサーバの停止
3.4.1 Linuxの場合の停止
3.5 DWHサーバの状態確認
3.5.1 Linuxの場合の状態確認
3.5.1.1 データベースサーバ機能の状態確認
3.6 ユーザー定義
3.7 権限設定
3.8 データ蓄積機能のセットアップ
3.8.1 作業の流れ
3.8.2 カテゴリの定義
3.8.2.1 カテゴリ定義画面
3.8.2.2 DB環境定義ファイルの編集
3.8.2.3 カテゴリ定義コマンド
3.8.2.4 格納先ディレクトリの作成
3.9 データ連携機能のセットアップ
3.9.1 Interstage Information Integratorを利用したデータ連携
3.9.1.1 作業の流れ
3.9.1.2 設計
3.9.1.2.1 ユーザー設計
3.9.1.2.2 処理プロセスの設計
3.9.1.2.3 動作環境の設計
3.9.1.2.4 セキュリティの設計
3.9.1.3 環境セットアップ
3.9.1.3.1 接続先サーバ情報の設定
3.9.1.3.2 動作パラメーターの変更
3.9.1.3.3 処理プロセスの登録
3.9.1.3.4 運用ユーザーの登録
3.9.1.3.5 ファイル送信・ファイル受信環境のセットアップ
3.9.2 fluentdを利用したデータ連携
3.9.2.1 作業の流れ
3.9.2.2 fluentd動作定義ファイルの編集
3.9.2.2.1 fluentd動作定義ファイルの記述形式
3.9.2.2.2 fluentd動作定義ファイルの設定内容
3.9.2.2.3 fluentdの転送に関する注意事項
3.9.2.3 データ蓄積環境の作成
3.10 データベースの作成
3.11 データベースの削除
3.12 セットアップ後の操作
3.12.1 データ連携の実行
3.12.1.1 Interstage Information Integratorを利用したデータ連携
3.12.1.2 fluentdを利用したデータ連携
3.12.2 蓄積テーブルの作成
3.12.2.1 Interstage Information Integratorを利用したデータ連携
3.12.2.2 fluentdを利用したデータ連携
3.12.3 蓄積テーブルの削除
3.12.4 カラムナテーブルの作成
3.12.5 カラムナテーブルの削除
3.12.6 蓄積テーブルからカラムナテーブルへのロード
3.12.7 データ連携の停止
3.12.7.1 fluentdを利用したデータ連携
3.12.8 カラムナテーブルの分割
3.12.9 DWHサーバのバックアップ
3.12.9.1 Linuxの場合のバックアップ
3.12.10 DWHサーバのリストア
3.12.10.1 Linuxの場合のリストア
3.12.11 データのエクスポート
3.12.12 データのインポート
3.12.13 モニタリング
3.12.13.1 データベースの異常
3.12.13.2 ディスク容量
3.12.13.3 コネクション状況
3.12.14 パラメーター変更
3.12.14.1 postgresql.conf
3.12.14.2 システム関数制御パラメーター
第4章 データ蓄積
4.1 データの格納
4.2 データの参照
4.3 データの削除
4.4 データ蓄積で使用するSQL文
4.4.1 CREATE FOREIGN TABLE文
第5章 データ連携
5.1 Interstage Information Integratorを利用したデータ連携
5.1.1 運用
5.2 fluentdを利用したデータ連携
5.2.1 データ処理
5.2.1.1 データ処理の概要
5.2.1.2 データ連携エージェントから収集したデータの変換
5.2.2 fluentdを利用したデータ連携で使用できるプラグイン
5.2.2.1 out_symas
第6章 データ分析
6.1 導入
6.1.1 セットアップ
6.1.1.1 サーバのセットアップ
6.1.1.2 クライアントのセットアップ
6.1.2 アンセットアップ
6.1.2.1 サーバのアンセットアップ
6.1.2.2 クライアントのアンセットアップ
6.2 拡張ライブラリを利用したデータ分析
6.2.1 分析ファンクション
6.2.1.1 分析ファンクションの利用方法
6.2.1.1.1 分析の準備
6.2.1.1.2 分析の実行
6.2.1.1.3 分析結果の確認
6.2.1.1.4 分析定義の変更・削除手順
6.2.1.1.5 BIツールからの結果確認方法
6.2.1.2 分析ファンクションの流用方法
6.2.1.2.1 分析ファンクションの新規作成
6.2.1.2.2 ユーザー分析ライブラリの作成
6.2.1.3 pgxa_anls_ts_detect_outlier
6.2.1.3.1 機能
6.2.1.3.2 記述形式
6.2.1.3.3 注意事項
6.2.1.3.4 分析定義テーブル(pgxa_def_anls_ts_detect_outlier)
6.2.1.3.5 拡張ライブラリ
6.2.1.3.6 分析対象テーブル
6.2.1.3.7 分析結果テーブル
6.2.1.3.8 分析結果ビュー
6.2.1.3.9 実行例
6.2.1.3.10 分析ライブラリのインターフェース
6.3 基本ライブラリを利用したデータ分析
6.3.1 Data Analytics Library for Pythonパッケージを利用したデータ分析
6.3.1.1 動作環境
6.3.1.2 pgxa.desccat(外れ値検知)
6.3.1.2.1 pgxa.desccat.cluster()
6.3.1.2.2 pgxa.desccat.sccomp()
6.3.1.2.3 サンプルスクリプト
6.3.2 R言語による統計解析
6.3.2.1 ファンクションの運用
6.3.2.1.1 ファンクションの作成
6.3.2.1.2 ファンクションの登録
6.3.2.1.3 ファンクションの実行
6.3.2.1.4 ファンクションの削除
6.3.2.1.5 異常時の対処
6.3.2.2 PL/R手続き言語での実行方法
6.3.2.2.1 R関数
6.3.2.2.2 データ型
6.3.2.2.3 データベースアクセス関数
6.3.2.2.4 データ分析クライアント機能によるRスクリプトの開発効率化
6.3.2.2.5 ユーティリティ関数
第7章 セキュリティ
7.1 データ秘匿化
7.1.1 秘匿化ポリシー
7.1.1.1 秘匿化対象
7.1.1.2 秘匿化種別
7.1.1.3 秘匿化条件
7.1.1.4 秘匿化形式
7.1.2 利用方法
7.1.2.1 秘匿化ポリシーの作成
7.1.2.2 秘匿化ポリシーの変更
7.1.2.3 秘匿化ポリシーの確認
7.1.2.4 秘匿化ポリシーの有効化/無効化
7.1.2.5 秘匿化ポリシーの削除
7.2 暗号化
7.2.1 データベースの暗号化
7.2.1.1 暗号化のメリット
7.2.1.2 暗号化キー
7.2.1.3 暗号化が可能なデータ型
7.2.1.4 カラム暗号化の手順
7.2.1.4.1 DWHサーバの起動
7.2.1.4.2 セキュリティオプションの有効化
7.2.1.4.3 暗号化の設定
7.2.1.4.4 カラムへの暗号化データの格納
7.2.1.4.5 暗号化データの参照
7.2.1.4.6 検索条件への暗号化カラムの設定
7.2.2 データベースサーバ・クライアント間の通信の暗号化
7.2.3 データ連携時の通信の暗号化
7.2.3.1 Interstage Information Integratorを利用する場合
7.2.3.2 fluentdを利用する場合
7.2.3.2.1 証明書発行の手続き
7.2.3.2.2 サーバ証明書ファイルおよびサーバ秘密鍵ファイルの配置
7.2.3.2.3 データ連携エージェントへCA証明書ファイルの配布
7.2.3.2.4 データ連携サーバのセットアップ
7.2.3.2.5 データ連携エージェントのセットアップ
付録A 定量制限
A.1 データベースサーバ機能
A.2 データ加工機能
付録B データベースリンク機能
B.1 概要
B.2 利用方法
B.2.1 ODBCドライバの登録
B.2.2 ドライバ構成ファイルの登録
B.2.3 データソースの登録
B.2.4 拡張モジュールのインストール
B.2.5 外部サーバの定義
B.2.6 ユーザマッピングの定義
B.2.7 外部テーブルの定義
付録C カラムナテーブル分割機能
C.1 概要
C.2 設計
C.2.1 分割条件
C.2.2 データベーススペース
C.2.3 バックアップ
C.3 定義
C.3.1 カラムナテーブルのデータベーススペースの新規作成
C.3.2 カラムナテーブルの作成・編集
C.4 運用
C.4.1 カラムナテーブルのバックアップ
C.4.2 カラムナテーブルのデータベーススペースの読み取り専用への変更
C.4.3 カラムナテーブルのデータベーススペースの削除
付録D データ匿名化
D.1 概要
D.2 必要環境
D.3 事前準備
D.4 匿名化コマンド(arax_anonymity)
D.4.1 匿名化アルゴリズム設定ファイル
D.5 結果確認
D.5.1 実行結果ログファイル
付録E データ加工
E.1 データ加工の基本知識
E.1.1 データ加工フローとは
E.1.2 テンプレートとは
E.2 データ加工機能の導入・セットアップ
E.2.1 必要なハードウェア
E.2.2 必要なソフトウェア
E.2.3 排他ソフトウェア
E.2.4 データ加工クライアント機能のインストール
E.2.5 データ加工クライアント機能のアンインストール
E.2.6 データ加工サーバ機能の状態確認
E.2.7 ユーザー定義
E.3 データ加工方法
E.3.1 作業の流れ
E.3.2 ユーザーを定義する
E.3.3 カラムナテーブルに格納する
E.4 データ活用
E.4.1 アプリケーションの開発
E.4.2 BIツールからの活用
E.5 テンプレートの利用方法
E.5.1 カラムナテーブル作成
E.5.2 カラムナテーブル削除
E.5.3 テーブル作成
E.5.4 テーブル削除
E.5.5 テーブル権限付与
E.5.6 テーブル権限取消
E.5.7 テーブル一覧取得
E.5.8 テーブル定義取得
E.5.9 カラムナテーブル格納
E.5.10 テーブル格納
E.5.11 カラムナテーブル行絞込
E.5.12 テンプレート使用時の注意事項
付録F データ加工フローのインポート・エクスポート
F.1 分析フローツール(ibamsflowtl)
F.1.1 分析フローインポートサブコマンド(import)
F.1.2 分析フローエクスポートサブコマンド(export)
F.2 入力データストアツール(ibamsinputstoretl)
F.2.1 入力データストアインポートサブコマンド(import)
F.2.2 入力データストアエクスポートサブコマンド(export)
F.3 出力データストアツール(ibamsoutputstoretl)
F.3.1 出力データストアインポートサブコマンド(import)
F.3.2 出力データストアエクスポートサブコマンド(export)
付録G 資源の見積り
G.1 メモリ見積り
G.1.1 データベースサーバ機能
G.1.2 データ加工サーバ機能
G.2 ディスク見積り
G.2.1 データベースサーバ機能
G.2.2 データ加工サーバ機能
G.2.3 fluentdを利用したデータ連携機能
付録H データ形式
H.1 データ型
H.2 秘匿化が可能なデータ型
H.3 暗号化が可能なデータ型
H.4 CSVファイルのデータ形式
付録I カラムナテーブル使用時の注意事項
I.1 利用できない機能
I.2 日付/時刻データ型使用時の注意事項
I.3 ビュー使用時の注意事項
I.4 文字型使用時の注意事項
付録J リファレンス
J.1 システムコマンド
J.1.1 symassvinstall
J.1.2 symassvuninstall
J.1.3 symassetup
J.1.4 symasunsetup
J.1.5 symasstart
J.1.6 symasstop
J.1.7 symasbackup
J.1.8 symasrestore
J.1.9 symas-fluentd
J.1.10 arax_dsn
J.1.11 arax_iihost_mgr
J.1.12 arax_ifireq
J.1.13 arax_iiuser_mgr
J.1.14 symassetcrptenv
J.1.15 symasunsetcrptenv
J.1.16 symassetmltenv
J.1.17 symasunsetmltenv
J.1.18 symascolumnbk
J.1.19 symascolumnres
J.1.20 arax_create_partition
J.1.21 pgxa_add_partition
J.1.22 pgxa_drop_partition
J.1.23 pgxa_show_partition
J.2 システムカタログ
J.2.1 pgxa_confidential_columns
J.2.2 pgxa_confidential_policies
J.2.3 pgxa_confidential_values
J.2.4 pgxa_ods_categories_columns
J.3 システムビュー
J.3.1 pgxa_dbspace_usage
J.3.2 pgxa_index_list
J.3.3 pgxa_index_advice
J.3.4 pgxa_pkey_info
J.4 システム関数
J.4.1 pgxa_create_table
J.4.2 pgxa_drop_table
J.4.3 pgxa_import_table_data
J.4.4 pgxa_import_to_table
J.4.5 pgxa_export_from_table
J.4.6 pgxa_truncate_table
J.4.7 pgxa_add_dbspace
J.4.8 pgxa_create_index
J.4.9 pgxa_drop_index
J.4.10 pgxa_reset_index_advise
J.4.11 pgxa_create_view
J.4.12 pgxa_drop_view
J.4.13 pgxa_create_confidential_policy
J.4.14 pgxa_alter_confidential_policy
J.4.15 pgxa_drop_confidential_policy
J.4.16 pgxa_enable_confidential_policy
J.4.17 pgxa_update_confidential_values
J.4.18 pgxa_add_pkey
J.4.19 pgxa_drop_pkey
J.4.20 pgxa_import_fixed_data
J.4.21 pgxa_export_fixed_data
J.4.22 pgxa_put_encryptdata
J.4.23 pgxa_get_decryptdata
J.4.24 pgxa_create_table_for_encrypt
J.4.25 pgxa_create_dbspace
J.4.26 pgxa_alter_ro_dbspace
J.4.27 pgxa_drop_dbspace
J.4.28 システム関数の権限の確認方法
J.4.29 各システム関数が出力するログファイル
付録K メッセージ
K.1 メッセージの形式
K.1.1 出力形式
K.1.2 構成要素
K.2 10000番台のメッセージ
K.2.1 10000
K.2.2 10001
K.2.3 10002
K.2.4 10003
K.2.5 10004
K.2.6 10005
K.2.7 10006
K.2.8 10007
K.2.9 10008
K.2.10 10009
K.3 11000番台のメッセージ
K.3.1 11000
K.3.2 11001
K.3.3 11002
K.3.4 11003
K.3.5 11004
K.3.6 11005
K.3.7 11006
K.3.8 11007
K.3.9 11008
K.4 コマンド名がFIS-AREADY_AMGRAXの12000番台のメッセージ
K.4.1 12000
K.4.2 12001
K.4.3 12002
K.4.4 12003
K.4.5 12004
K.4.6 12005
K.4.7 12006
K.4.8 12007
K.4.9 12008
K.4.10 12009
K.4.11 12010
K.4.12 12011
K.5 12000番台のメッセージ
K.5.1 12000
K.5.2 12001
K.5.3 12002
K.5.4 12003
K.5.5 12004
K.5.6 12005
K.5.7 12006
K.5.8 12007
K.5.9 12100
K.5.10 12101
K.5.11 12102
K.5.12 12201
K.5.13 12202
K.6 13000番台のメッセージ
K.6.1 13000
K.6.2 13001
K.6.3 13002
K.6.4 13003
K.6.5 13004
K.6.6 13005
K.6.7 13006
K.6.8 13100
K.6.9 13101
K.6.10 13102
K.6.11 13201
K.6.12 13202
K.7 14000番台のメッセージ
K.7.1 14000
K.7.2 14001
K.7.3 14002
K.7.4 14003
K.7.5 14004
K.7.6 14005
K.8 15000番台のメッセージ
K.8.1 15000
K.8.2 15001
K.8.3 15002
K.8.4 15003
K.8.5 15004
K.8.6 15005
K.9 16000番台のメッセージ
K.9.1 16000
K.9.2 16001
K.9.3 16002
K.9.4 16003
K.9.5 16004
K.9.6 16005
K.9.7 16006
K.9.8 16007
K.9.9 16008
K.9.10 16133
K.10 17000番台のメッセージ
K.10.1 17000
K.10.2 17001
K.10.3 17002
K.10.4 17003
K.10.5 17004
K.10.6 17005
K.10.7 17006
K.10.8 17007
K.11 20000番台のメッセージ
K.11.1 20000
K.11.2 20001
K.11.3 20002
K.11.4 20003
K.11.5 20004
K.11.6 20005
K.11.7 20006
K.11.8 20007
K.11.9 20008
K.11.10 20009
K.12 21000番台のメッセージ
K.12.1 21000
K.12.2 21001
K.12.3 21002
K.12.4 21003
K.12.5 21004
K.12.6 21005
K.12.7 21006
K.12.8 21007
K.12.9 21008
K.13 22000番台のメッセージ
K.13.1 22000
K.13.2 22001
K.13.3 22002
K.13.4 22003
K.13.5 22004
K.13.6 22005
K.13.7 22006
K.13.8 22007
K.14 23000番台のメッセージ
K.14.1 23000
K.14.2 23001
K.14.3 23002
K.14.4 23003
K.14.5 23004
K.14.6 23005
K.14.7 23006
K.15 24000番台のメッセージ
K.15.1 24000
K.15.2 24001
K.15.3 24002
K.15.4 24003
K.15.5 24004
K.15.6 24005
K.16 25000番台のメッセージ
K.16.1 25000
K.16.2 25001
K.16.3 25002
K.16.4 25003
K.16.5 25004
K.16.6 25005
K.17 26000番台のメッセージ
K.17.1 26000
K.17.2 26001
K.17.3 26002
K.17.4 26003
K.17.5 26004
K.17.6 26005
K.17.7 26006
K.17.8 26007
K.17.9 26008
K.18 27000番台のメッセージ
K.18.1 27000
K.18.2 27001
K.18.3 27002
K.18.4 27003
K.18.5 27004
K.18.6 27005
K.18.7 27006
K.18.8 27007
K.19 30000番台のメッセージ
K.19.1 30000
K.19.2 30001
K.19.3 30003
K.19.4 30004
K.19.5 30005
K.20 31000番台のメッセージ
K.20.1 31000
K.20.2 31001
K.20.3 31003
K.20.4 31004
K.20.5 31005
K.21 32000番台のメッセージ
K.21.1 32000
K.21.2 32001
K.21.3 32002
K.21.4 32003
K.21.5 32004
K.21.6 32005
K.21.7 32006
K.21.8 32007
K.21.9 32008
K.22 33000番台のメッセージ
K.22.1 33000
K.22.2 33001
K.22.3 33002
K.22.4 33003
K.22.5 33004
K.22.6 33005
K.23 34000番台のメッセージ
K.23.1 34000
K.23.2 34001
K.23.3 34002
K.23.4 34003
K.23.5 34004
K.23.6 34005
K.24 35000番台のメッセージ
K.24.1 35000
K.24.2 35001
K.24.3 35002
K.24.4 35003
K.24.5 35004
K.24.6 35005
K.25 36000番台のメッセージ
K.25.1 36000
K.25.2 36001
K.25.3 36002
K.25.4 36003
K.25.5 36004
K.26 37000番台のメッセージ
K.26.1 37000
K.26.2 37001
K.26.3 37002
K.26.4 37003
K.26.5 37004
K.26.6 37005
K.27 38000番台のメッセージ
K.27.1 38000
K.27.2 38001
K.27.3 38002
K.27.4 38003
K.27.5 38004
K.27.6 38005
K.27.7 38006
K.28 39000番台のメッセージ
K.28.1 39000
K.28.2 39001
K.28.3 39002
K.28.4 39003
K.28.5 39004
K.28.6 39005
K.29 41000番台のメッセージ
K.29.1 41000
K.29.2 41001
K.29.3 41002
K.30 51000番台のメッセージ
K.30.1 51101
K.30.2 51102
K.30.3 51103
K.30.4 51201
K.30.5 51301
K.30.6 51401
K.30.7 51402
K.30.8 51403
K.30.9 51404
付録L システムの初期値
付録M 障害調査情報の採取
メニューの先頭へ