入力となる入力ジャーナルファイル、入力マスタファイルおよびログファイルを定義した動作環境を記述します。
以下に、replace用動作環境ファイルの実行パラメタを示します。
注意
replace用動作環境ファイルの内容は、システムロケールの文字コードで記述してください。
パラメタ名は行の先頭から記述してください。
パラメタ名 | 省略 | 説明 |
|---|---|---|
不可 | 入力ジャーナルファイル、または入力ジャーナルファイルが配置されたディレクトリを指定します。(注) | |
可 | 入力ジャーナルファイルの見出し行の扱いを指定します。 | |
可 | 入力マスタファイル、または入力マスタファイルが配置されたディレクトリを指定します。(注) | |
可 | 入力マスタファイルの見出し行の扱いを指定します。 | |
可 | 出力ファイルを指定します。指定したファイルがすでに存在する場合は上書きします。(注) | |
可 | 一時ファイルを格納する作業ディレクトリを指定します。(注) | |
LogFile | 可 | ログファイルを指定します。(注) |
可 | 複数の入力ジャーナルファイルを同時に連結するための並列数を指定します。本パラメタを省略した場合、1が指定されたとみなします。 | |
可 | 出力データの中の文字列値を、二重引用符(")で括るかどうかを指定します。 | |
可 | 入力ファイルタイプがCSVの場合、項目間の区切り文字を二重引用符（"）で囲んで指定します。 | |
可 | 入力ファイルタイプがCSVの場合、2つ以上の連続した区切り文字の扱いを指定します。 | |
可 | 入力ジャーナルファイルまたは、入力マスタファイル中にエラーデータを検出したときの、エラーデータ出力ファイルを指定します。(注) | |
可 | 入力マスタファイルのレコードと結合されなかった入力ジャーナルファイルのレコードが存在した場合、警告とするか指定します。 | |
可 | ユーザーが定義した関数（ユーザー定義関数）を使ってデータを処理する場合に指定します。 | |
OutLineFeedCode | 可 | 出力データにおける、レコード終端の改行コードの取り扱いを指定します。 LF : Lf（0x0A） CRLF : Cr（0x0D）Lf（0x0A） 本パラメタを省略した場合、Windows では“CRLF”、 Linux/Solaris では “LF”が指定されたとみなします。 |
可 | 入力マスタファイルのレコードと連結できなかった入力ジャーナルファイルのレコードが存在した場合に、そのレコードを出力するディレクトリを指定します。 |
注) ファイル名またはディレクトリ名に特殊な文字を指定した場合の扱いについては、 “パス名に指定する特殊な文字の扱い”を参照してください。
入力ジャーナルファイル、または、入力ジャーナルファイルが配置されたディレクトリを指定します。ファイルとディレクトリは、混在指定できます。
入力ジャーナルファイルの定義は1つだけです。
図1.6 入力ファイルタイプがCSVの場合
図1.7 入力ファイルタイプがXMLの場合
入力ジャーナルファイルに割り当てる任意の名称を設定します。
このJ略称は“1.3.2 連結条件ファイル”のListDefパラメタで使用します。
連結条件ファイルのInFileTypeパラメタがCSVの場合に、入力ジャーナルファイルの項目名を記述したスキーマ情報ファイルを指定します。
スキーマ情報ファイルに標準入力は指定できません。
入力ジャーナルファイルを指定します。物理ファイル名またはディレクトリ名を指定しない場合(""を記述)、標準入力より入力します。
物理ファイル名の先頭に"pipe@"を記述することで、入力ジャーナルファイルに名前付きパイプを指定できます。
入力ジャーナルファイルが配置されたディレクトリを指定します。ディレクトリ名または物理ファイル名を指定しない場合(""を記述)、標準入力より入力します。
物理ファイル名とディレクトリ名の混在も指定可能です。
JnlFileパラメタの規約を以下に説明します。
スキーマ情報ファイルを指定した場合、物理ファイル名に指定した各ファイル、またはディレクトリ直下のファイルの先頭行には項目名が記述されていないものとみなし、データとして処理対象になります。
スキーマ情報を指定しない場合、物理ファイル名またはディレクトリ名に指定した各ファイルの先頭行には項目名が記述されているものとみなし、先頭行のデータを処理対象にしません。
複数のファイルまたはディレクトリを指定する場合、セミコロン(;)の前後に改行を記述できます。
注意
スキーマ情報ファイルには、名前付きパイプを指定できません。ファイル名の先頭に"pipe@"を記述してもファイル名の一部と認識します。
入力の物理ファイルに名前付きパイプを指定する場合には、あらかじめ利用者が名前付きパイプを作成する必要があります。ただし、DataEffectorのコマンド間で名前付きパイプを使用する場合は、作成する必要はありません。
複数の物理ファイルに名前付きパイプを指定して並列に処理を実施する場合には、物理ファイルごとに別々の名前付きパイプを指定し、ParallelNumパラメタを指定してください。
ディレクトリ配下のファイルは、ファイル名でソートされた順番に処理されます。ただし、ParallelNumパラメタ指定時には、順番は保証されません。
連結処理実行中に、指定されたディレクトリに対してファイルの追加、削除を実施した場合は、そのファイルが本機能に反映されない場合があります。
指定されたディレクトリが存在しない場合には、異常終了します。
指定されたディレクトリ配下にファイルが存在しない場合、または、処理するべきファイルが存在しない場合には、異常終了します。（ディレクトリが複数指定されていて、1つのディレクトリ配下にファイルが存在しなくても、他のディレクトリ配下にファイルが存在すれば、異常終了しません。）
指定されたディレクトリ直下のファイルだけが処理対象となります。サブディレクトリ配下のファイルは対象としません。
ディレクトリ配下の内容が以下の場合は、異常終了します。
・名前付きパイプが存在する
・Data Effectorとして処理対象外のファイルが存在する
参照
処理対象のファイルの種類については、“導入・運用ガイド”の“処理対象ファイルの種類”を参照してください。
入力ファイルタイプがCSVの場合、入力ジャーナルファイルの見出し行の扱いを指定します。
0: 見出し行を読み飛ばさない。
1: 見出し行を読み飛ばす。
本パラメタを省略した場合、0が指定されたものとみなします。
注意
本パラメタは、入力ファイルタイプがCSVの場合だけ有効です。
本パラメタは、スキーマ情報ファイルが指定されている場合だけ有効です。指定されていない場合、先頭行は読み飛ばしません。
本パラメタは、すべての入力ジャーナルファイルに対して有効になります。そのため、見出し行のある入力ジャーナルファイルと、見出し行のない入力ジャーナルファイルが混在している場合には使用できません。見出し行のない入力ファイルを指定した場合、先頭行を見出し行とみなして読み飛ばします。
入力マスタファイル、または、入力マスタファイルが配置されたディレクトリを指定します。ファイルとディレクトリは、混在指定できます。
入力マスタファイルの定義は複数指定が可能です。
図1.8 入力ファイルタイプがCSVの場合
図1.9 入力ファイルタイプがXMLの場合
注意
入力マスタファイルには、名前付きパイプを指定できません。スキーマ情報ファイル名または物理ファイル名の先頭に"pipe@"を記述してもファイル名の一部と認識します。
入力マスタファイルに割り当てる任意の名称を設定します。
このM略称は“1.3.2 連結条件ファイル”のListDefパラメタで使用します。
入力ファイルタイプがCSVの場合に、マスタの項目名を記述したスキーマ情報ファイルを指定します。
スキーマ情報を指定した場合、入力マスタファイルの先頭からデータであるとみなします。
スキーマ情報ファイルに標準入力は指定できません。
入力マスタファイルを指定します。
入力マスタファイルに標準入力は指定できません。
入力マスタファイルが配置されたディレクトリ名を指定します。
入力マスタファイルに標準入力は指定できません。
物理ファイル名とディレクトリ名の混在も指定可能です。
MstFileパラメタの規約を以下に説明します。
スキーマ情報ファイルを指定した場合、物理ファイル名に指定した各ファイル、またはディレクトリ直下のファイルの先頭行には項目名が記述されていないものとみなし、データとして処理対象になります。
スキーマ情報を指定しない場合、物理ファイル名またはディレクトリ名に指定した各ファイルの先頭行には項目名が記述されているものとみなし、先頭行のデータを処理対象にしません。
複数のファイルまたはディレクトリを指定する場合、セミコロン(;)の前後に改行を記述できます。
注意
ディレクトリ配下のファイルは、ファイル名でソートされた順番に処理されます。ただし、ParallelNumパラメタ指定時には、順番は保証されません。
連結処理実行中に、指定されたディレクトリに対してファイルの追加、削除を実施した場合は、そのファイルが本機能に反映されない場合があります。
指定されたディレクトリが存在しない場合には、異常終了します。
各々のM略称の定義において、指定されたディレクトリ配下にファイルが存在しない場合、または、処理すべきファイルが存在しない場合には、異常終了します。（ディレクトリが複数指定されていて、1つのディレクトリ配下にファイルが存在しなくても、他のディレクトリ配下にファイルが存在すれば、異常終了しません。）
指定されたディレクトリ直下のファイルだけが処理対象となります。サブディレクトリ配下のファイルは対象としません。
ディレクトリ配下の内容が以下の場合は、異常終了します。
・名前付きパイプが存在する
・Data Effectorとして処理対象外のファイルが存在する
参照
処理対象のファイルの種類については、“導入・運用ガイド”の“処理対象ファイルの種類”を参照してください。
入力ファイルタイプがCSVの場合、入力マスタファイルの見出し行の扱いを指定します。
0: 見出し行を読み飛ばさない。
1: 見出し行を読み飛ばす。
本パラメタを省略した場合、0が指定されたものとみなします。
注意
本パラメタは、入力ファイルタイプがCSVの場合だけ有効です。
本パラメタは、スキーマ情報ファイルが指定されている場合だけ有効です。指定されていない場合、先頭行は読み飛ばしません。
本パラメタは、すべての入力マスタファイルに対して有効になります。そのため、見出し行のある入力ファイルと、見出し行のない入力ファイルが混在している場合には使用できません。見出し行のない入力マスタファイルを指定した場合、先頭行を見出し行とみなして読み飛ばします。
出力ファイルを指定します。
図1.10 出力ファイルタイプがCSVの場合
図1.11 出力ファイルタイプがXMLの場合
出力するファイル名を指定します。
出力ファイル名または物理ファイル名の先頭に"pipe@"を記述することで、名前付きパイプを指定できます。
出力ファイルタイプがCSVの場合で見出し行とデータ行を分けて出力したいときは、スキーマ情報ファイルと物理ファイル名に分けて指定してください。
注意
スキーマ情報ファイルと物理ファイルの扱い
指定の組合せと出力先を以下に示します。
指定例 | 出力先 | |
|---|---|---|
スキーマ情報ファイル | 物理ファイル | |
スキーマ情報ファイル名;物理ファイル名 | 指定したファイル | 指定したファイル |
;物理ファイル名 | 作成されない | 指定したファイル |
スキーマ情報ファイル名; | 指定したファイル | 標準出力 |
; | 作成されない | 標準出力 |
見出し行とデータ行に分けて標準出力へ出力することはできません。
スキーマ情報ファイル名と物理ファイル名には、セミコロン(;)を含むことはできません。
注意
名前付きパイプの扱い
スキーマ情報ファイルには、名前付きパイプを指定できません。ファイル名の先頭に"pipe@"を記述してもファイル名の一部と認識します。
出力ファイルに名前付きパイプを指定する場合には、利用者が名前付きパイプを作成する必要ありません。
コマンドの実行結果が出力されるまで名前付きパイプは作成されないため、名前付きパイプが作成されるまでに時間がかかる場合があります。
OSのコマンドを使用して、Data Effectorのコマンドをキャンセルした場合、名前付きパイプのファイルが残る場合があります。この場合は、必要に応じてファイルを削除してください。
連結処理において一時的に使用するファイル(以降、一時ファイルと呼びます)を格納する作業ディレクトリを指定します。
指定した作業ディレクトリ配下に、一時ファイルが作成されます。一時ファイルは、連結処理実行後に削除されます。
本パラメタは、連結条件式の結合関係式において、完全一致による連結の場合だけ指定できます。文字列型の部分一致による連結の場合に指定すると、エラーになります。結合関係式については“3.3.3 結合関係式”を参照してください。
WorkFolderパラメタを指定して一時ファイルを利用したい場合は、連結条件ファイルのMemorySizeパラメタを必ず指定してください。
パラメタの組合せについて、以下に示します。
組合せ | MemorySizeパラメタ指定あり | MemorySizeパラメタ指定なし |
|---|---|---|
WorkFolderパラメタ指定あり | 連結機能の一時ファイル処理が、以下の順で動作します。 | 連結機能の一時ファイル処理は動作しません。(指定した作業ディレクトリは無効） |
WorkFolderパラメタ指定なし (省略時) | 連結機能の一時ファイル処理が、以下の順で動作します。 | 連結機能の一時ファイル処理は動作しません。 |
注1)作成される一時ファイルの命名規約は、以下です。
一時ファイル：AsIs.[PID][NO] |
[PID]：5桁の数字でプロセスIDを表します。
[NO]：3桁の数字です。
注2)OSで設定されている以下の一時ディレクトリを利用します。その配下に、上記一時ファイルを作成します。
OS | 設定されている一時ディレクトリ |
|---|---|
Windows | 環境変数TEMPに設定されているディレクトリ |
Linux | /tmpディレクトリ |
Solaris | /tmpディレクトリ |
注意
WorkFolderパラメタに指定した作業ディレクトリには、全入力マスタファイルの合計サイズ以上の空き容量が必要です。
連結条件ファイルのMemorySizeパラメタが指定されている状態で、OSで設定されている一時ディレクトリが存在しない、または設定されていない場合、本パラメタの指定を省略することはできません。
本コマンドの実行中にキャンセルをした場合、作業ディレクトリ配下に一時ファイルが残ることがあります。この場合は、一時ファイルを削除してください。
JnlFileパラメタで2つ以上の入力ジャーナルファイルを指定した場合、複数の入力ファイルから同時に連結を行う並列数を指定します。
ParallelNumパラメタに指定できる値は、1から128までです。
ParallelNumパラメタで指定した並列数が入力ジャーナルファイル数よりも小さい場合、並列数以上の入力ジャーナルファイルは、並列数以内の入力ジャーナルファイルの連結が終わった後に順次、実行されます。
ParallelNumパラメタで指定した並列数が入力ジャーナルファイル数よりも大きい場合、入力ジャーナルファイル数が同時に連結を行う並列数となります。
注意
ParallelNumに2以上を指定した場合、入力ジャーナルファイルの連結処理は、JnlFileパラメタに指定した順に並列に行います。そのため、OutFileパラメタに指定した出力ファイルには、複数の入力ジャーナルファイルの連結結果が混在して出力されます。
並列処理時の出力ファイルイメージについては、“図1.1 並列処理時の出力ファイルイメージ”を参照ください。
ParallelNumパラメタに2以上を指定した場合、入力ファイルは複数の物理ディスクに分散して配置することで、読込み処理のディスクI/Oの負荷を分散でき、並列効果を最大限に発揮できます。
そのため、ParallelNumパラメタに指定した並列数と、入力ファイルを配置する物理ディスクの数を同じにすることを推奨します。
出力ファイルタイプがCSVの場合、出力データの中の文字列値を二重引用符(")で括るかどうかを指定します。
0: 出力データの中の文字列値を、二重引用符(")で括る。
1: 出力データの中の文字列値を、二重引用符(")で括らない。
本パラメタを省略した場合、0が指定されたものとみなします。
注意
本パラメタに“1”を設定した場合、結果データの文字列値にセパレータ文字や改行が存在しても、二重引用符は設定されません。そのため、その後の処理において、想定したデータとして扱われない場合があります。
処理対象のデータに、セパレータ文字や改行が存在する場合には、“0”を指定することを推奨します。以下に例を示します。
本パラメタに“1”を設定した場合、結果データの項目に二重引用符(")が存在しても二重引用符(")によるエスケープは設定されません。
本パラメタに“1”を設定した場合、入力ファイルのデータの項目に二重引用符(")が設定されていたときでも、結果データの項目には、二重引用符(")は付加されなくなります。
入力ファイルの区切り文字が半角空白や水平タブの場合、リターン式を指定すると結果データはカンマ区切りで出力されます。このため、入力ファイルのデータにカンマなどが存在している場合に、本パラメタに“1”を指定すると、結果データが想定したデータとして扱われない場合があります。
入力ファイルタイプがCSVの場合、項目間の区切り文字を変更する場合は、新しく区切り文字とする文字を二重引用符(")で囲んで指定します。区切り文字として使用できる文字は、以下のとおりです。
区切り文字 | 指定方法 |
|---|---|
カンマ | \, |
半角空白 | \s |
水平タブ | \t |
区切り文字として複数指定する場合は、個々の文字列をカンマ(,)で区切って指定します。
注意
本パラメタを指定しても出力時の区切り文字は、常にカンマ(,)になります。
入力ファイルタイプがCSVの場合、2つ以上の連続した区切り文字の扱いを指定します。
0:1つの区切り文字を1つの項目間の区切りとして扱う。
1:2つ以上の連続した区切り文字を1つの項目間の区切りとして扱う。
本パラメタを省略した場合、0が指定されたものとみなします。
入力ファイルタイプがCSVの場合、エラーデータ出力ファイルと、エラーデータの最大出力件数を指定します。
本パラメタを指定すると、エラーデータを連結対象外のデータとして扱い、連結処理を継続します。
本パラメタを省略した場合、エラーデータを検出したとき、検出した時点でコマンドが異常終了します。
図1.12 エラーデータ出力の定義
入力ジャーナルファイルまたは、入力マスタファイル中にエラーデータを検出したとき、そのエラーデータの情報を出力します。
指定したファイルがすでに存在している場合は、その情報が上書きされます。
入力ファイル中にエラーデータが存在しなかった場合、エラーデータ出力ファイルは作成されません。
エラーデータの最大出力件数に指定できる値は、１から2147483647までです。
エラーデータの最大出力件数を指定すると、エラーデータが指定件数分、出力された時点でコマンドが異常終了します。
本パラメタを省略した場合、1000が指定されたものとみなします。
ポイント
入力ファイル名の工夫
ErrFileパラメタを指定した場合、入力ファイル名に半角英数字以外が含まれるとき、エラーデータ出力ファイルに出力される入力ファイル名が、文字化けすることがあります。そのため、入力ファイル名には半角英数字を使うことを推奨します。
入力定義ファイルに指定するファイル名に半角数字で日付情報を付加する例を以下に示します。
Windowsの場合
JnlFile Journal "D:\Shunsaku\indata\売上情報_20080101.csv ;
D:\Shunsaku\indata\売上情報_20080102.csv ;
D:\Shunsaku\indata\売上情報_20080103.csv ;
D:\Shunsaku\indata\売上情報_20080104.csv" |
Linux/Solarisの場合
JnlFile Journal "/home/Shunsaku/data/売上情報_20080101.csv ;
/home/Shunsaku/data/売上情報_20080102.csv ;
/home/Shunsaku/data/売上情報_20080103.csv ;
/home/Shunsaku/data/売上情報_20080104.csv" |
参照
エラーデータ出力ファイルの出力例は、“導入・運用ガイド”の“入力ファイルのエラー処理”を参照してください。
連結処理の結果、入力マスタファイルのレコードと結合されなかった入力ジャーナルファイルのレコードが存在した場合、復帰の扱いを指定します。
0:正常終了させる。
1:警告終了させる。
本パラメタを省略した場合、0が指定されたものとみなします。
ユーザーが定義した関数（ユーザー定義関数）でデータを処理する場合に指定します。
ユーザー定義関数名、その変換処理を実装したC言語関数名およびライブラリ名を指定します。
本パラメタは、複数個指定できます。最大で256個までです。
本パラメタを省略した場合、ユーザー定義関数を記述しても構文エラーとなります。
図1.13 ユーザー定義関数の定義
ユーザー定義関数の変換処理を実装したC言語アプリケーションが格納された、実行モジュールのライブラリのパスを指定します。
パス名にパス区切り文字が含まれている場合、絶対パスまたはカレントディレクトリからの相対パスとみなします。
パス区切り文字が含まれていない場合、OS標準の探索方法に従ってファイルを探します。
ユーザー定義関数名は、変換処理が実装されたC言語関数名をData Effectorにおいて識別するための名前です。
ユーザー定義関数名は、1つの処理内で一意である必要があります。
ユーザー定義関数名には、以下の文字から成る1文字以上の文字列を使用してください。ただし、関数名の先頭に、“-”および“.”は指定できません。
! | - | . | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | : |
@ | A | B | C | D | E | F | G | H | I | J | K | L | M |
N | O | P | Q | R | S | T | U | V | W | X | Y | Z | _ |
` | a | b | c | d | e | f | g | h | I | j | k | l | m |
n | o | p | q | r | s | t | u | v | w | x | Y | z |
参照
ユーザー定義関数の利用方法については、“導入・運用ガイド”の“自由に加工する”を参照してください。
入力マスタファイルのレコードと連結できなかった入力ジャーナルファイルのレコード(以降、未連結のジャーナルレコードと略します)が存在した場合に、そのレコードを出力するディレクトリを指定します。指定したディレクトリ配下に入力ジャーナルファイルごとにファイルが作成され、未連結のジャーナルレコードが格納されます。
本パラメタは、連結条件式の結合型にINNER JOIN方式を指定した場合だけ有効です。
本パラメタを省略した場合には、未連結のジャーナルレコードは、出力されません。
注意
JnlFileパラメタにスキーマ情報ファイルが指定されている場合には、未連結のジャーナルレコードを出力するファイルに見出し行は出力されません。入力ファイル中に見出し行が存在している場合には、見出し行が出力されます。
連結条件を複数指定した場合、それぞれの連結条件において未連結のジャーナルレコードがすべて出力されますが、1つの未連結のジャーナルレコードが複数出力されることはありません。
ListDefパラメタでレコードノード指定が指定されている場合、1レコード中の繰返し項目を連結時の1レコードとして扱います。このような、複数の繰返し項目が連結できなかったときでも、入力ジャーナルファイルのデータが1レコードだけ結果ファイルに出力されます。
未連結のジャーナルレコードを出力するファイルの命名規約を示します。
未連結のジャーナルレコードを出力するファイル名：exp[NO]_[FILENAME] |
[NO]：「1」が設定されます。同じ名前の入力ジャーナルファイルが存在した場合は、連番が設定されます。
[FILENAME]：入力ジャーナルファイル名が設定されます。ファイル名に含まれる英字は、小文字になります。
入力ジャーナルファイルが標準入力の場合、未連結のジャーナルレコードを出力するファイル名は、「exp1_stdin」となります。
同じファイル名のファイルがすでに存在する場合には、未連結のジャーナルレコードの有無に関わらずエラーとなります。
生成されたファイル名の長さが、以下の上限を超える場合には、エラーとなります。
Windows | Linux | Solaris |
|---|---|---|
259バイト | 1024バイト | 1023バイト |
ParallelNumパラメタの指定の有無により、同じ条件で同じ名前の入力ジャーナルファイルが存在する場合に処理を実施すると、未連結のジャーナルレコードを出力するファイルのファイル名が異なるときがあります。イメージを以下に示します。
例
replace用動作環境ファイル
# 入力ファイル(入力ジャーナルファイル) JnlFile Journal "D:\Shunsaku\data\FactFile1.csv; D:\Shunsaku\data\FactFile2.csv; D:\DataEffector\data\FactFile1.csv" ・・・ # 未連結のジャーナルレコードの出力 ExceptRecordFolder "D:\Shunsaku\Join\Data" ・・・ |
入力ファイルのすべて(3つのファイル)に、連結できなかったレコードが存在した場合には、以下のファイルが作成されます。
D:\Shunsaku\Join\Dataの配下に以下のファイルが作成。
exp1_factfile1.csv exp1_factfile2.csv exp2_factfile1.csv (注） |
注）「factfile1」はすでに同じファイル名が存在するため、「exp」のあとに連番の「2」が設定されます。
