ページの先頭行へ戻る
Symfoware Analytics Server(Operational Data Store編) 運用ガイド
FUJITSU Software

1.5.2 データの格納

格納先カテゴリ、入力データファイル、入力添付ファイルの準備ができたら、dlofentryコマンドを使用してデータを格納します。
格納されたデータは蓄積データファイル、蓄積添付ファイルとして資源管理機能で管理されて、格納されるごとに管理レコードが作成されます。

dlofentryコマンドでは、入力データファイルを圧縮して格納します。圧縮の形式を以下に示します。

蓄積データファイルの圧縮形式

蓄積データファイルの圧縮形式は、以下のいずれかを選択できます。

Linuxgzip圧縮形式

OSのgzipコマンドで圧縮した形式です。(省略値)

fjcx圧縮形式

gzip形式より圧縮率を高めた形式です。
入力データファイルのサイズが大きく、夜間処理など格納時間に余裕のある場合に向いています。gzip形式より格納に時間を要します。

Windowszip圧縮形式

OSのzipで圧縮した形式です。(省略値)

蓄積添付ファイルのアーカイブ形式

蓄積添付ファイルのアーカイブ形式は、以下のいずれかを選択できます。

Linuxtgz形式

入力添付ファイルをアーカイブして、さらに圧縮して格納する方法です。
OSのtarコマンドでアーカイブしてから、-zオプションで圧縮した形式です。(省略値)

tar形式

入力添付ファイルをアーカイブして格納する方法です。
OSのtarコマンドでアーカイブした形式です。圧縮をしないため、tgz形式に比べて高速です。データの格納や取得にリアルタイム性を優先する業務では、tar形式を推奨します(注意)。

Windowszip形式

入力添付ファイルをアーカイブして、さらに圧縮して格納する方法です。OSのzipでアーカイブした形式です。(省略値)

上記の形式は、入力データごとにdlofentryコマンドにオプションを指定します。
dlofentryコマンドが異常終了した場合は、“2.9.1 ロードコマンド異常終了時のリカバリ”を参照して対処してください。


Linux1)カテゴリ“cat1”に、CSV形式の入力データファイル“adtlog091104.csv”をgzip形式で格納する場合

dlofentry cat_name=cat1 in_file=/DATA/adtlog091104.csv <Enter>

2)カテゴリ“cat2”にXML形式の入力データファイル“connect01.xml”をfjcx形式で格納する場合

dlofentry cat_name=cat2 in_file=/DATA/connect01.xml  compression_type=fjcx <Enter>

3)カテゴリ“cat3”に、XML形式の入力データファイル“/DIRX/FIDX1.xml”をgzip形式で格納して、入力添付ファイル“/tmp/attach”をtgz形式で“/ATTACH”に格納する場合

dlofentry cat_name=cat3 in_file=/DIRX/FIDX1.xml in_attach=/tmp/attach attach_dir=/ATTACH attach_bak=/ATTACHbak  attach_archive=tgz  result_file=/DIRX/FRX1 <Enter>

Windows1)カテゴリ“cat1”に、CSV形式の入力データファイル“adtlog091104.csv”をzip形式で格納する場合

dlofentry cat_name=cat1 in_file=C:\DATA\adtlog091104.csv <Enter>

2)カテゴリ“cat2”にXML形式の入力データファイル“connect01.xml”をfjcx形式で格納する場合

dlofentry cat_name=cat2 in_file=C:\DATA\connect01.xml  compression_type=fjcx <Enter>

3)カテゴリ“cat3”に、XML形式の入力データファイル“C:\DIRX\FIDX1.xml”をzip形式で格納して、入力添付ファイル“C:\tmp\attach”をzip形式で“C:\ATTACH”に格納する場合

dlofentry cat_name=cat3 in_file=C:\DIRX\FIDX1.xml in_attach=C:\tmp\attach attach_dir=C:\ATTACH attach_bak=C:\ATTACHbak  attach_archive=zip  result_file=C:\DIRX\FRX1 <Enter>

ポイント

  • dlofentryコマンドでは、入力データファイルを1ファイルずつ格納します。たとえば、1つのカテゴリに5個のファイルを格納する場合は、本コマンドを5回実行します。

  • dlofentryコマンドでは、格納は1つのカテゴリに対してだけに実施します。複数カテゴリにまたがった格納は行えません。

注意

  • 以下のオプションは、カテゴリの定義によって使用が制限されます。誤って指定したり省略したりすると、dlofentryコマンドが異常終了します。

    • 蓄積データファイル名の付与値(given_de)

      カテゴリ定義のファイル名構成要素に“起動時指定ファイル名”が設定されている場合だけ指定します。設定時は省略できません。

    • 保存期限(keep_limit)

      カテゴリ定義の“ロード時の指定”で“ロード時に指定する”を設定した場合だけ指定します。設定時は省略できません。

    • バックアップ蓄積データファイルの格納先ディレクトリ(bak_dir)

      カテゴリ定義の“バックアップ要否”で“バックアップ要”を設定した場合だけ指定できます。指定を省略した場合はカテゴリの定義に従います。

    • バックアップ添付ファイル格納先(attach_bak)

      カテゴリ定義の“バックアップ要否”で“バックアップ要”を設定した場合だけ指定することができます。

  • 蓄積データファイル名の付与値(given_de)にアンダーライン(_)およびピリオド(.)を含むことはできません。

  • 入力データファイルにピリオド(.)で始まるファイル名は指定できません。

  • カテゴリ定義のファイル名構成要素に“入力データファイル名”が指定されている場合、蓄積データファイルのファイル名構成要素として使用されるのは、最初に出現するピリオド(.)の直前までです。そのため、最初に出現するピリオド(.)の直前までが一致する入力データファイル名を指定する場合は、蓄積データファイル名の重複を防ぐため、ファイル名構成要素に登録日時と枝番を追加してください。蓄積データファイル名は、カテゴリ定義画面で入力します。詳細については、“表A.3 ファイル名情報画面で入力する項目”を参照してください。

  • fjcx圧縮方式は、gzip圧縮方式と比較して圧縮率を2倍程度(注)高めることができますが、その分データ格納時間がかかる場合があります。このため、入力データファイルのサイズが小さく、短時間で多くの入力データファイルを格納しなければならないケースには向いていません。
    注) 圧縮率は、データ内容に依存します。

  • XML文書をfjcx圧縮方式で格納する場合、データの圧縮効果を高めるため、以下のようにXMLマークアップを整形します。格納前と抽出時で異なりますが、XML文書のデータ値としては変更ありません。

    表1.2 XML文書をfjcx圧縮方式で格納する場合の変換規則

    分類

    方針

    格納前

    抽出時

    空要素タグの正規化

    “空要素タグ”を“開始タグと終了タグ”へ変換

    <aaa/>

    <aaa></aaa>

    <aaa bbb="cccc"/>

    <aaa bbb="cccc"/></aaa>

    タグ内空白の正規化

    タグ内の余計な空白を削除

    <aaa  >xxxx</aaa >

    <aaa>xxxx</aaa>

    <aaa    zzz="ZZZ">xxxx</aaa>

    <aaa zzz="ZZZ">xxxx</aaa>

    <aaa zzz  =  "ZZZ">xxxx</aaa>

    <aaa zzz="ZZZ">xxxx</aaa>

    <aaa zzz  =  "ZZZ"    yyy = "YYY"  >xxxx</aaa >

    <aaa zzz="ZZZ" yyy="YYY">xxxx</aaa>


  • 蓄積添付ファイルのアーカイブ形式(tgz形式/tar形式)は、以下の特性を考慮して選択してください。

    アーカイブの特性(tgz形式/tar形式)

    tarコマンドは、アーカイブしたファイルから元のファイルを取り出す場合、そのレスポンスは、アーカイブしたファイルに含まれているファイル数、または、アーカイブしたファイルのサイズに依存します。

    特に、tgz形式の場合は、アーカイブしたファイルをさらに圧縮しているために、tar形式に比べてレスポンスの変化が顕著です。

    API連携機能を利用した添付ファイル取得においては、getAttachedFileメソッドの呼出しごとにtarコマンドを実行しますので、tarコマンドのレスポンスがそのままメソッドのレスポンスに影響します。

    圧縮の特性(tgz形式)
    データ特性に依存した圧縮効果

    tgz形式は、アーカイブしたファイルを圧縮しますので、ディスクを効率的に利用したい場合に推奨します。しかし、すでに圧縮されているファイル(たとえば、JPG,PNG,PDFなど)を添付ファイルとして格納する場合、圧縮による効果は期待できません。このような場合は、tar形式を利用してください。

    圧縮の有無によるレスポンスの違い

    tgz形式は、tar形式に比べて、圧縮による処理時間がかかります(データ量により、分オーダの処理時間がかかる場合があります)。そのため、データの格納や取得にリアルタイム性を優先する業務では、tar形式を推奨します。


    また、API連携機能の添付ファイル取得メソッド(getAttachedFileメソッド)にて、効率的に取り出すように、対象のアーカイブしたファイルすべてを取り出す方法を提供しています。詳しくは、“アプリケーション開発ガイド”の“蓄積添付ファイルを取得する”を参照してください。


参照

dlofentryコマンドの詳細は“コマンドリファレンス”を参照してください。