利用状況DB登録エンジンにより作成されるCSV(Comma Separated Value)形式ログファイルについて説明します。
CSV形式ログファイルの形式について説明します。
CSV形式ログファイルは、WebサーバやProxyサーバのログ用のものであり、その他に、レスポンス状況分析用のCSV形式拡張ログファイルがあります。
■格納先とファイル名
CSV形式ログファイルは、以下のディレクトリに作成されます。
|
※ < >はディレクトリです。
(*1) サーバディレクトリは、利用状況DB環境定義ファイルの分析対象サーバ定義ブロックのSymbolで指定した名前で作成されます。
(*2) CSV形式ログファイル名の変数(yyyymmdd_nnn)は以下のとおりです。年月日は、利用状況DBの切り替え（作成）が行われた時点の日付になります。
yyyy | 西暦年(1980～) |
mm | 月(01～12) |
dd | 日(01～31) |
nnn | 通番(001～999) |
レスポンス状況の分析を行う場合には、上記のサーバディレクトリ配下に、レスポンス状況分析用のCSV形式拡張ログファイルが以下のファイル名で作成されます。CSV形式拡張ログファイル名の変数(yyyymmdd_nnn)は、CSV形式ログファイルの変数と同じです。
eyyyymmdd_nnn.csv
また、CSV形式ログファイルを被管理サーバから管理サーバに転送する際のCSV形式ファイルへのアクセスを効率化するために、インデックスファイルがサーバディレクトリ配下に以下のファイル名で作成されます。このインデックスファイルは、利用状況DB登録エンジン用の特殊ファイルですので、使用しないでください。
dbyyyymmdd.index
eyyyymmdd.index
■ファイルの形式
CSV形式ログファイルおよびCSV形式拡張ログファイルは、テキストファイルです。テキストの文字コードは、各プラットフォームによって異なります。
【Windows版】
文字コード |
|---|
シフトJIS |
【UNIX版】
文字コード |
|---|
日本語EUC |
ファイル中にはデータがカンマ「,」で区切られて出力されています。 ファイル内は、以下の行で構成されています。
タイトル行 データ行 データ行 ： ： データ行 |
各行の説明を以下に記述します。
各行 | 説明 |
|---|---|
タイトル行 | 1行目だけタイトル行として、各フィールドのフィールド名（項目名）が出力されます。各フィールドはカンマ（，）で区切られます。 |
データ行 | 2行目以降には、データ行が複数出力されます。1つのデータ行には、Webサーバのログの有効なレコードが1つ出力されます。データの順番は、日付・時刻の昇順（古い順）です。 各フィールドはカンマ（，）で区切られます。 なお、該当データがないフィールドはハイフン（-）が出力されます。 |
■各行の形式
タイトル行やデータ行の詳細は、下表のとおりです。表中、1行目は文書の都合上、数行にまたがって記述されている場合がありますが、実際の出力は1行になります。
CSV形式ログファイルの場合
行 | ファイル出力形式 |
|---|---|
タイトル行 (1行目) | server,s-date,s-time,c-host,c-ip,s-method,s-protocol,s-host,s-ip,s-path,s-status,r-status,s-byte,r-byte,l-url,c-agent,s-elaps,c-cookie-id,c-user |
データ行 (2行目以降) | "server","yyyy/mm/dd","hh:mm:ss","c-host","c-ip","s-method","s-protocol","s-host","s-ip","s-path","s-status","r-status","s-byte","r-byte","l-url","c-agent","s-elaps","c-cookie-id","c-user" |
CSV形式拡張ログファイルの場合
行 | ファイル出力形式 |
|---|---|
タイトル行 (1行目) | server,s-date,s-time,c-host,s-url,c-response |
データ行 (2行目以降) | "server","yyyy/mm/dd","hh:mm:ss","c-host","c-ip","s-url","c-response" |
データ行（2行目以降）のフィールドの説明
CSV形式ログファイルの場合
フィールド | 意味 |
|---|---|
"server" | Webサーバ名 |
"yyyy/mm/dd" | サーバがリクエストの処理を完了した日付
|
"hh:mm:ss" | サーバがリクエストの処理を完了した時刻
|
"c-host" | クライアントのホスト名 |
"c-ip" | クライアントのIPアドレス |
"s-method" | クライアントがサーバへリクエストしたメソッド |
"s-protocol" | クライアントがサーバへリクエストしたプロトコル |
"s-host" | クライアントがサーバへリクエストしたホスト名 |
"s-ip" | クライアントがサーバへリクエストしたホストのIPアドレス |
"s-path" | クライアントがサーバへリクエストしたファイルパス |
"s-status" | サーバがクライアントへ送信したステータスコード |
"r-status" | リモートサーバがサーバへ送信したステータスコード |
"s-byte" | サーバがクライアントへ送信したバイト数 |
"r-byte" | リモートサーバがサーバへ送信したバイト数 |
"l-url" | リンク元URL |
"c-agent" | クライアントがサーバへ送信したUser-Agentリクエストヘッダの内容 |
"s-elaps" | サーバがリクエストの処理に要した時間（ミリ秒） |
"c-cookie-id" | Cookieに定義されているアクセスID |
"c-user" | クライアントの認証ユーザ名 |
CSV形式拡張ログファイルの場合
フィールド | 意味 |
|---|---|
"server" | Webサーバ名 |
"yyyy/mm/dd" | サーバがリクエストの処理を完了した日付
|
"hh:mm:ss" | サーバがリクエストの処理を完了した時刻
|
"c-host" | クライアントのホスト名 |
"s-url" | クライアントがサーバへリクエストしたHTML文書へのパス |
"c-response" | レスポンス時間。単位はミリ秒。 |
以下の条件の場合で容量概算例を示します。これを参考にCSV形式ログファイルを出力する期間などを当てはめて容量見積りを行ってください。
■条件
データ種別 | 訪問情報 |
|---|---|
1行あたりのサイズ | 約250バイト （クライアント名やURL名の長さによって増減します。） |
アクセス回数 | 約1万件／日 |
■1日分の最大サイズ概算
約250バイト× 約1万件 ＝ 約2.5メガバイト（／1日分）
CSV形式ログファイルは、被管理サーバのログ情報を管理サーバに転送し、管理サーバ側で分析を行う場合に作成されますが、管理サーバ側に転送され、利用状況DBへの登録が完了するとこのファイルは不要となります。
管理サーバ側の利用状況DBに登録され、不要となったCSV形式ログファイルの削除方法について、以下に説明します。なお、CSV形式ログファイルの削除に際しては、利用状況DBの破壊等のトラブルに対処するため、必要に応じて、CSV形式ログファイルをバックアップしてください。
■削除可能なCSV形式ログファイル
管理サーバ側に転送され、利用状況DBに登録されたCSV形式ログファイルが削除対象となります。
なお、被管理サーバ側と管理サーバ側の両方のファイルが削除対象となります。
削除対象となるファイルは以下のとおりです。
dbyyyymmdd_nnn.csv
eyyyymmdd_nnn.csv
dbyyyymmdd.index
eyyyymmdd.index
注意
dbyyyymmdd.index、及び、eyyyymmdd.indexは被管理サーバ側のみ格納されています。
削除対象ファイルの格納場所は、以下のとおりとなります。
【Windows版】
<可変ファイル格納ディレクトリ>\database\csv\サーバディレクトリ\ |
<可変ファイル格納ディレクトリ>\database\csv\サーバディレクトリ\Server_Csv_Backup\ |
<可変ファイル格納ディレクトリ>\database\csv\サーバディレクトリ\Extend_Csv_Backup\ |
【UNIX版】
/var/opt/FJSVssqc/database/csv/サーバディレクトリ/ |
/var/opt/FJSVssqc/database/csv/サーバディレクトリ/Server_Csv_Backup/ |
/var/opt/FJSVssqc/database/csv/サーバディレクトリ/Extend_Csv_Backup/ |
注意
サーバディレクトリは、利用状況DB環境定義ファイルの分析対象サーバ定義ブロックのSymbolで指定した名前になります。
■CSV形式ログファイルの削除条件
以下の条件を満たしたCSV形式ログファイルのみ削除を行ってください。
管理サーバ側
以下のディレクトリに格納されているログファイルをエディタで開き、それぞれの分析対象のサーバにエラーがない場合、CSV形式ログファイルが格納されているディレクトリ内に格納された、最新の日付の3日前(サーバの実稼働日)までの日付のファイルを削除対象とします。
注意
もし、エラーがある場合は、削除を行わないでください。
【Windows版】
<可変ファイル格納ディレクトリ>\log\dbreg.log |
【UNIX版】
/var/opt/FJSVssqc/log/dbreg.log |
被管理サーバ側
管理サーバのCSV形式ログファイルが格納されているディレクトリ内に転送されているファイルを確認し、最新の日付の3日前(サーバの実稼働日)までの日付のファイルを削除対象とします。
参照
各CSV形式ログファイルの日付の見方については、「15.2.6.1 CSV形式ログファイルの形式」の「■格納先とファイル名」を参照してください。
注意
CSV形式ログファイルの削除を行うときは、以下のプロセスが起動していないことを確認してください。
【Windows版】
dbregmng.exe |
dbreg.exe |
【UNIX版】
dbregmng |
dbreg |
不要なCSV形式ログファイルを自動削除する
すでに管理サーバ側に転送され、利用状況DBに登録されており、不要となったCSV形式ログファイルを自動で削除したい場合があります。
不要なCSV形式ログファイルを自動で削除するには、削除用のバッチファイル（またはシェルスクリプト）を作成し、スケジューラ機能で動作させます。
スケジューラ機能としては、以下に示すようなOSの標準機能を使用したり、Systemwalker Operation Managerなどのようなスケジュール機能を持つ製品を導入し、使用することができます。
OS標準のスケジュール機能
【Windows版】
ATコマンド
【UNIX版】
cronコマンド
