ページの先頭行へ戻る
Data Analytics Smarter Hub V1.1.0 導入・運用・保守ガイド
FUJITSU Software

5.8 データレイクの操作 (dashadm datalake)

機能説明

データレイクを操作するコマンドです。

形式

dashadm datalake register -type s3 -name <データレイク名> [-samluse {on|off}] [-fastcheck {on|off}]
          -awsregion <リージョン名> -bucket <バケット名 [-path <パス名>] [-guest {user|none}]
dashadm datalake register -type smb -name <データレイク名> [-fastcheck {on|off}]-uncpath <UNCパス>
          [-domain <SMBサーバーのドメイン名>] [-guest {user|none}]
dashadm datalake register -type hdfs -name <データレイク名> [-fastcheck {on|off}] -uri <HDFSデフォルトファイルシステムのURI>
dashadm datalake modify -id <データレイクID> [-name <データレイク名>] [-samluse {on|off}] [-fastcheck {on|off}] 
          [-crawler {user|password}] [-guest {user|password|none}]
dashadm datalake show 
dashadm datalake unregister -id <データレイクID>

ポイント

Amazon S3データレイクの場合
  • CrawlerのアクセスキーID、シークレットアクセスキーを対話形式で入力します。

    1.4.2 データレイク、データベースのユーザーの設計」を参照してください。

  • DASH username、password(Web UIにログインするための管理者権限をもつユーザー名、パスワード)を対話形式で入力します。

    1.4.3 本製品のWeb UIを操作する管理ユーザーの設計」を参照してください。

    ユーザーの認証方式によって指定の仕方が異なります。

    • 外部認証を利用し、ADユーザーにマッピングされたAmazon IAMロールの権限でアクセス(SAML連携)する場合

      # dashadm datalake register -type s3 -name <データレイク名> -samluse on [-fastcheck {on|off}] -awsregion <リージョン名> -bucket <バケット名> [-path <パス名>] [-guest {user|none}]
    • Active Directory連携せずに、ユーザーの固有情報を利用しアクセスする場合

      # dashadm datalake register -type s3 -name <データレイク名> -samluse off [-fastcheck {on|off}] -awsregion <リージョン名> -bucket <バケット名> [-path <パス名>] [-guest {user|none}]

      ユーザー固有の個人認証情報は、Web UIでユーザーごとに設定します。「操作ガイド」の「4.4.3 ユーザーに対する操作」を参照してください。

      なお、Active Directory連携したユーザーに個別認証情報を設定することで、個別に設定した認証情報を優先的に使用します。

      Active Directory連携していない、かつ、ユーザー固有の認証情報をもっていないユーザーをアクセスさせたい場合、共通の認証情報を -guest user オプションとして登録します。登録することで、AD連携したユーザーではない、ユーザー固有の認証情報を設定していないユーザーは、共通の認証情報でアクセスできます。

SMB データレイクの場合
  • UNCパスを指定する場合、区切り文字にバックスラッシュ("\") (注)を指定してエスケープする必要があります。

    注: OS環境によっては、表示上は半角円マークになることがありますが、バックスラッシュとして扱われます。

  • Crawlerのユーザー名、パスワードを対話形式で入力します。

    1.4.2 データレイク、データベースのユーザーの設計」を参照してください。

  • DASH username、password(Web UIにログインするための管理者権限をもつユーザー名、パスワード)を対話形式で入力します。

    1.4.3 本製品のWeb UIを操作する管理ユーザーの設計」を参照してください。

    ユーザーの認証方式によって指定の仕方が異なります。

    • 外部認証を利用し、Active Directory連携したユーザーでアクセスする場合

      # dashadm datalake register -type smb -name <データレイク名> [-fastcheck {on|off}] -uncpath <UNCパス> -domain <SMBサーバーのドメイン名> [-guest {user|none}]
    • Active Directory連携せずに、ユーザーの固有情報を利用しアクセスする場合

      # dashadm datalake register -type smb -name <データレイク名> [-fastcheck {on|off}] -uncpath <UNCパス> [-guest {user|none}]

      ユーザー固有の個人認証情報は、Web UIでユーザーごとに設定します。「操作ガイド」の「4.4.3 ユーザーに対する操作」を参照してください。

      なお、Active Directory連携したユーザーに個別認証情報を設定することで、個別に設定した認証情報を優先的に使用します。

      Active Directory連携していない、かつ、ユーザー固有の認証情報をもっていないユーザーをアクセスさせたい場合、共通の認証情報を -guest user オプションとして登録します。登録することで、AD連携したユーザーではない、ユーザー固有の認証情報を設定していないユーザーは、共通の認証情報でアクセスできます。

HDFS データレイクの場合
本製品の管理者のユーザー名、パスワードを対話形式で入力します。

サブコマンド

register
データレイクを登録します。
modify
データレイクの設定を変更します。
show
データレイクの一覧を表示します。
unregister
データレイクの登録を解除します。

オプション

-type {s3|smb|hdfs}

データレイクの種別を指定します。

  • s3: Amazon S3
  • smb: SMB
  • hdfs: HDFS
-name <データレイク名>

データレイクの名前を指定します。

半角英数字、エクスクラメーションマーク("!")、丸括弧"()"、アンダースコア("_")、ハイフン("-")、シングルクォーテーション(')で構成された32文字以内の文字列を指定します。

-awsregion <リージョン名>

Amazon S3のリージョン名を指定します。-type s3の場合に指定が必要です。

-samluse {on|off}

SAML連携の有効、無効を指定します。

登録(register)時に本オプションを省略した場合は、有効(on)です。

設定変更(modify)時に本オプションを省略した場合は、現在の設定値(on または off)を変更しません。

-fastcheck {on|off}

検索権限チェック高速化の使用有無を指定します。

登録(register)時に本オプションを省略した場合は、無効(off)です。

設定変更(modify)時に本オプションを省略した場合は、現在の設定値(on または off)を変更しません。

注意

本オプションを有効にした場合、検索結果の最初に出てきたアイテムの権限チェック結果を後続のアイテムに適用し 権限チェックを高速化します。

そのため本オプションを有効にしたデータレイクの一部のアイテムだけにアクセス権を持つユーザーに対し、 データレイクのすべてのメタデータを公開する可能性があります。

本オプションは全体に均一なアクセス権限が設定されているデータレイクで使用してください。

-bucket <バケット名>

Amazon S3のバケット名を指定します。-type s3の場合だけ指定できます。

-path <パス名>

データレイクのルートディレクトリーとするAmazon S3のフォルダーパス名を指定します。-type s3の場合だけ指定できます。

省略時は、"/"が指定されます。

Amazon S3バケットの dirA/ 配下を登録する場合、-path /dirA/と指定します。

-uncpath <UNCパス名>
  • UNCパス名を指定します。-type smbの場合だけ指定できます。
  • UNCパスを指定する場合、区切り文字にバックスラッシュ("\") (注) を指定してエスケープする必要があります。
  • 末尾のバックスラッシュ("\") (注)は、省略できます。
  • ディレクトリーを指定しない場合、ルートが設定されます。

注: OS環境によっては、表示上は半角円マークになることがありますが、バックスラッシュとして扱われます。

\\\\smb.example.com\\share\\directory\\

-uri <HDFSデフォルトファイルシステムのURI>
HDFSデフォルトファイルシステムのURIを指定します。-type hdfsの場合だけ指定できます。
-id <データレイクID>
データレイクのIDを指定します。IDは、dashadm datalake showコマンド実行時に表示されます。
-domain <SMBサーバーのドメイン名>
外部認証を利用し、Active Directory連携したユーザーでアクセスする場合に指定します。
-crawler {user|password}

SMB データレイクの操作では、Crawlerのユーザー名、またはパスワードを対話形式で入力します。

HDFS データレイクの操作では、本製品の管理者のユーザー名、パスワードを対話形式で入力します。

userを指定する場合、対話形式でユーザー名とパスワードを入力します。

passwordを指定する場合、対話形式でパスワードを入力します。

-guest {user|password|none}
  • Guestのユーザー名、またはパスワードを対話形式で入力します。

    省略した場合、Guestユーザーは設定しません。

    Amazon S3の場合、ユーザー名にGuestのアクセスキーID、パスワードにGuest用のシークレットアクセスキーを入力します。

  • userを指定する場合、対話形式でユーザー名とパスワードを入力します。
  • passwordを指定する場合、対話形式でパスワードを入力します。
  • noneを指定する場合、Guestのユーザーを無効化します。

表示内容

表 5.3 データレイクの一覧表示
項目 意味 説明
id データレイクのID

データレイク登録時に本製品が自動採番するIDです。

1から順に採番されます。

label データレイク名 登録時に指定したデータレイク名を表示します。
type

データレイクの種別

以下のどれかを表示します。

  • s3
  • smb
  • hdfs

各表示の意味は以下のとおりです。

  • s3: Amazon S3
  • smb: SMB
  • hdfs: HDFS
amazons3_uri Amazon S3データレイクのURI s3の場合だけ表示されます。
amazons3_saml_use SAML連携の有効無効表示 s3の場合だけ表示されます。
cifs_domain SMBサーバーのドメイン名 smbの場合だけ表示されます。
cifs_uncpath SMBサーバーのUNCパス smbの場合だけ表示されます。
hdfs_uri HDFSデフォルトファイルシステムのURI hdfsの場合だけ表示されます。
fast_check 検索権限チェック高速化の有効無効表示

検索権限チェック高速化の有効、無効を表示します。

  • true: 有効
  • false: 無効
crawler Crawlerユーザー情報

データレイクの種類に応じて、以下のように表示されます。

  • Amazon S3: アクセスキーID
  • SMB: ユーザー名
guest Guestユーザー情報

データレイクの種類に応じて、以下のように表示されます。

  • Amazon S3: アクセスキーID
  • SMB: ユーザー名