Google Cloud StorageのファイルをBigQueryテーブルで参照する

BigQueryテーブルでGoogle Cloud Storage(以下GCS)にあるファイルを参照するには、Google Cloudコンソール上でBigLakeテーブルを作成する必要があります。
本項ではBigLakeテーブルを作成し、Rtoaster insight+に連携する手順の概要を掲載しています。

BigLakeテーブル作成の詳細な手順は、Google Cloudのドキュメントをご参照ください。

事前準備

GCSのファイルをRtoaster insight+で参照するには以下の設定が必要です。

BigLakeテーブルの作成手順

Google Cloudコンソール上でBigLakeテーブルを作成します。

  1. テーブルを作成するデータセットを選択して「テーブルを作成」をクリックします
  2. 各項目の必要な設定を入力します
    • ソース
      • テーブルの作成元:Google Cloud Storage
      • 対象ファイル:任意
      • ファイル形式:対象ファイルの形式と同様の形式を選択
      • ソースデータパーティショニング:任意
        ※有効にする場合は適宜必要な設定を行なってください
    • 送信先
      • プロジェクト:デフォルト(テーブルを作成するデータセットのプロジェクト)
      • データセット:デフォルト(テーブルを作成するデータセット)
      • テーブル名:任意
      • テーブルタイプ:外部テーブル
      • Cloudリソース接続を使用してBigLakeテーブルを作成する:有効
      • 接続ID:BigLakeが接続タイプに含まれているものを選択
    • スキーマ
      • 自動検出:任意
  3. 「テーブルを作成」をクリックします

《スキーマの自動検出を有効にする場合》

  • 接続IDのサービスアカウントIDに対象GCSバケットの「Storageオブジェクト閲覧者」が付与されていることを確認してください
  • 接続IDのサービスアカウントIDは「外部接続」の該当接続IDで確認することができます

BigQueryテーブルの確認

Rtoaster insight+でテーブルの表示状況を確認します。

  • テーブル一覧のBigQueryテーブルで対象のデータセットを選択し、作成したBigLakeテーブルが表示されていることを確認します
  • 表示されない場合は、画面をリロードしてください