Fivetran × GoogleCloudStorage

オンプレミス環境のデータ連携の選択肢として、ストレージにアップしてからDWHへ連携するという使い方をすることもあると思います。
Fivetranはストレージとの連携も用意されています。
AWSであればS3、GCPであればGoogleCloudStorageと連携することが可能です。

接続方法

  1. コネクタの一覧からGoogle Cloud Storageを選択します。

  2. Destination schemaを入力します。これはBigQueryのデータセット名に使われます。
  3. Destination tableを入力します。これはテーブル名に使われます。
  4. Cloud StorageでFivetranに権限を付与します。
    まずDestination tableを入力した欄の下に自動で生成されたFivetranのe-mailアドレスがあるので、それをコピーします。
  5. 次にGoogle Cloud Storageコンソールを開き、接続するバケットのメニューからバケットの権限を編集を選択します。
    メンバー追加で手順4でコピーしたe-mailアドレスを追加し、Storageオブジェクト閲覧者の権限を付与します。
  6. Backet名欄に接続するBacket名を入力します。
  7. File typeにBacketに格納されているファイル形式を指定します。
  8. Save & Test ボタンをクリックします。
  9. FivetranのConector設定画面で同期開始をすると同期されます。

セキュリティの観点からどうしても直接接続連携できないデータなどは、ストレージを経由して連携してみてはいかがでしょうか。

Yuzuru Seto