Fivetran × GoogleCloudStorage
オンプレミス環境のデータ連携の選択肢として、ストレージにアップしてからDWHへ連携するという使い方をすることもあると思います。
Fivetranはストレージとの連携も用意されています。
AWSであればS3、GCPであればGoogleCloudStorageと連携することが可能です。
接続方法
- コネクタの一覧からGoogle Cloud Storageを選択します。
- Destination schemaを入力します。これはBigQueryのデータセット名に使われます。
- Destination tableを入力します。これはテーブル名に使われます。
- Cloud StorageでFivetranに権限を付与します。
まずDestination tableを入力した欄の下に自動で生成されたFivetranのe-mailアドレスがあるので、それをコピーします。 - 次にGoogle Cloud Storageコンソールを開き、接続するバケットのメニューからバケットの権限を編集を選択します。
メンバー追加で手順4でコピーしたe-mailアドレスを追加し、Storageオブジェクト閲覧者の権限を付与します。 - Backet名欄に接続するBacket名を入力します。
- File typeにBacketに格納されているファイル形式を指定します。
- Save & Test ボタンをクリックします。
- FivetranのConector設定画面で同期開始をすると同期されます。
セキュリティの観点からどうしても直接接続連携できないデータなどは、ストレージを経由して連携してみてはいかがでしょうか。