Fivetran紹介
日本でもデータドリブンマーケティングが主流になってきましたね。
社内でサイロ化しているデータを活用しようと、データウェアハウスを用意し、データを一元管理しようとしている企業が増えています。
各データをデータウェアハウスに接続しようとした際に、検討するデータパイプラインツールも様々なものがありますが、その中で弊社が扱っているFivetranを今回はご紹介します。
Fivetranはデータの抽出とロードを自動化してくれるツールです。
従来はそれぞれのデータ毎にバッチファイルを作成する必要があり、ツール毎に専門知識が必要でした。
Fivetranはその部分を担ってくれます。
データの変換部分はデータウェアハウスに統合した後に、SQLや各種ツールで実行するというELTの思想に基づいたツールになっています。
なので、操作がとてもシンプルです。エンジニアの負担を大きく減らしてくれるでしょう。
エンジニアのリソースをあまりさけないという会社にマッチするツールだと思います。
さっそくFivetranの操作について、紹介いたします。
大きく分けて以下の3ステップで設定が完了します。
・Step1 DWHを設定する
・Step2 コネクターを設定する
・Step3 詳細設定をする
前提条件： DWHを用意する
データを集めるための DATA WAREHOUSE を用意してください。
Redshift でも、BigQueryでも良いです。
Fivetran が対応している DATA WARWHOUSE については以下を参照してください。
https://fivetran.com/docs/warehouses
Step1： DWHを設定する
Action1 : ” +WAREHOUSE ” ボタンをクリックします。
Action2 : WAREHOUSE名を入力後 ” ADD WAREHOUSE ” ボタンをクリックします。
Action3 : “I already have a warehouse” を選択します。
Action4 : 前提条件で用意したWARE HOUSE を選択します。
本手順ではBigQueryを選択します。
Action5 : BigQuery の Project ID を入力します。
Action6 : BigQuery のホワイトリストに Fivetran のアカウントを追加します。
- BigQuery のコンソールを開き、 ” IAM と管理 ” をクリックします。
- IAM 欄で ” 追加 ” ボタンをクリックします。
- ” 新しいメンバー ” 欄に Fivetran のアカウントを入力します。
- ” 役割 ” 欄で ” BigQuery 管理者 ” を選択し、保存します。
Action7 : データのロケーションを選択します。
BigQuery のロケーションを選択してください。
Action8 : デフォルトのタイムゾーンを設定します。
ここでは ” UTC ” を設定しています。
Action9 : Fivetran のリージョンを設定します。
Action10 : Save & Test ボタンをクリックします。
Action 11 : ” VIEW WAREHOUSE ” ボタンをクリックします。
これでWARE HOUSE の設定は完了です。
Step2 : コネクタを設定する
Action1 : 左メニューの ” connectors ” をクリックします。
Action2 : ” +CONNECTOR ” ボタンをクリックします。
Action3 : 接続したいデータベースを選択します。
本手順ではGoogle Cloud MySQLに接続します。
接続可能なデータベース一覧は下記を参照してください。
https://fivetran.com/docs/databases
Action4 : データベースのスキーマ名を入力します。
自由に決めて大丈夫です。わかりやすいものをつけてください。
Action5 : 接続情報を入力します。
・Host名は Google SQLコンソールの概要欄を参照してください。
・Port はMySQLなので、デフォルトは3306です。ポート指定してある場合はそちらを入力してください。
Action6 : 接続方法を選択します。
本手順では直接接続にしています。
Action7 : ” SAVE & TEST ” ボタンをクリックします。
接続途中で証明書選択ポップアップが出る場合は、証明書を選択して続行してください。
Action8 : ” VIEW CONNECTOR ” ボタンをクリックする
これでコネクタの接続は完了です。
Step3 : 詳細設定をする
Action1 : コネクターの Shemaタブを表示する
Action2 : WARE HOUSE に同期するデータベース、テーブル、カラムを選択する
デフォルトで全データベース、テーブル、カラムにチェックが入っているので、同期したくないデータのチェックを外してください。
Action3 : 同期タイミングと通知の設定をする
コネクター画面の Setup タブで設定ができます。
Sync Frequency で同期タイミングが選択できます。最短5分で最長24時間毎で設定できます。
Delay Notification で同期失敗時の通知を設定ができます。最短5分で最長24時間後に通知が飛ぶように設定ができます。
確認ができるタイミングに設定してください。
Action4 : 同期を開始する
コネクター画面右上の ” PAUSED ” ボタンをクリックにして ” ENABLED ” にしてください。
これですべての設定が完了です。
特に専門的な知識も必要なく、簡単に設定ができます。
初回同期時には全データを同期しますが、次回からは差分更新となりますので、データソース側にも負担がかからないように設計されています。
とにかく全データを WARE HOUSE に集めて、それからデータ設計をしたいという場合に効果を発揮します。
もっと詳細が知りたいという方には、伺ってデモをお見せすることもできますので、ご一報ください。
contact@fbpp.jp
