Fivetran紹介

最終更新日

日本でもデータドリブンマーケティングが主流になってきましたね。
社内でサイロ化しているデータを活用しようと、データウェアハウスを用意し、データを一元管理しようとしている企業が増えています。
各データをデータウェアハウスに接続しようとした際に、検討するデータパイプラインツールも様々なものがありますが、その中で弊社が扱っているFivetranを今回はご紹介します。

Fivetranはデータの抽出とロードを自動化してくれるツールです。
従来はそれぞれのデータ毎にバッチファイルを作成する必要があり、ツール毎に専門知識が必要でした。
Fivetranはその部分を担ってくれます。

データの変換部分はデータウェアハウスに統合した後に、SQLや各種ツールで実行するというELTの思想に基づいたツールになっています。

なので、操作がとてもシンプルです。エンジニアの負担を大きく減らしてくれるでしょう。
エンジニアのリソースをあまりさけないという会社にマッチするツールだと思います。

さっそくFivetranの操作について、紹介いたします。
大きく分けて以下の3ステップで設定が完了します。
 ・Step1 DWHを設定する
 ・Step2 コネクターを設定する
 ・Step3 詳細設定をする

前提条件: DWHを用意する

データを集めるための DATA WAREHOUSE を用意してください。
Redshift でも、BigQueryでも良いです。
Fivetran が対応している DATA WARWHOUSE については以下を参照してください。
https://fivetran.com/docs/warehouses

Step1: DWHを設定する

Action1 : ” +WAREHOUSE ” ボタンをクリックします。

Action2 : WAREHOUSE名を入力後 ” ADD WAREHOUSE ” ボタンをクリックします。

Action3 : “I already have a warehouse” を選択します。

Action4 : 前提条件で用意したWARE HOUSE を選択します。

本手順ではBigQueryを選択します。

Action5 : BigQuery の Project ID を入力します。

Action6 : BigQuery のホワイトリストに Fivetran のアカウントを追加します。

  1. BigQuery のコンソールを開き、 ” IAM と管理 ” をクリックします。
  2. IAM 欄で ” 追加 ” ボタンをクリックします。
  3. ” 新しいメンバー ” 欄に Fivetran のアカウントを入力します。
  4. ” 役割 ” 欄で ” BigQuery 管理者 ” を選択し、保存します。
※アカウントは WARE HOUSE 設定のたびに変わります。

Action7 : データのロケーションを選択します。

BigQuery のロケーションを選択してください。

Action8 : デフォルトのタイムゾーンを設定します。

ここでは ” UTC ” を設定しています。

Action9 : Fivetran のリージョンを設定します。

Action10 : Save & Test ボタンをクリックします。

Action 11 : ” VIEW WAREHOUSE ” ボタンをクリックします。

これでWARE HOUSE の設定は完了です。

Step2 : コネクタを設定する

Action1 : 左メニューの ” connectors ” をクリックします。

Action2 : ” +CONNECTOR ” ボタンをクリックします。

Action3 : 接続したいデータベースを選択します。

本手順ではGoogle Cloud MySQLに接続します。
接続可能なデータベース一覧は下記を参照してください。
https://fivetran.com/docs/databases

Action4 : データベースのスキーマ名を入力します。

自由に決めて大丈夫です。わかりやすいものをつけてください。

Action5 : 接続情報を入力します。

・Host名は Google SQLコンソールの概要欄を参照してください。
・Port はMySQLなので、デフォルトは3306です。ポート指定してある場合はそちらを入力してください。

Action6 : 接続方法を選択します。

本手順では直接接続にしています。

Action7 : ” SAVE & TEST ” ボタンをクリックします。

接続途中で証明書選択ポップアップが出る場合は、証明書を選択して続行してください。

Action8 : ” VIEW CONNECTOR ” ボタンをクリックする

これでコネクタの接続は完了です。

Step3 : 詳細設定をする

Action1 : コネクターの Shemaタブを表示する

Action2 : WARE HOUSE に同期するデータベース、テーブル、カラムを選択する

デフォルトで全データベース、テーブル、カラムにチェックが入っているので、同期したくないデータのチェックを外してください。

Action3 : 同期タイミングと通知の設定をする

コネクター画面の Setup タブで設定ができます。
Sync Frequency で同期タイミングが選択できます。最短5分で最長24時間毎で設定できます。

Delay Notification で同期失敗時の通知を設定ができます。最短5分で最長24時間後に通知が飛ぶように設定ができます。
確認ができるタイミングに設定してください。

Action4 : 同期を開始する

コネクター画面右上の ” PAUSED ” ボタンをクリックにして ” ENABLED ” にしてください。
これですべての設定が完了です。

特に専門的な知識も必要なく、簡単に設定ができます。
初回同期時には全データを同期しますが、次回からは差分更新となりますので、データソース側にも負担がかからないように設計されています。

とにかく全データを WARE HOUSE に集めて、それからデータ設計をしたいという場合に効果を発揮します。
もっと詳細が知りたいという方には、伺ってデモをお見せすることもできますので、ご一報ください。

contact@fbpp.jp

Yuzuru Seto