Fivetranが自動データ変換のためdbtと統合しました。
Fivetranはデータの前処理であるELT(Extruct(抽出)、Load(ロード)、Transform(変換))の内、E(抽出)とL(ロード)を主にサポートするツールです。
今回dbtと連携することによりT(変換)の部分についてもサポートできるようになりました。
まずdbtについてご紹介しましょう。
公式サイトは以下になります。Googleで検索してもすぐにはヒットしないので、少し探しづらいです。。。
dbtはデータ変換を効率よく実施できるツールです。
その変換方法としては、SQLのSELECT文を書いて変換を実施します。欲しいデータの形をSELECT文で定義してあげると、その形のテーブルを作成してくれます。
実際の使い方については、別記事で後日掲載します。
FivetranでもTransformの部分について、簡単なデータ変換ができる機能は搭載されていたのですが、今回dbtと連携することで、データセットのクリーニング、テスト、変換、モデリング、および文書化を調整して、データをすぐに分析できるようになります。
ジョブの設定もdbtでできますので、ETLすべてをより細かく制御できるようになります。
dbtの特徴として、Fivetran同様にELT思想、つまりデータを抽出(E)し、DWHへロード(L)してからDWH側で変換(T)をします。
なので、変換の処理にDWHの強力なパワーを利用できるということです。
FivetranでE(抽出)、L(ロード)を担当し、dbtでT(変換)をするので、とても相性が良いです。
現在はベータ版ですが、試用期間中でも試すことができますので、ぜひ体験してみてください。
FivetranのFree trialは以下から
https://fivetran.com/
