Sharethrough、Snowflakeと分析パイプラインの適正化によるパフォーマンスの向上
FivetranとSnowflakeの導入により、Sharethroughは分析用のパイプラインを適正化し、パフォーマンスを向上させました。
Sharethroughについて
Sharethroughは、Time Inc.、Wenner Media、Scripps Networks Interactive、Thought Catalog、Warner Bros.、USA Today Sportsなどの大手グローバルパブリッシャーが、ネイティブ広告の収益化を実現するために必要とされるあらゆる事柄を適切に管理するために使用する、最大の独立したネイティブ広告プラットフォームです。毎月30億を超えるネイティブ広告のインプレッションが、Sharethrough Exchangeを介してこれらのトップパブリッシャーのフィードに配信されています。
ネイティブ広告を、単なるバナー広告のように見せるだけではなく、ブランド自身が積極的に自らのブランドを連想させることに尽力することでブランド向上に影響を与え、獲得したユーザーから強い関心を集めることを可能としています。世界の50大ブランドのうち49ブランド(米マイクロソフト社、米インテル社、米コナグラ社をはじめとする多くの有名企業)を含む主要なブランドの広告主は、Sharethroughのネイティブ広告購入プラットフォームであるSharethrough for Advertisers(SFA)を利用してパブリッシャーサイトでコンテンツを宣伝しています。
Sharethroughのネイティブ広告は、配置場所を問わず、周囲のコンテンツの形式や機能に適合してます。広告を利用しているユーザーの行動や体験を理解することが、同社のビジネスモデルの重要な根幹となります。その分析は、ウェブサイトのパフォーマンス、コンテンツのレンダリング方法、広告の視聴体験を改善するために何ができるかに焦点を当てています。
課題：複雑なパイプライン、限られた分析の成功
MySQL上で構築されたSharethroughのデータ分析環境にはセマンティック層がなく、そのためにパフォーマンスが低下し、容量が限界に達していました。分析用データの取得は、非常に複雑な手動での操作を余儀なくされていました。
データベースからデータを取り出し、通常のレポート作成するのに30分はかかっていました。
Sharethroughでは、特定のレベルで複数の新しいテーブルを作成することを余儀なくされました。テーブルが大きくなり、スキーマが複雑になるにつれて、すべてのユーザーがデータウェアハウスの基礎となるスキーマを理解しなければならなくなりました。「データが物理的にどのように構築されているかについて、ビジネス・ユーザーには考えさせたくはありません。」と、アナリティクス部門の責任者を務めるJoseph Bates氏は述べています。
解決策：迅速な分析のために生データを活用
Sharethroughが最初に行った取り組みのひとつは、MySQLへの依存をやめることでした。Snowflakeは、生のJSONログのようなWebサイトのアクティビティをすべてAmazon S3から直接取得し、前処理なしで直接Snowflakeに取り込むことを可能にしました。これによりSharethroughはSparkをバイパスし、直接S3にアクセスしてログを取得できるようになりました。
そしてFivetranを使用することで、Sharethroughはさまざまなデータソースを簡単にロードできるようになり、抽出とロード処理をさらに強化しました。
例えば、SharethroughはSaaSアプリケーション、マーケティングアプリケーション、SalesForce.comからSnowflakeにデータを簡単に移動できるようになり、アナリストが必要とするビューを迅速に作成できるようになりました。
今日、SharethroughはFivetranを介して4つの異なるデータソースを接続し、それらのすべてのデータを2時間以内に同期しています。
SharethroughはSnowflakeを通じて40TBの複合データを処理し、データを一時的な場所に保存する手間をなくすことでコストを削減しています。「FivetranとSnowflakeによるデータへの直接アクセスの増加は、生産性に大きな違いをもたらした。」とBates氏は言います。
「私たちは14からなるソリューションを使っていましたが、AWS、Snowflake、Fivetran、MicroStrategyという4つのスタックを1人で管理できるようになりました。」—Joseph Bates氏（Sharethrough分析部門責任者）
少ないリソースで高パフォーマンスの分析を実現
「SnowflakeとFivetranのインターフェースは信じられないほど簡単に使用できます」とBates氏は言います。Snowflakeの内部では、JSON列を1回クリックするだけで、適切に解析されフォーマット化されたデータが、すぐに使える形で取得できます。「データストリームの新しいフィールドに対するユーザーリクエストに数秒で対応できるため、アーキテクチャーに関する作業は一切必要ありません。」
SnowflakeとFivetranの実装は非常に簡単であることがわかった。フルタイムのスタッフがたった1人でも、Sharethroughは40TBもの複合データを持つ、全く新しいデータウェアハウスを数週間で立ち上げ、データソースに接続することができました。しかもデータベース管理のための特別なスキルやコンサルタントやエンジニアチームは必要ありませんでした。
「作業に際して人手を確保していたのですが、SnowflakeとFivetranはこの仕事に最適なツールであったため、不要となりました」とBates氏は言いました。
ビジネス・ユーザーが複雑なデータを利用できるようにする
エンジニアやプロダクトチームはSnowflakeを直接利用していますが、SharethroughはMicroStrategyを導入して、非技術系ユーザーにもデータを利用できるようにしました。MicroStrategyではSnowflakeを通じてクエリを生成する方法が非常に洗練されています。新しいテクノロジースタックにより、Sharethroughは、迅速な分析と意思決定のために、MicroStrategyを通じてビジネスユーザーに新しいテストデータと本番データを即座に届けています。
「以前は1か月かかっていたものが、今では数時間に」 Bates氏
Sharethroughでは毎日500から1200のレポートを発行しているが、その平均作成時間は4秒未満、平均クエリサイズは700MBです。チームは現在、独自の視覚化をモデル化する動的ダッシュボードがあります。Bates氏によると、追加されたデータ型とセマンティックレイヤーが配置されると、クエリの複雑さにより、より有益で詳細な分析が可能になるとのことです。「SnowflakeとFivetranといいったインフラストラクチャの強力なサポートに加え、MicroStrategyのような非常に洗練された強力な製品をすべての上に載せることができるのは非常にクールです。」Sharethroughは、このソリューション全体をエンドユーザー合計30,000人以上の広告購入者に提供することを検討している。
結果：短いスタックで高性能
通常、週末に保存して実行するクエリは、30秒で実行され、SQLでは4つのラインでかかります。この短いスタックにより、Sharethroughは分析を2,000倍高速に実行します。「より詳細なデータを含む複雑なジョブや、集約、重複除外、高い頻度レベルの分析を実現するジョブのパフォーマンスには非常に満足しています。」とBates氏は言います。
「MySQLで実行するのに45分かかっていたレポートが、Snowflakeでは0.5秒でした。」
Sharethroughではアナリティクスのスタックが14テクノロジーだったのが、たったの4つのテクノロジー(AWS、Snowflake Computing、Fivetran、MicroStrategy)にまで適正化しました。
解析結果サマリー
パフォーマンスが従来の2,000倍に向上
分析スタックを14のソリューションから4つのソリューションに削減
1人のスタッフによる環境管理の簡素化
無限に拡張可能なデータウェアハウスを運用する
すべてのテクノロジーをクラウド・サービスに変換して低コストの拡張性を実現！
