企業のデータ活用を加速する新しい選択肢 ～ モダンデータスタックで始めるデータ変革 ～

モダンデータスタックを構成するツールは多岐にわたりますが、当社では中でも「Fivetran」と「dbt」の2製品を中心に、導入や活用を支援しています。いずれもデータ収集および加工の領域を担う代表的な製品であり、モダンデータスタックの中核を支える存在です。
以下では、それぞれの特長と活用のポイントについてご紹介します。

Fivetranについて

Fivetran社が提供するSaaS型のプラットフォーム製品で、あらゆるデータを迅速に集めてロードすることを目的として発展しました。
Fivetranは主にELTのL（ロード）の領域を担う製品となっていますが、dbtと連携してT(トランスフォーメーション)の領域を行うことも可能です。

製品の特長としては、主に以下が挙げられます。

① 700種類を超える豊富なコネクタを用意
様々なデータソース（例：SaaSアプリ、データベース、クラウドストレージなど）に対応できるよう豊富なコネクタが提供されており、シンプルな手順で迅速にデータ連携の設定を行うことが可能です。
また、ノーコードで設定が行えるためエンジニア以外の方も設定がしやすく、開発コストの削減や開発効率の向上が期待できます。

② データソース側の変更・更新に対する自動対応
データソース側でカラム追加やデータの追加・更新などが発生した際に、Fivetranが自動で検知して連携先へ反映を行います。
ユーザーとしては最初にコネクタを設定する必要はありますが、1度コネクタの設定を行いデータ連携を開始すれば、任意の連携頻度で対象となるデータを自動で連携し続けてくれるため、運用負荷は大幅に軽減されます。

③ MAR（Monthly Active Rows）ベースでの料金体系
Fivetranは、データ連携されたユニークな主キーの行数が課金対象となる、MAR（Monthly Active Rows）をベースとした料金体系となっています。
1か月の中で、データ連携されるユニークな主キーの行が新規で発生するたびにMARがカウントされ、月末のMAR数値によってその月の料金が確定します。
なお、当該月の中で同じ主キーの行を何度更新しても、MARとしては重複してカウントされません。 そのため、連携頻度が高い場合に、同じ行が何度も更新される度にMARが加算され、追加課金の対象になってしまう、といった事がない点は安心できるポイントです。
また、Fivetranのコンソール上でMARをリアルタイムに把握できるため、コストの把握や利用状況の調整を行うことができます。

dbtについて

dbt Labs社が提供するSaaS型のプラットフォーム製品で、ELTのT(トランスフォーメーション)の領域を担う、モダンデータスタックの中心的ポジションとなるような製品です。

製品の特長としては、主に以下が挙げられます。

① 加工処理開発をSelect文だけで実現
dbtは、SQLのSelect文のみで「モデル」と呼ばれるデータ加工処理の単位を開発できるため、Pythonなどのプログラミング言語を使用することなく加工処理開発が可能です。
また、SQLで開発が可能なため、幅広いエンジニアに対応が可能で開発効率の向上が期待できます。
さらに、Macro・Jinja機能を活用することで、共通するSQL処理をテンプレート化し複数のモデル間で再利用できるため、保守性の向上や属人化の防止にもつながります。

② モデルの依存関係の自動管理
refと呼ばれる機能によって、モデル同士の処理の依存関係を明示的に定義することが可能です。
例えば、Aというモデルを先行して実行し、Aの実行完了後にBというモデルの実行を開始する。といった依存関係の構築が可能です。
また、依存関係を自動で可視化してくれるため、ユーザーはモデル同士の依存関係を簡単に把握することができます。

③ データ品質を一元管理
データ品質を維持するためのデータテスト機能によって、dbtで加工処理したデータの品質を容易かつ迅速にチェック・担保することが可能です。
また、source freshnessと呼ばれる機能を利用することで、データの更新状態を定期的に監視し、データ鮮度を把握することが可能となります。