Fivetranがクラウドデータウェアハウスベンチマークをリリース

ETLおよびデータパイプライン企業のFivetranは、クラウドデータウェアハウスベンチマークレポートを発表しました。FivetranはBrooklyn Data Co.と提携し、主要クラウドデータウェアハウスベンダー5社を対象に、2020年以降に各社のプラットフォームがどのように変化し、改善してきたかを調査しました。

参照:求人内容: ETL/データ ウェアハウス開発者(TechRepublic Premium)

このレポートでは、このベンチマーク調査の要点をまとめ、Fivetran がデータ ウェアハウスの競合他社の中で特定した差別化要因のいくつかを紹介します。

ジャンプ先:

• Fivetranとは何ですか？
• Fivetranのクラウドデータウェアハウスベンチマークに関する概要
• クラウド データ ウェアハウス ベンチマークの結果
• どのクラウド データ ウェアハウスを選択すべきでしょうか?

Fivetranとは何ですか？

Fivetranは、多くのETLおよびデータ移行プロジェクトをサポートするクラウドベースのデータパイプラインソリューションです。ユーザーに提供する主なメリットの一つは、メンテナンスがほとんど不要で、ソースシステムの変更にも容易に対応できる複数の高速コネクタです。これらのコネクタは多様なデータソースに対応しており、データ統合プロジェクトを簡素化できます。

Fivetran の他の製品とソリューションは次のとおりです。

• SaaS アプリのデータ複製のサポート
• データベースの複製と移行機能
• 事前に構築された変換ソリューション
• 組み込みデータ接続
• ソースから宛先までのセキュリティ、プライバシー、ガバナンスソリューション

Fivetranは幅広いビジネスデータプロジェクトをサポートできますが、特にマーケティング、営業、財務分析のユースケースに重点を置いています。Fivetranは、AWSとAmazon Redshift、Microsoft AzureとSynapse、Databricks、Google CloudとBigQuery、Snowflake Data Cloudとシームレスに連携します。

Fivetranのクラウドデータウェアハウスベンチマークに関する概要

この最新のFivetranベンチマークは、クラウドデータウェアハウス分野の主要企業数社を比較分析しています。Fivetranが実行したクエリ、評価対象ベンダー、そして測定したパフォーマンス指標に関する重要な詳細を以下に示します。

• Fivetran は、5 つのデータ ウェアハウスの速度とコストの比較分析を実施しました。
• この調査で取り上げられている主なデータ ウェアハウスは、Amazon Redshift、Snowflake、Google BigQuery、Databricks、Azure Synapse です。
• Fivetranによる本調査の評価は、多くのマーケティングおよびセールスデータプラットフォームに重点を置いた、典型的なFivetranユーザーに基づいています。Fivetranによると、これらのユーザーは通常、複雑ではあるものの、データ量の少ないデータソースを扱っています。
• 使用されたデータセットには、1 TB 規模の 24 個のテーブルが含まれていました。テーブルには仮想小売業者のデータが含まれており、最大のテーブルには 40 億行が含まれています。
• これらの結果を得るために、2022 年 5 月から 10 月の間に 99 件のクエリが実行されました。
• 各ウェアハウスは 3 つの異なる構成でクエリされました。標準構成は Fivetran のテーブルで 1X で表され、0.5X はその計算能力の半分の結果を表し、2X はその計算能力の 2 倍の結果を表します。

クラウド データ ウェアハウス ベンチマークの結果

クラウド・データウェアハウス・ベンチマークは、データウェアハウスのパフォーマンスとユーザーが求めているものに関する重要なデータを生み出しました。本レポートの要約では、コスト、速度、そして前年比の改善に関する重要なポイントに主に焦点を当てます。

コストとスピード

これらのデータウェアハウスソリューションのコストは、特にコストパフォーマンス比で評価した場合、比較的似ています。また、多くのツールが1～2秒以内に結果を提供し、データを変更するため、速度もほぼ同じです。

参照:データ ウェアハウスにおけるデータ品質のベスト プラクティス(TechRepublic)

Fivetran の調査によると、これらの各ソリューションを 1X レベルで比較すると次のようになります。

• BigQuery は最もコストが高く、2 番目に遅いソリューションです。
• Synapse は 2 番目にコストが高く、最も遅いソリューションです。
• Redshift は、コストが 3 番目に高く、速度が 2 番目に速いソリューションです。
• Snowflake は、コストが 4 番目に高く、速度が速いソリューションです。
• Databricks は、コストが最も低く、3 番目に高速なソリューションです。

これらのソリューションはすべて、1倍レベルでは数セントと数秒の差でパフォーマンスが向上。0.5倍レベルのソリューションのほとんどはほぼ同じ範囲内に留まったのに対し、Azure Synapseは0.5倍のコンピューティングパワーで大幅に速度が低下する点に注目すべきです。

前年比の改善

このレポートで取り上げられている各ベンダーは、2020年から2022年の間に、特に処理時間においてパフォーマンスの向上を実現しました。調査結果の簡単な概要は次のとおりです。

• Databricks は2020 年にはこのグループの他の競合他社よりもはるかに遅かったものの、それ以降はここに挙げた他のどのベンダーよりも進歩を遂げ、現在ではこのグループの中で 3 位につけていますが、これは SQL 実行エンジンの書き換えに関連していると考えられます。
• このチャートでは、 SnowflakeがRedshiftを上回り最速かつ最高のパフォーマンスを誇るベンダーとなっていますが、両者の数字は依然として非常に近いです。
• BigQuery は、このセクションでレビューした 4 つの競合製品の中で最も遅いですが、それでも他の 4 つの製品と非常に近いペースを維持しています。
• Synapse はFivetran のパフォーマンス改善ベンチマークではレビューされませんでした。

どのクラウド データ ウェアハウスを選択すべきでしょうか?

Fivetranがこの調査から導き出した主な結論は、これらのクラウドデータウェアハウスソリューションの中には、パフォーマンス速度やコストが若干優れているものもあるものの、いずれも比較的近いペースで推移しているということです。言い換えれば、この調査結果には「悪い」データウェアハウスの選択肢は存在しないということです。

参照:クラウド データ ウェアハウス ガイドとチェックリスト(TechRepublic Premium)

では、あなたのビジネスにはどのクラウドデータウェアハウスを選ぶべきでしょうか？それは、扱うデータの種類と量、データチームの専門知識、そして企業がこの種のデータ管理ソリューションに投資する意思がある総額によって決まります。

次に読む: 2022年のベストETLツールとソフトウェア(TechRepublic)

こちらもご覧ください

• 最高のデータ復旧ソフトウェア
• データサイエンティストになる方法：チートシート
• 採用キット: データアーキテクト
• ビッグデータ：さらに読むべき記事