COVID-19パンデミックの発生後、テクノロジー分野の専門職の需要は一時的に低迷しましたが、その後再び増加しています。業界全体で人材不足が深刻な職種の一つが、データエンジニアです。膨大な量の情報を消費、処理、保存するために必要なインフラの構築を担うデータエンジニアは、求人件数だけでなく、業務を支援するツールも増加傾向にあります。
現在のデータエンジニアリングの求人市場
データエンジニアリングプロバイダーのDattellが2022年6月29日に発表したレポートでは、この職種の現在の市場状況について分析しています。調査結果をまとめるにあたり、Dattellは膨大な量のデータを収集・分析し、特定の技術と求人数を照らし合わせました。
データエンジニアの求人市場に注目し、ダッテル氏は34万件の求人情報を分析しました。そのうち、35%はデータオーケストレーション、30%はデータストレージ、29%はデータ可視化、6%はデータ処理の求人でした。
さらに、ダッテル氏はデータエンジニアが使用する言語を分析しました。Pythonが最も人気があり、雇用主が好む割合は38%でした。次いでJavaが33%、SQLが22%でした。これら3言語を合わせると、55万件の求人があります。
参照: 採用キット: データベースエンジニア (TechRepublic Premium)
さらに、データエンジニアリング職の給与は、初任給6万ドルから、より高度なポジションになると18万ドルまでと幅が広いです。Kubernetes、Elasticsearch、PostgreSQL、Terraformを扱う人材の給与が最も高く、14万ドル以上となっています。TableauやPower BIを扱う人材の求人も豊富ですが、そのほとんどが10万ドル未満です。
データエンジニアリング技術のトレンド
Dattellは調査の中で、最も人気のあるデータエンジニアリング技術トップ20をまとめ、Microsoft Power BI、Terraform、Chef、Spark、Elasticsearch、Hadoop、Kafkaなどのツールを挙げています。これらの製品は、データストレージ、データオーケストレーション、データ処理、データ可視化といった幅広い分野をサポートしており、データエンジニアリングにおいて単一の分野が他の分野を凌駕しているわけではないことを示しています。
Dattell の調査によると、最も人気のある 5 つのデータ エンジニアリング ツールは、データ ストレージ、データ オーケストレーション、データ視覚化テクノロジを網羅する MongoDB、Tableau、Kubernetes、PostgreSQL、Ansible です。
ツール別では、TableauとKubernetesが求人件数で上位を占めました。その他、Ansible、Hadoop、Terraform、Splunk、Power BI、MongoDB、PostgreSQLも求人件数が多かったツールです。
調査対象となったデータオーケストレーションツールの中で、Kubernetesが圧倒的なシェアを誇り、Ansibleがそれに続きます。両製品は同じ分野に属していますが、それぞれ用途が異なります。Kubernetesはコンテナの健全性管理と維持を専門的に行うのに対し、Ansibleは設定変更のデプロイやアップデート管理を専門的に行うことが可能です。
無料およびオープンソースツールの人気の高まり
ダッテル氏によると、無料製品がこれほど多く存在するため、企業はデータ処理ツールに費用を支払う必要性を感じていないという。その結果、企業はApache SparkやApache Kafkaといった主要ツールをはじめとする無料・オープンソース技術の専門知識を持つ従業員やコンサルタントを求めている。
例えば、データストレージ技術に関しては、雇用主の59%が有料ツールを好んでいますが、無料ツールを好む回答者も39%と依然として多くいます。Dattellが分析した最も人気のあるデータストレージ技術の中では、MongoDBが最も人気があり、次いでPostgreSQLが続いています。どちらも無料です。Elasticsearchなど、一部の製品には有料版と無料版の両方が用意されています。
