2015年5月に発表されたガートナー社の調査によると、Hadoopの企業導入率は26%です。しかし、これは高いのでしょうか、低いのでしょうか？良いことでしょうか、悪いことでしょうか？
ZDNetのビッグデータコラムニストであり、Datameerのエバンジェリストでもあるアンドリュー・ブラスト氏によると、これは「大きな導入数」だそうです。彼はZDNetの記事で、「Hadoopは専門家向けのツールであり、エンタープライズ向けではない」ため、もっと低い数字を予想していただろうと述べています。（ZDNetとTechRepublicはCBS Interactiveの所有物です。）
メールの質疑応答で、企業がこの状況をどのように変えられるかBrust氏に尋ねたところ、彼は「Hadoopをエンタープライズツールにするために企業ができることは、ユーザーが直接触れるコンポーネントとしてではなく、Hadoopが本来の目的であるエンジンとして組み込むことです。そこにセキュリティ、ガバナンス、コストベースの最適化といった機能を追加すれば、エンタープライズ環境への適応性ははるかに高まります」と答えました。
ビッグデータ分析企業Datameerは、ガバナンスに重点を置いています。それがビッグデータの導入とどのように関係するかを尋ねられた際、同氏は「ガバナンスは企業にとって必須条件であり、ビッグデータに限った話ではありません。ほとんどの企業顧客は様々な規制に対応しなければならず、コンプライアンス遵守を支援できないツールはほとんど役に立ちません」と説明しました。
また、この Q&A で、Brust 氏は、Datameer が最近開始したビッグデータ ガバナンス機能、技術伝道師としての情熱的な問題、およびデータ民主化に関する見解についても話しました。
TechRepublic：ガートナーは昨年5月、リサーチサークル会員を対象とした調査を発表し、ビッグデータ導入率が26%と「低い」水準にあることを示しました。あなたは姉妹誌ZDNetで、Hadoopが「専門家のツール」であることを考えると、この数字は好ましいと評しています。あなたが言うところのエンタープライズツールへとビッグデータを進化させるために、企業は何ができるでしょうか？
Andrew Brust:そうですね。Hadoopのような、まだ導入の初期段階にあるものにとって、26という数字は非常に大きな数字だと思います。先ほど述べたHadoopを取り巻く複雑さを考慮すると、ガートナー社の調査結果は否定的なものではなく、肯定的なものです。ガートナー社もそのことを認識していると思います。彼らは、誇大宣伝が現実を上回っていると述べてきましたが、同時にHadoopは誇大宣伝のサイクルを過ぎており、今後は良いことしか残されていないとも述べています。企業がHadoopをエンタープライズツールとして活用するには、ユーザーが直接触れるコンポーネントとしてではなく、Hadoopが本来の目的であるエンジンとして組み込むことが重要です。そこにセキュリティ、ガバナンス、コストベースの最適化といった機能を追加すれば、エンタープライズ環境への適合性は格段に高まります。
TechRepublic:企業におけるビッグデータの使用に関するもう 1 つの質問: ビッグデータの採用を拡大するには、なぜガバナンスが問題になるのでしょうか?
アンドリュー・ブラスト：ガバナンスは、ビッグデータに限らず、企業にとって必須の要件です。BIの世界は、ロールベースのセキュリティ、リネージ、監査、マスターデータ管理など、長年にわたりガバナンスに対応してきました。ほとんどの企業顧客は規制に対応しており、コンプライアンスを遵守できないツールはほぼ役に立ちません。ビッグデータの世界がこれらの要件をこれほど長らく無視してきたことは、率直に言って衝撃的でした。このギャップはついに埋められつつあります。問題は、ガバナンスが必要かどうかではなく、なぜこれほど時間がかかったのかということです。
TechRepublic:その点に関して、今夏発表されたデータ ガバナンス機能は、Datameer の顧客にとってどのようなメリットがありますか?
アンドリュー・ブラスト：メリットは非常に大きいです。実際、データとアクセスに関するロールベースのセキュリティなど、発表済みの機能の一部は、既に製品に実装されています。しかし、監査や他のガバナンスシステムとの統合に使用できるリネージツールとリスナーベースのAPIは、非常に大きなメリットをもたらします。リネージグラフは、Datameer内でのデータの流れを視覚的に表示する、非常に便利なツールです。また、Datameer内で行われるほぼすべての操作はAPI経由で送信されるため、外部システムにも認識され、Datameerは新興のHadoopガバナンスエコシステムに完全に参加できるようになります。さらに、どのような外部テクノロジーが主流になっても、Datameerのアーキテクチャはこうした参加を保証します。
TechRepublic:技術伝道師として、ビッグデータ分野において最も強く情熱を感じている課題は何ですか?
アンドリュー・ブラスト：私の最大の懸念は、エコシステムの現在の複雑さです。そして、その複雑さを緩和するあらゆることに、私は強い情熱を注いでいます。Hadoop自体は複雑ですが、Sparkのような新興技術によってさらに複雑になっています。開発者はそれを歓迎するかもしれませんが、ビジネスユーザー、さらにはエンタープライズ開発者は、より生産性の高い環境を必要としています。Datameerは、その簡素化に注力しており、他の企業も同様です。私たちは、もっと簡素化を進めたいと思っています。
TechRepublic:今後 2 ～ 3 年間のビッグデータ イノベーションを考えると、企業が最も認識しておく必要がある潜在的な変化は何でしょうか。
Andrew Brust:そうですね、実行エンジンの分野では多くのイノベーションが起こっています。Sparkは大きな注目を集めています。Flinkも控えています。ストリーミングシステムは成熟しつつあり、NiFiのような新しいApacheプロジェクトが登場しています。状況は不安定で、企業はこれらの新しいエンジンの「ハードウェアに近い」動作を実現できるだけでなく、エンジンと全体的な不安定さを抽象化して、適切な技術の組み合わせを詰め込むのではなく、目の前の分析タスクに集中できる製品を求めています。
TechRepublic： Datameerは4,000万ドルの資金調達ラウンドに関する最近のプレスリリースで、「データ民主化」をグローバルに展開すると言及しました。Datameerのミッションとアナリティクスユーザーにとっての意味の両面から、この表現をどのように定義されますか？
アンドリュー・ブラスト：私にとって民主化とは、技術を、技術職だけでなくビジネス職のユーザーを含む、より幅広いユーザー層にとってよりアクセスしやすく、そして何よりも楽しく使えるものにすることです。例えば、セルフサービスBIのムーブメントはまさにそれを目指したものでした。しかし皮肉なことに、Hadoop単体では真のセルフサービス機能だけでなく、セルフサービス以前のエンタープライズBIのような使いやすささえも欠いています。この問題を解決することが、Datameerの長年の目標でした。コマンドラインツールやシェルスクリプトは、技術者がビッグデータを扱う際に好んで使う手段であり、特定のタスクにどの実行エンジンを使うべきかを考えるのも楽しいかもしれません。しかし、エンタープライズ顧客が求めているのは、はるかに進化し、自動化され、ワークフローに適合し、エンジンの選択を自動化し、ビジネス指向のユーザーインターフェースを提供するものなのです。ビッグデータの民主化とは、まさにそれを実現することです。
TechRepublic:個人的な話ですが、Datameer の伝道者および技術製品マーケティング担当者としてのあなた自身の役割と使命をどのように定義していますか?
アンドリュー・ブラスト：ビッグデータ技術はまだ新しいものです。何ができるのか、そしてどのような機能が使いにくく、あるいは使いやすくするのかを理解するのは容易ではありません。私の仕事は、そうした点を明確にし、専門家の専門用語を使わずに理解してもらうことです。そうすることで、お客様は基盤となる技術の可能性を理解し、その可能性を阻む可能性のある障害を回避する方法を知ることができます。
注: TechRepublic、ZDNet、Tech Pro Research は CBS Interactive の所有物です。
