ロジャース＆ハマースタインの『王様と私』で、王様は「私」に、蜂は常に花から花へと飛び回るが、花は決して蜂から蜂へとは飛び回らないと説明します。この言い訳はアンナ夫人には通用しませんでしたが、アプリケーションとデータの関係に当てはめると納得できます。データはアプリケーションからアプリケーションへと飛び回るべきでしょうか、それとも花のようにじっとそこに留まり、アプリケーションがそれ自身の条件でデータに近づくようにするべきでしょうか？
カナダ政府の認可を受けたばかりのオープンスタンダードとして策定された新しいフレームワークにより、データがしっかりと定着しています。
ジャンプ先:
- ゼロコピー統合とは何ですか?
- ゼロデータ統合のメリット
- ゼロコピー統合はAPI駆動型データサイロの排除を目指します
- ゼロコピーフレームワークによるセキュリティ
- ゼロコピー統合は LA 地下鉄の夢でしょうか?
- 運用中の象とチーターが同じデータレイクから水を飲む
- 企業は簡素化を図るのか、それとも「混沌を受け入れる」のか？
- アプリケーションからデータを解放する
ゼロコピー統合とは何ですか?
ゼロコピー統合は、カナダの共同データ企業Cinchyが推進する取り組みです。Cinchyは、エンタープライズソフトウェアAPI統合のパラダイムを、全く新しいモデル（同社ではデータウェアと呼ぶ）で覆すことを目指しています。このモデルは、データの効率的なルートを維持しながら、エンタープライズソフトウェア統合プロセスから複雑さとデータの冗長性を排除します。
ゼロデータ統合のメリット
ゼロコピー統合とデータウェアの支持者は、このフレームワークにより、データストレージのコストが削減され、IT チームのパフォーマンスが向上し、データのプライバシーとセキュリティが向上し、次のようなイノベーションを通じて公衆衛生、社会調査、オープンバンキング、持続可能性のためのシステムのイノベーションが促進されると主張しています。
- アプリケーションの開発と強化。
- 予測分析。
- デジタルツイン。
- 顧客 360 テクノロジー。
- 人工知能と機械学習。
- ワークフローの自動化。
- レガシーシステムの近代化。
参照: ビッグデータ vs. 適切なデータ: クラウドで生産性を向上 (TechRepublic)
火曜日、カナダのデジタル ガバナンス カウンシルと Cinchy が設立した非営利のデータ コラボレーション アライアンスは、カナダ規格協議会が承認した国家規格である CAN/CIOSC 100-9、データ ガバナンス - パート 9: ゼロ コピー統合をオープン スタンダードとして公開すると発表した。
この発表とカナダのデジタルガバナンス評議会の詳細については、TechRepublic の記事をご覧ください。
ゼロコピー統合はAPI駆動型データサイロの排除を目指します
CinchyのCEO、ダン・デマーズ氏によると、このフレームワークの基本的な考え方は、データのコピーと複雑なアプリ固有のコーディングによるブランディングを伴う標準的なAPIベースのデータ統合ではなく、アクセスベースのデータ連携を用いることで、アプリケーションデータのサイロ化を排除することを目指しているという。これは、データ層に設定されるアクセス制御によって実現される。また、以下の要素も含まれる。
- 集中型チームではなく、データ製品と連合管理によるデータ ガバナンス。
- 複雑なコードよりも「データ中心性」とアクティブ メタデータを優先します。
- モノリシック設計よりもソリューションのモジュール性を優先します。
このイニシアチブによれば、ゼロコピー統合の実行可能なプロジェクトには、新しいアプリケーションの開発、予測分析、デジタルツイン、顧客の360度ビュー、AI/MLの運用化とワークフローの自動化、さらにレガシーシステムの近代化とSaaSアプリケーションの強化が含まれる。
この規格の技術委員会メンバーでもあるデマーズ氏は、データに革命を起こすと約束している。
「複雑性が増す世界では、ある時点で崖から落ちてしまうことがあります。ですから、私たちは今、簡素化革命の始まりにいると考えています」と彼は述べた。「実際、データはますます中央集権化しており、それを共有する方法はAPIやETLです。これはコピーの作成を伴い、複雑さとコストを大幅に増大させます。これは地球上のあらゆる複雑な組織のITキャパシティの半分に相当し、年々コストは増加しています。」
さらに懸念されるのは、コピーが生成されるたびに、ある程度の制御が失われることだ、と彼は述べた。
「もし私が銀行を経営していて、1000個のアプリケーションがあり、それらすべてが顧客の何らかの情報とやり取りする必要があり、そのやり取りによってその情報をコピーしているとしたら、その顧客の情報が1000個もコピーされることになります」とデマーズ氏は述べた。「どうすればそれを保護できるのでしょうか？」
参照: 組織のデータガバナンスチェックリスト (TechRepublic Premium)
ゼロコピーフレームワークによるセキュリティ
データの所有権を規定する法律は、組織や政府によるデータの利用方法を制限しているが、それはあくまで法律であり、体系的な規制ではないとデマーズ氏は指摘する。ゼロデータ統合の議論、そしてカナダが原則的にこの枠組みを採用した理由の重要な点は、アクセスと制御を制限することでデータセキュリティの確保が容易になるという点である。
「ゼロコピーは、データ自体に制御を埋め込むことができるため、パラダイムシフトです」とデマーズ氏は述べた。「コピーベースではなくアクセスベースであるため、アクセスを許可したり取り消したりできます。一方、コピーは永久に保持されるため、誰がコピーを保有しているかをすぐに把握できなくなります。また、組織がコピーを入手した際に何をするかを制限しようとすると、困難になります。」
Cinchyは、データウェアハウス、データレイク、そしてレイクハウスを、分析と運用ソフトウェアの両方を実現できるリポジトリへと変革する「データファブリックアーキテクチャ」を目指しています。これにより、アプリケーションはCinchyにアクセスでき、データのコピーをアプリケーションウォールドガーデンに持ち帰る必要がなくなります。
デマーズ氏は、ストレージとデータ パイプラインの費用と、企業がホストする数百または数千のアプリによって生成されるデータの反復管理に IT 部門が費やす時間の両方の理由で、コピーの作成と保管にはコストがかかると主張しました。
「データのコピーにはストレージが必要です。コピーの作成と同期には、ストレージだけでなく、コンピューティングも消費します」と彼は述べた。「現在、銀行内のサーバーで実行されているプロセスのほとんどは、データのコピーの移動と調整であり、これがエネルギー消費に相当します。」
彼は、データのコピーや移動はエラーの発生につながる可能性があると付け加えた。データパイプラインで接続された2つのシステムが同期しなくなると、データが失われたり破損したりし、データ品質が低下する可能性がある。すべてのシステムで共通して使用されるデータのコピーが1つあれば、異なるコンテキストでレコードの表示が異なる可能性はなくなる。
ゼロコピー統合は LA 地下鉄の夢でしょうか?
Salesforce の MuleSoft の最高技術責任者である Matt McLarty 氏は、データ複製が永遠の問題であることに同意しています。
「データの複製ではなく、意味的に同等なデータが異なる場所に存在することです」と彼は語った。
彼はそれをロサンゼルスと地下鉄のようなものだとみなしている。原理的には素晴らしいアイデアだが、ロサンゼルスを取り壊して公共交通機関を中心に再建しようとする人は誰もいないだろう。
「これは大きな問題であると同時に、避けられない現実でもあります」と彼は述べた。「問題提起としては確かにそうですが、Salesforce Genieを含め、この分野にはエコシステム全体に広く分散している顧客データをいかに活用するかを専門とするソフトウェアが複数存在すると言えるでしょう。」
参照：調査：企業は1,000以上のアプリを保有しているが、統合されているのは3分の1のみ（TechRepublic）
運用の象と分析のシマウマが同じデータレイクから水を飲む
マクラティ氏によると、ほとんどの企業は、目的が重ならないものの、別々に管理する必要がある2つの膨大なデータ領域、すなわち運用データと分析データを保有している。運用データはモバイルバンキングなどのユーザー向けアプリケーションで利用され、分析データは運用活動の流れからデータを取り出し、ビジネス分析やインテリジェンスに活用される。
「処理の違いから、これまで両者は別々に存在してきました」と彼は述べた。「運用面では高速かつ大規模な処理が求められ、分析面では少人数の社内グループが膨大な数値を処理せざるを得ないのです。」
デマーズ氏は、データウェアの機能は、とりわけ「オペレーショナル・データ・ファブリック」を組み込むことだと説明した。これにより、外部データソースから「データセット・ネットワーク」に基づくアーキテクチャへの統合が「最終段階」となり、無限のビジネスモデルを駆動できるようになると彼は述べた。
「一度作成されると、これらのモデルはメタデータベースのエクスペリエンスとしてすぐに運用化したり、API として公開してローコードやプロコードの UX デザインを強化したりすることができます」と彼は述べ、新しいデータベースを立ち上げたり、ポイントツーポイントのデータ統合を実行したり、アプリ固有のデータ保護を設定したりする必要がなくなると付け加えました。
「データウェア技術に関連するもう1つの中核概念は『協調的インテリジェンス』です。これは、ユーザーと接続されたシステムがデータセット ネットワーク内の情報を同時に充実させることで生み出されます」と彼は述べています。
デマーズ氏は、所有者からデータセットへのアクセスを許可されたユーザーには、「データブラウザ」と呼ばれるインターフェースが提供され、「セルフサービス体験」が提供されると述べた。
「原理的には、これはGoogleドキュメントに少し似ています。複数の同僚がホワイトペーパーや事業提案書を共同で作成し、ソフトウェアが自動的に文法の提案を行い、役割、権限、バージョン管理、バックアップを管理します」と彼は述べた。
デマーズ氏は、最終結果として、チームが即座にクエリを実行して無制限のダッシュボード、360 ビュー、その他の分析プロジェクトを強化できる、超強化され、自動的に保護されたデータが得られると付け加えた。
企業は簡素化を図るのか、それとも「混沌を受け入れる」のか？
ある推計によると、企業は「混沌を受け入れる」という道を歩み、エンタープライズデータフレームワークが複雑でLAのような状態が続くことを認めつつ、新たなアプローチを模索している。これには、データメッシュフレームワークや、異なる種類のデータを統合するモデルを作成する自動化システム、機械学習システムなどが含まれる。
「今、データの世界における最大の変化は、分析と運用という二つの世界が衝突しつつあることだと考えています」とマクラーティ氏は述べた。「ビッグデータと機械学習の潮流によって、今まさにデータに基づくコーディング、つまりデータを使ってコードを記述し、データを取り込み、そのデータに基づいて機械学習モデルを作成し、それをアプリケーションに組み込むという流れが生まれています。」
DeMers 氏は、データウェア パラダイムによってデータ メッシュの概念が実現可能になると述べました。
「組織内のすべてのデータセットを単一のチームで管理することを要求すると、確実にデータガバナンスは失敗に終わります」と彼は述べた。
また、データ中心の組織では、データ スチュワードは組織図の粒度を反映する必要があるとも主張しました。
「データドメインとデータ製品を中心に組織化された連合データガバナンスへのこのアプローチはデータメッシュであり、より機敏な企業を確立する上で重要な役割を果たします」とデマーズ氏は述べた。
データ サイロでは、無制限のポイントツーポイント データ統合が行われるため、これが困難になります。
アプリケーションからデータを解放する
Dropbox の元最高情報責任者である Sylvie Veilleux 氏は、データ サイロはサービスとしてのソフトウェア エコシステムの基本的な部分であるが、それはデータウェアで解決できる問題であると述べています。
「すべてのアプリは特定の独自の目的を解決しており、ますます専門化が進んでいます」と彼女は述べた。「SaaSの導入が進むにつれて、企業がツールにアクセスする方法という点では健全な状況ですが、大企業では100、1000、あるいはそれ以上のデータサイロが継続的に生み出されています。データアプリケーションに対する考え方を根本的に変えるアプローチを取らない限り、この数は増え続けるでしょう。」
彼女は、データウェアとゼロデータ統合により、企業はアプリをネットワークデータソースに接続することで余分なデータ統合を排除できると述べました。
「データがアプリケーションに捕らわれている状態から、ネットワーク上に保持される状態へとプロセスを転換することで、ユーザーの共同作業を可能にし、企業がデータにリアルタイムでアクセスできるようにすることで、私たちの働き方が変わります」と Veilleux 氏は語りました。
データリポジトリのクラウドへの移行はコラボレーションの促進に役立ち、企業の柔軟性向上とコスト削減につながりますが、セキュリティと脅威への対応はどうなるでしょうか？ 企業所有情報の整合性とプライバシーを確保するための安全なクラウドデータ管理を実現するのに役立つガイドラインを含む、TechRepublic Premiumのポリシーをダウンロードしてください。
