クラウドデータプラットフォームの可観測性の構築 - TechRepublic

クラウドは、企業にデータを最大限に活用する機会を提供します。クラウドでは、より多くのソースからより多くのデータが流入し、企業はそれらのデータを活用してイノベーションを促進できます。企業は、データを最大限に活用するために、データパイプラインに可観測性を構築することを優先する必要があります。

データパイプラインの効果的な可観測性は、価値あるデータを提供するプロセスが健全かつ適切に稼働していることを保証し、事業継続性と競争優位性の向上に貢献します。そのため、ビジネス上の意思決定にデータを利用する消費者のために、プロセスが質の高いデータをタイムリーに生成しているかどうかを重視する必要があります。

今日のクラウドベースの世界では、企業はデータから迅速かつ容易に最大限の価値を引き出そうと努めており、そのため、データに基づく意思決定には観測性が重要になります。

クラウドは可観測性の必要性を変えた

クラウドインフラはニーズに応じて拡張されるため、堅牢な可観測性が不可欠です。拡張性が高まると、プロセスが途中で失敗する可能性も高まるため、データを追跡するには、回復力の高いデータプロセスを構築する必要があります。クラウドベースの企業は、今こそ障害に対する可観測性の構築を検討する必要があります。

クラウドコンピューティングは、データ処理と実際のデータをより密接に連携させる機能ももたらしました。これは主に、クラウドで利用可能なコンピューティング能力の向上による変革です。クラウドデータプラットフォーム内でのデータ処理が増加するにつれて、これらのプロセスを監視するための効果的な可観測性ソリューションの必要性がますます高まっています。

クラウドはデータ空間の進化にも影響を与えており、データアナリストやエンジニアにとって新たな課題をもたらすことがよくあります。従来はテストに使用されていたサンドボックス環境が一般的になり、その結果、新たなデータプロセスが爆発的に増加し、監視と観測性の向上が求められています。

本番環境の拡大に伴い、厳格なプロセス管理およびアクセス管理プロトコルの必要性が高まっています。クラウドの動的な性質上、機密データへのアクセスを承認されたユーザーのみに限定する、堅牢で自動化されたガバナンスが不可欠です。データがパイプラインから本番環境へと移行する際には、エラーを防止し、データの整合性を確保するために、各ステップを監視・制御する必要があり、効果的な可観測性ソリューションの必要性が高まっています。

組織にとって可観測性は重要

データ可観測性は、データプロセスのパフォーマンスと健全性に関する可視性を確保します。これは、データ処理ワークフローとパイプラインの状態をほぼリアルタイムで追跡、監視、把握する能力です。可観測性により、ビジネスニーズに対応するために実行されているプロセスが最適に動作していることが保証され、情報に基づいた意思決定に必要な洞察が生成されます。これは、データアナリストやエンジニアから、データドリブンな洞察の最終消費者まで、組織内のさまざまな関係者にメリットをもたらします。

• アナリスト：可観測性は、データ品質のコントロールをデータアナリスト自身に委ねることで、データアナリストの能力を高めます。これにより、アナリストは独自のデータパイプラインと機械学習モデルを構築できます。作成したモデルを監視することで、これらのプロセスが正しく機能し、価値ある洞察を提供していることを確認できます。この環境において、アナリストは単に受動的なデータ消費者ではなく、データライフサイクルに積極的に参加することで、データドリブンな意思決定が促進されるエコシステムを構築します。
• エンジニア：データエンジニアは、インフラストラクチャの堅牢性と信頼性を監視することで、データの可観測性の恩恵を受けます。可観測性ツールは、システムに関するリアルタイムのインサイトを提供し、問題が深刻化する前に迅速に特定し、対処するのに役立ちます。クラウドでは、インフラストラクチャはニーズに応じて拡張されるため、エンジニアが回復力のあるプロセスを構築するには、可観測性が不可欠です。
• 消費者：適切な可観測性は、データの最終消費者であるビジネス上の意思決定者に影響を与えます。信頼性、正確性、そしてタイムリーなデータは、情報に基づいたビジネス上の意思決定に不可欠です。データの可観測性は、データプロセスによって生成されるインサイトが信頼できるものであり、必要なときに利用できることを保証し、データとそれに基づく意思決定に対する信頼性を高めます。

クラウドの可観測性の構築

Capital OneのエンタープライズB2Bソフトウェア事業であるCapital One Softwareは、企業のSnowflake投資を最大限に活用するSaaS製品であるCapital One Slingshot向けに、独自の監視および可観測性ソリューションを設計・構築しました。SlingshotにおけるSnowflakeデータパイプラインの品質とパフォーマンスを維持するには、カスタム構築された可観測性ソリューションが必要でした。

Snowflakeが提供する基本リソースを活用し、この可観測性ソリューションは、検出、通知、対応という3段階のアプローチに基づいて構築されました。監視活動は、Snowflakeで実行されているデータ処理の全体的なパフォーマンスを測定し、異常を検出します。エラーが検出されると、影響を受けるすべての関係者に直ちに通知されます。「対応」は状況によって異なりますが、状況を迅速に是正するには、タイムリーな通知が不可欠です。この予測的なデータ監視アプローチにより、Capital One SoftwareはSnowflakeで実行されているデータ処理の円滑な運用を維持し、下流の処理を妨げる可能性のある中断を最小限に抑えることができます。

独自のクラウドベースのデータ パイプラインに可観測性を確保したい組織は、次の点に重点を置く必要があります。

• 監視とアラートの標準を定義する：全チームで共通して使用されるベースライン標準を策定し、個々のニーズに基づいてカスタマイズを推進します。また、全チームに適用される包括的な監視（一般的なプロセス障害やシステムへの不正アクセスなど）を適用します。
• 障害を予測し、備える：クラウドの不安定な性質を考慮すると、企業は堅牢で回復力のあるプロセスを設計する必要があります。障害発生時には、効率的なアラートシステムが関係者に適切なチャネルを通じて通知するようにしてください。これはタイムリーに行う必要があります。
• 自動化を進める一方で、人的要素も忘れてはいけません。迅速な問題解決を支援するために、一般的な修復アクションを自動化しましょう。ただし、人的介入が依然として必要となる状況に備えておきましょう。例えば、プロセスによっては、問題が発生した際にアナリストが対応する場合もありますし、大規模なアナリストコミュニティを対象としている場合は製品サポートチームが対応する場合もあります。

データエコシステムが進化するにつれ、より堅牢でカスタマイズ可能な監視およびアラートソリューションの必要性はますます高まっていくでしょう。企業は、データプロセスが信頼性が高く、タイムリーで実用的なインサイトを確実に提供できるよう、自社固有のニーズを満たすソリューションに投資する必要があります。データドリブンビジネスの世界では、組織は「盲目的に行動する」余裕はありません。ますます複雑化するデータ環境において、事業継続性と意思決定の効率性を確保するには、迅速な検知、通知、そして迅速な対応が不可欠です。