引っ越しと同じように、データを梱包してクラウド間で移行するのはストレスの多い作業になる可能性があります。
しかし、音楽ストリーミングサービス Spotify のソフトウェア エンジニアとして、約 15 億のファイルを Amazon Web Services (AWS) から Google Cloud Storage に移行する作業を監督したばかりの Jyrki Pulliainen 氏は、思ったほど困難ではないと述べています。
Spotify は 3PB のデータを移行する際にいくつかの問題に遭遇しましたが、プロセスはここ数週間で大きな障害もなく完了しました。
ここでは、Google Cloud Platform へのより広範な移行の一環として、Spotify が AWS Simple Storage Service (S3) から Google Cloud Storage に移行した際に学んだことを紹介します。
1. インフラストラクチャが古いクラウドと密接に結合されているかどうかを確認する
Spotify は、A/B テストを支援するために、AWS S3 ストレージ バケットの名前をデータ キャッシュのキーの名前に組み込みました。
「バケットを移行する際に、これは悪い考えだとわかった」と Pulliainen 氏は語り、Spotify はキャッシュキーを更新している間、移行を一時停止しなければならなかったと付け加えた。
2. 予期せぬレイテンシの急増に注意する
移転の一環として、Spotify は顧客の大半が現在北米に居住していることから、アイルランドの AWS データセンターから Google の米国中部地域の施設にデータを移行した。
切り替え後、Spotify は一部の米国の顧客にデータを提供する際に予想よりも高いレイテンシーが発生して驚いた。
「ここで得られた教訓は、当社のプライベート キャパシティ ポイントの IP アドレスがストックホルムに登録されていたため、ファイルを取得するためにヨーロッパと米国中部を行き来していたということです」と、ロンドンで開催された Google Cloud Platform Next カンファレンスで同氏は述べた。
「ですから、このような行動をとる場合は、IP アドレスがどこに登録されているかを確認し、それに応じて変更するようにしてください。」
3. 新しいクラウドプロバイダーがCDNとどれだけうまく統合されているかを確認する
Spotify は、Fastly、Akamai、Verizon という 3 つの主要コンテンツ配信ネットワーク (CDN) プロバイダーを使用して、世界中のユーザーのために音楽をローカルにキャッシュします。
Spotify の CDN パートナーは Google Cloud Storage (GCS) のサポートを「すぐに使える」状態で提供していますが、いくつかの障害がありました。
Spotify にとってマイナスなのは、同社の CDN プロバイダーが、ユーザーのパスワードを知らなくてもサードパーティのサービスがオンライン アカウントにアクセスできるようにするトークン ベースの認証システムである OAuth を「実際にはサポートしていない」ことだ。
OAuthのサポートがあれば良かったのですが、CDNプロバイダー用に偽のGoogleアカウントを作成する必要がありました。私たちにとっても、IT部門にとっても、セキュリティにとっても面倒で、きめ細かなアクセス制御も難しくなります。
4. 引っ越し中に失くすものを確認する
各クラウドプロバイダーには長所と短所があるため、多少のギャップがあることを覚悟しておく必要があります。既存のクラウドプロバイダーに欠けている機能や、以前の選択肢に比べて劣っている機能があるかを確認しましょう。
「引っ越しが終わった今、私たちは全体的にとても幸せですが、将来に向けていくつか希望があります。
「現在米国中部地域のバケットで実行しているような、ヨーロッパのユーザーにわずかな遅延が発生する大陸間のレプリケーションを実現したいと考えています。
「理想的にはアジアにも別のバケットを持ちたいと思っています。現時点では、GCSでは大陸をまたいだレプリケーションは許可されていません。」
「また、S3 と比べてコールド リード レイテンシがわずかに低下していることも確認されています。朗報なのは、Google が近々改善を予定しており、私たちは Google と協力して 30 ミリ秒を削減したことです。
Pulliainen 氏は、Spotify の技術的アーキテクチャにより、これらの遅延はユーザーからは見えないはずだと付け加えた。
彼の具体的な不満の側面は、今週 Google が新しい Coldline および Multi-regional ストレージ層を導入したことで解決されたかもしれないが、ギャップを探すという彼の主張は依然として有効である。
5. 送金手続きがどれだけ簡単か確認する
企業が事前に確認すべき最も明白なことの 1 つは、古いクラウド プロバイダーと新しいクラウド プロバイダーの間でデータをコピーするためにどのようなツールが利用できるか、またそれらのツールがどの程度優れているかです。
Spotify は、音楽、カバー画像、メタデータなど約 15 億個のファイル、合計約 3 PB のデータを S3 と Google Cloud Storage 間で移動しました。
当然ながら、これだけの量のデータの移動には数週間かかったが、実際のプロセスは簡単だったとプリアイネン氏は語り、15億個のファイルの移動は「ちょっとUIをクリックするだけ」で、全体的な体験は「超シンプル」だったと述べた。
15億のファイルのうち144件は転送に失敗したが、プリアイネン氏によると、Googleは失われたファイルを追跡するのに1日もかからなかったという。
こちらもご覧ください
- Google Cloud Platform: 賢い人のためのガイド (TechRepublic)
- Google がクラウド ストレージの価格を値下げ、しかし企業にとって十分なのか? (TechRepublic)
- Google がクラウド ストレージを刷新、価格を過去最低水準に引き下げ (ZDNet)
- Google は当初のエンタープライズ クラウド戦略が間違っていたことを認め、なぜ別の方向に進んだのか (TechRepublic)
- Google Cloud Platform が大企業に進出、ディズニーなどが契約 (ZDNet)
- OneDrive、Dropbox、Google Drive、Box：あなたにぴったりのクラウドストレージサービスはどれ？（CNET）
