【AWS re:invent2023】パクのセッション振り返り_その１

バックエンド/インフラ担当のパクです。

先日、アメリカのレスベカスで開催されたAWS re:invent 2023に現地参加してきました。個人的には初めてのアメリカ、初めてのre:Inventだったため、驚きの連続でした！滅多にないre:Invent現地参加ですので、参加したセッションの内容を振り返り、まとめたいと思います。

How Netflix saved millions in Amazon S3 costs using S3 Storage Lens

あらゆる場所からのあらゆる量のデータを保存および取得するために構築されたオブジェクトストレージサービス、S3はストレージを使用した分のみ支払います。

そこで、私は世界規模でサービスを提供しているNetflixさんは、S3に格納されているオブジェクトとコストをどのように管理しているのかが気になりましたので、このセッションに参加してみました。

このセッションでは、S3 Storage Lensの概要が説明され、NetflixさんがS3 Storage Lensを導入する前後の比較が紹介されました。 Netflixさんはどのようにして効果的にコストを管理し、S3の利用に関する最適な戦略を構築しているのか、その内容をご紹介します。

S3を利用する際、皆さんが頻繁に抱くであろう疑問点が最初に挙げられました。

バケットの伸びの何パーセントが、どのプレフィックスに起因しているか？

ストレージはどのように使われているのか？

コストを最適化するには？

ストレージクラス間の配分は？

ストレージの増加とアクセスパターンを結びつけるには？

30日間にアクセスされたオブジェクトの割合は？

サービスの規模に関係なく、みんな同じ課題で悩んでいるんだな〜と感じました。

NetflixさんはStorage Lensを導入する前、主に以下のサービスとEC2インスタンスを利用してレポートを作成してきたそうです。

S3 access logs
Object inventory report
AWS Cost and Usage Reports

ただし、この手法にはセットアップやメンテナンスなどいくつかの欠点が生じていました。

そのため、Netflixさんはこれらの欠点を解消するためにStorage Lensを導入し始めたそうです。

Amazon S3 Storage Lens

S3ストレージレンズは、オブジェクトストレージの使用状況とアクティビティの傾向を組織全体で可視化します。また、コストを最適化し、データ保護のベストプラクティスを適用するための、実用的なレコメンデーションを作成します。 S3ストレージレンズは、組織内の数百から数千のアカウント全体での、オブジェクトストレージの使用状況とアクティビティを 1 つのビューに表示できる、最初のクラウドストレージ分析ソリューションです。複数の集計レベルで詳細なインサイトが提供されます。

Storage Lensを導入してから、以下の運用改善が実現されたと発表されました。

50PB(ペタバイト)の旧バージョンオブジェクトの重複スナップショットの保持を解除しました。
アクセスパターンの分析結果から、80％以上が「コールド」データであることが判明し、データ所有者がS3 Intelligent-Tieringを有効にできるようにしました。
プリフィックスレベルの成長が90日間で25PB増加していましたが、データ所有者がintermediate objectのクリーンアップ処理にバグを発見できるようになりました。