上級読了 4 分

DynamoDB のストレージ内部の仕組み

DynamoDB は 2 つのステップでデータを見つけます。 に対するハッシュがパーティションを選び、そのパーティションの中では B-tree がアイテムを の順に保ちます。

DynamoDB はどのようにデータを格納するのか?

パーティションキーのハッシュが、そのアイテムを所有するパーティションを選びます。各パーティションは 3 つのアベイラビリティーゾーンにある 3 つのレプリカのグループで、2022 年の USENIX ATC 論文 によれば、各レプリカはパーティションのアイテムを B-tree に保持します。

書き込みはパーティションのリーダーへ向かい、3 つのレプリカのうち 2 つがそれを持った時点で確認応答されます。

  • パーティションキーは検索されるのではなく、ハッシュ化される。 ハッシュがパーティション(大きなコレクションが分割された後は、複数のうちの 1 つ)を選びます。論文によれば、テーブルが大きくなってもレイテンシは横ばいのままです。
  • アイテムは B-tree にキー順で並ぶ。 1 つのパーティションキーの中では、アイテムはソートキーで順序付けられます(文字列なら UTF-8 バイト順、Number キーなら数値順)。これが、範囲読み取り(begins_with、between)が安価な理由です。
  • すべての書き込みは確認応答の前にクォーラムでコミットする。 リーダーは 2 つのピアに複製し、 3 つのレプリカのうち 2 つが書き込みを永続化した時点で確認応答します。
  • これがアクセスパターンのルールが存在する理由。 ハッシュしてから木、というのはキーで読むときにだけ高速です。キーがなければ、DynamoDB はすべてのパーティションを読まなければなりません。

API ではなく、データ構造から始める

SQL から来ると、テーブルをディスク上の行と、インデックスを選ぶクエリプランナーとして思い描きます。 DynamoDB にはプランナーがありません。ストレージのレイアウトこそが契約です。何が高速で何が落とし穴かは、どちらも 2 つの構造から導かれます。

分散マップを思い描きましょう。パーティションキーのハッシュが、どのパーティションがアイテムを保持するかを示します。そのパーティションの中では、B-tree がパーティションキーを共有するアイテムをまとめて、ソートキーの順に保ちます。

クエリのセマンティクス、LSI の 10 GB 上限、なぜキーがないと Scan を強いられるのかは、すべてそのレイアウトから導かれます。

パーティションキーをハッシュ化してパーティションを見つける

リクエストが到着すると、DynamoDB はパーティションキーの値に内部のハッシュ関数を適用します。

AWS が文書化しているのはここまでです: "The output value from the hash function determines the partition in which the item will be stored." そのパーティションは 3 つのストレージノード上の 3 つのレプリカであり、各ノードは多数のパーティションのレプリカをホストしています。

ハッシュがどうパーティションに対応付けられるかは内部の話です。

ATC '22 論文は、ルーターが参照するキャッシュされたパーティションマップについて述べており、テーブルがメガバイトから数百テラバイトへ成長しても "latencies remain stable" と報告しています。その参照はリクエストのルーティングで扱っています。

パーティションキーがなければ、DynamoDB には向かうべきパーティションがないので、すべてを読みます。それが Scan であり、そのコストはテーブルとともに増えます。

手元の値がパーティションキーでないときは、その属性をキーにしたグローバルセカンダリインデックスを追加しましょう(update-table --global-secondary-index-updates、またはコンソールの「インデックス」タブ)。

インデックスに対する Query で、高速な経路が戻ってきます。GSI と LSI を参照してください。

PutItem / GetItemPK=DEVICE#a91Hash(PK)ハッシュを所有するパーティション(3 つのレプリカ)レプリカの B-treeSK 順のアイテムアイテム

リクエストは 1 つのパーティションにハッシュ化され、それからそのパーティションの B-tree をアイテムまで下ります。テーブルの走査ではなく、2 つのステップです。

パーティションごとの B-tree でアイテムを順序付ける

パーティション内では、アイテムはヒープではありません。各レプリカはパーティションのキー範囲を B-tree に保持し、1 つのパーティションキーの中ではアイテムがソートキーの順に並んでいます。

その木が保持するのはそのパーティションのアイテムだけで、テーブル全体のものではありません。(B-tree を文書化しているのは ATC '22 論文で、AWS の開発者ガイドが述べているのは、アイテムが "in sorted order by the sort key" で保持されることだけです。)

これが、ソートキーの範囲読み取りが安価である理由です。各デバイスの測定値が 1 つのパーティションキーの下に住むフリートテレメトリのテーブルを取り上げます。

PKSK
PK = DEVICE#a91SK = READING#2026-06-23T08:00Z
PK = DEVICE#a91SK = READING#2026-06-23T08:05Z
PK = DEVICE#a91SK = READING#2026-06-23T08:10Z

木はソートされているので、「08:00 から 09:00 までのすべての測定値」は、開始値へのシークに加えて逐次的な歩みです。そのデバイスがこれまでに送ったすべての測定値に対するフィルターではありません。一致する範囲だけを読み取ります。

その順序付けは、begins_with(SK, "READING#2026-06-23") クエリが高速で、非キー属性でのフィルタリングがそうでない理由でもあります。木は SK でシークできますが、それ以外では何もシークできません。

それらのキー条件を安全に組み立てるには、文字列を手で連結するのではなく、DynamoDB 式ビルダー で構築しましょう。

KeyConditionExpression  PK = :pk AND begins_with(SK, :day)

別の属性でシークするには、それをインデックスのキーにします。LSI は同じパーティションキーに別のソートキーを与えますが、テーブル作成時にしか作れず、キーごとに 10 GB の上限があります。

GSI は任意の属性をキーにでき、後から追加でき、結果整合性です。

すべての書き込みを3つの AZ に複製する

パーティションは 1 台のマシンではありません。それぞれが 3 つのアベイラビリティーゾーンの 3 つのレプリカ に複製されます。2022 年の USENIX ATC 論文で述べられた、リーダーベースのクォーラム設計です。

(2007 年の Amazon Dynamo 論文は名前の上での祖先であって、このレプリケーションモデルではありません。Dynamo 論文から DynamoDB へを参照してください。)

1 つのレプリカがそのパーティションの リーダー です。書き込みはリーダーへ向かい、リーダーはそれをログに記録して 2 つのピアに送ります。

リーダーは、3 つのレプリカのうち 2 つが書き込みを永続化した時点で確認応答するので、AZ にまたがる耐久性は PutItem が返る前に支払われます。

読み取りには選択肢があります。 読み取りはリーダーへ向かい、最新のコミット済みの書き込みを見ます。 読み取りは 3 つのレプリカのどれからでも提供され得て、それらはリーダーより遅れていることがあります。AWS はその遅れの上限を公表していません。

結果整合性強い整合性
提供元3 つのレプリカのいずれかリーダーのみ
最新の書き込みを見る常にではない(公表された遅れの上限なし)はい
読み取りコスト半分: 4 KB あたり 0.5 読み取りユニット満額: 4 KB あたり 1 読み取りユニット
可用性正常なレプリカならどれでも応答できるリーダーに到達できる必要がある

2 KB のアイテムを強い整合性で読むと 1 読み取りユニット(プロビジョンドでは RCU、オンデマンドでは読み取りリクエストユニット)、同じ読み取りを結果整合性で行うと 0.5 です。

リーダーを指定するには ConsistentRead: true を使います(テーブルと LSI。GSI はこれを拒否します)。ホットパスの単価は 料金計算ツール で確かめましょう。

GSI は非同期に更新され、結果整合性の読み取りしか提供しないので、GSI の読み取りも古いことがあります。 GSI は結果整合性であるを参照してください。

構造からルールを読み取る

  • 常にパーティションキーを供給する。 キーがなければ、すべてのパーティションを読むことになります。これが Query 対 Scan の核心です。手元のキーが別の属性なら、 GSI を追加しましょう。
  • 一緒に読むものを 1 つのパーティションキーの下に共置する。 そうすれば、1 回のハッシュと 1 回の木の歩みでアイテムコレクション全体が返ります。それがシングルテーブル設計 の基盤です。
  • パーティションを有界に保つ。 パーティションには固定の上限があります(物理パーティション)。 LSI があるなら、書き込みで ReturnItemCollectionMetrics: SIZE を要求し、キーごとの 10 GB 上限より手前でアラートを出しましょう。ホットキーについてはホットパーティションを参照してください。

次のステップ

ソートキー戦略とシングルテーブル設計でキーを構造に合わせてモデリングし、それから DynamoDB 式ビルダーで実際の式を組み立てましょう。

DynoTable を試して これらの読み取りを自分自身のテーブルに対して実行し、キー条件がどのアイテムを引き戻すかを見てください。

著者: Dmitriy · 更新日