中級読了 4 分

DynamoDB のパーティションキーの仕組み

あなたのはアドレスです。項目をどう並べるかではなく、項目がどこに存在するかを DynamoDB に伝えます。

DynamoDB のパーティションキーはどう動きますか?

DynamoDB はあなたのを内部のハッシュ関数に通し、その出力がどの物理パーティションに項目を格納するかを決めます。キーは SQL の列のようにソートされたりインデックスされたりしません。

カーディナリティの高いキーを選べば負荷は多くのパーティションに分散し、低いものを選べば少数のパーティションがすべてのトラフィックを受けます。

  • キーはソートされず、ハッシュされる。 似た 2 つのキーは無関係なハッシュになるので、似たキー同士が近くに配置されることはありません。
  • パーティションは上限のあるストレージ単位。 それぞれおよそ 10 GB、毎秒 3,000 読み取りユニット、毎秒 1,000 書き込みユニットで上限に達するため、スループットはキーがいくつのパーティションに分散するかで決まります。
  • ホットキーが落とし穴。 ほとんどのリクエストを 1 つのパーティションキー値に集中させると、そのパーティションでスロットルされ、テーブルの残りは遊んだままです。
  • カーディナリティの高いキーが勝つ。 異なる、均等にアクセスされるキー値が多いほど、より多くのパーティションが負荷を吸収します。

キーが何をするかから始める

SQL から来ると、プライマリキーは JOIN や ORDER BY に使う、ソートされインデックスされた列です。DynamoDB では パーティションキー(ハッシュキーとも呼ばれる)は別のことをします。配置 を決めるのです。

そのハッシュはキースペースに対応づけられ、キースペースは複数の範囲に分割されます。各範囲は 物理パーティション が所有します。物理パーティションとは、複数のアベイラビリティーゾーンにレプリケートされたストレージの割り当てです。

つまりパーティションキーは 1 つの問いに答えます。どのパーティションがこの項目を保持するか? は、あれば、パーティション内で項目を順序づけます。

大きな、あるいは忙しい項目コレクションが分割されると、分割後のどのパーティションに項目が置かれるかもソートキーが決めます。

(2022 年の USENIX ATC 論文: "The output from the hash function and the sort key value (if present) determines where the item will be stored.")

1 つの書き込みをハッシュを通して追う

デバイスの読み取り値を取り込む SaaS を運営しているとします。テーブル SensorReadings はパーティションキー deviceId とソートキー readingTs を使います。deviceId = "vac-7741" の読み取り値を書き込みます。書き込みはキーからパーティションまで次の経路をたどります。

キースペースの区画PutItemdeviceId = 'vac-7741'パーティションキーをハッシュハッシュがキースペース上の1点に対応どの範囲が所有する?パーティション P2アイテムを保存、readingTs の順

vac-7741 の書き込みはキースペース内の一点にハッシュされ、その点は P2 の範囲に入り、項目は P2 に着地して、そこで readingTs で順序づけられます。

"vac-7741" と "vac-7742" は 1 文字違いですが、そのハッシュは無関係なので、どこに着地するかは見た目の似かたに左右されません。

パーティションの多いテーブルでは通常それぞれ別のパーティションに着地しますが、小さなテーブルでは同じパーティションを共有することもあります。

2007 年の Amazon Dynamo 論文も、コンシステントハッシュのリング上でキーをノード間にハッシュしていました。

DynamoDB はハッシュを残してリングを置き換えました。2022 年の USENIX ATC 論文によれば、各パーティションは "a disjoint and contiguous part of the table's key-range" を所有します。続きは Dynamo 論文から DynamoDB へを参照してください。

下にパーティションキー値のリストを貼り付けて、ハッシュがそれらをバケットへどう散らすかを見てください。カーディナリティの高い集合は均等に分散し、1 つの値を使い回すとすべてが単一のバケットに積み上がります。これが次のセクションで扱うです。

パーティションキーの分布

1行に1つのパーティションキーの値を入力します。値を繰り返すとホットキーをシミュレートできます。

8 バケット8 キー
  • #0
    1
  • #1
    2
  • #2
    0
  • #3
    0
  • #4
    2
  • #5
    2
  • #6
    0
  • #7
    1

これは教育用に簡略化したハッシュであり、DynamoDB の実際の内部ハッシュではありません。DynamoDB は非公開の内部関数と、テーブルに応じて増えるパーティション数を使用します — 異なるキーがどう分散し、単一のホットキーがどう積み上がるかの直感を養う目的にのみ使用してください。

これは 直感のための教育用ハッシュであって、DynamoDB の内部ハッシュではありません。実際の関数、キースペース、パーティション境界は AWS の内部仕様です。

分散と偏りの感覚をつかむために使い、あるキーがどの物理パーティションに着地するかを予測するためには使わないでください。

パーティションのハードな上限を尊重する

物理パーティションは有限です。ストレージは約 10 GB、読み取りは 3,000 ユニット/秒、書き込みは 1,000 ユニット/秒です(スループットについては AWS のパーティションキー設計、"10GB is the maximum size of a partition" については Constraints)。

DynamoDB は、パーティションが埋まったときやホットになったとき、またプロビジョンドスループットを引き上げたときに、自動でパーティションを追加します。

分割は 1 つのパーティションキーの項目コレクションをソートキーの境界で切り分けられるので、忙しいキーの負荷はより多くのパーティションに広がりえます。

分割で救えないのは、単一のホットな 項目、単調増加するソートキー、そして LSI を持つテーブルです。上限と分割の詳細は物理パーティションで扱います。

罠に名前を: ホットパーティション

ホットパーティション は古典的な落とし穴です。1 つのパーティションキー値(またはごく少数)がトラフィックの不均衡な割合を吸収するときに起きます。

具体的な失敗: SensorReadings をパーティションキー region に切り替え、"us-east"、"eu-west" のような値にします。3 つのリージョンは 3 つの項目コレクションを意味し、それぞれ 1 つのパーティションから始まります。

"us-east" に読み取りを叩き込むと、テーブルの総キャパシティが未使用のまま、そのパーティションは 3,000 読み取りユニット/秒でスロットルします。

ホットさによる分割はコレクションを広げられますが、トラフィックが 1 つの項目に当たる場合や readingTs を順にたどる場合は別です。テレメトリはまさにそうやって書き込まれ、読み取られます。

適応キャパシティは未使用のスループットを忙しいパーティションへ移し、1 つのホットな項目を専用のパーティションに隔離することもありますが、そのパーティションの上限を超えることはありません。

分割で救えない各ケースには、それぞれの抜け道があります。

  • 1 つのホットな項目、読み取り中心: 読み取りが結果整合性で構わないなら、その前に DAX を置きます。
  • 1 つのホットな項目、書き込み中心(カウンター)、または単調増加するソートキー: パーティションキーにサフィックスを付けてシャーディングし、書き込みが複数のコレクションに着地するようにします。
  • LSI がコレクションを固定している: 別のソート順を GSI としてモデル化します。LSI は CreateTable でしか作れないので、新しいテーブルとデータ移行が必要になります。

カーディナリティの高いキーを選ぶ

対処法は カーディナリティ、つまり異なるキー値の数と、トラフィックがそれらにどれだけ均等に当たるかです。

  • 低いカーディナリティ(region、status、true/false): パーティションが少なく、トラフィックが集中し、早くスロットルします。
  • 高いカーディナリティ(deviceId、userId、チケット ID): 多くの値が多くのパーティションにハッシュされ、負荷が分散し、余裕が増えます。

SQL から来ると status 列をインデックスしてそれでフィルタするのは喜んでやるでしょう。DynamoDB の パーティション キーとしてはそれは罠です。分散できないからです。

カーディナリティの低い属性はフィルタとして、あるいはセカンダリインデックスのソートキーとして使い、配置を決めるものには決してしないでください。

良いキーでもなお偏るとき(一握りの巨大テナントが残りを上回るとき)は、tenantId#3 のようなサフィックスを追加して、1 つの論理値を複数のキーに分散させます。ランダムなサフィックスと計算されたサフィックスの違い、シャードの読み戻し方はホットパーティションで扱います。

キーが分散したら、パーティション 内 の項目を狙うために、ソートキーへの KeyConditionExpression を書きます。コードに組み込む前に、自分のスキーマに対して DynamoDB 式ビルダーで組み立てられます。

deviceId = "vac-7741" AND begins_with(readingTs, "2026-06")

これは 1 台のデバイスの 6 月の読み取り値を、6 月 30 日のすべてのタイムスタンプも含めて、Scan ではなく Query として読み取ります。

BETWEEN "2026-06-01" AND "2026-06-30" だと文字列 "2026-06-30" そのもので止まり、その日のそれ以降のタイムスタンプを持つ読み取り値をすべて取りこぼします。

パーティションキーが項目コレクションを選び、ソートキーの条件が項目を絞り込みます。

落とし穴と次のステップ

  • SQL でよく読めるものでキーを選ばない。 分散するもの で選びます。カーディナリティが第一、クエリの便利さは二の次。
  • テーブルの総キャパシティがキーごとに自分のものだと思い込まない。 スループットはパーティション単位です。1 つのホットな値が、テーブルが遊んで見えるのにスロットルしえます。どのキーかを知るには CloudWatch Contributor Insights を有効にします(スロットルされたキーのモードは、有効のままにしておいても安価です)。
  • ホットキーの解消を分割に頼らない。 分割は自動で、観測されたトラフィックに従いますが、1 つの項目や単調増加するソートキーは分散できません。分散できるだけの異なるキーをテーブルに与えてください。

キーがきれいに分散したら、次の判断はパーティション内で項目をどうレイアウトするか(シングルテーブル設計を参照)と、セカンダリインデックスが 2 つ目のアクセスパターンに正しいツールとなるのはいつか、です。

DynoTable をダウンロードし、SQL Workbench でパーティションキーに対して GROUP BY を実行して、どのキーが最も多くの項目を持つかを見てください。これはコレクションのサイズを示し、10 GB の LSI 上限が見ているのはこれです。キーごとのトラフィックは Contributor Insights でわかります。

著者: Dmitriy · 更新日