DynamoDB の物理パーティション
物理パーティションは、DynamoDB が実際にデータを格納する単位です。SSD ストレージの割り当てで、アベイラビリティゾーンをまたいでレプリケートされ、キー空間の一切れを保持します。
テーブルは論理的なものです。バイトとスループットの上限が宿るのはパーティションです。
DynamoDB のパーティションはどう動きますか?
パーティションキーのハッシュが、アイテムの落ちるパーティションを決めます。
各パーティションは約 10 GB、毎秒 3,000 読み取りユニット、毎秒 1,000 書き込みユニットで頭打ちになり、DynamoDB はスループットを引き上げたとき、パーティションが埋まったとき、そしてパーティションがホットになったときにパーティションを追加します。
- 上限はテーブルごとではなくパーティションごと。 1,000 WCU をはるかに上回ってプロビジョニングしたテーブルでも、書き込みが1つのパーティションに落ちればスロットリングします。
- 同じパーティションキーを持つアイテムは一緒に落ちる。 1つのアイテムへのトラフィック、あるいは単調増加するソートキーの先端へのトラフィックは、1つのパーティションにとどまります。
- DynamoDB はあなたの代わりにパーティションを分割する。サイズで、そして持続的なトラフィックで。LSI か増え続けるソートキーが妨げない限り、1つのキーのアイテムコレクションをソートキーで分割することもできます。
- キャパシティに余裕があるのにスロットリングするのが手がかり。 テーブルが 5% の使用率なのにスロットリングするなら、たいていは単一のパーティションが上限に達しています。例外のスロットリング理由がそれを裏付けます。
アイテムがパーティションを見つける仕方
DynamoDB は、パーティションキーの値を内部のハッシュ関数に通し、ハッシュの出力が物理パーティションを選びます。同じキーを入れれば、同じパーティションが出てきます。そのキーのアイテムコレクションが分割されるほど大きく、あるいはホットになるまでは。分割後は、ソートキーがどの切れ端にアイテムが入るかを決めます。
SQL から来ると、インデックスをチューニングしたり、シャードキーの範囲を手で割り当てたりすることを期待するかもしれません。ここでは配置は、あなたが制御せず、決して目にしないハッシュです。
パーティションキーを共有するアイテムはアイテムコレクションを形成し、一緒に格納され、ソートキーでソートされます。それこそが、1つのキーへの Query を安くするものです。ソートキー順の連続した1続きを読むのです。(Query vs Scan
を参照。)
ゲームの試合イベントストアを取り上げます。テーブルのキーは arenaId (パーティション) と
eventKey (ソート) です。
# Item
arenaId = "ARENA#7f3a"
eventKey = "EVT#1719100800#a91c"
playerTag = "Nightjar"
dmgDealt = 412
アリーナ 7f3a のすべてのイベントは1つのパーティションキーを共有するので、1つのアイテムコレクションに落ち、ソートキー順に格納されます。「この試合のタイムラインを読む」には最高です。その1つのアリーナがすべてのトラフィックを集めるなら、それは負債です。
すべてのパーティションが強制する3つの上限
単一のパーティションは、最大でも以下を提供するように設計されています。
| 上限 | パーティションあたり | 数え方 |
|---|---|---|
| ストレージ | 約 10 GB | アイテムと、それと一緒に格納される LSI のエントリ |
| 読み取りキャパシティ | 毎秒 3,000 読み取りユニット | 1 RU = 最大 4 KB の強い整合性のある読み取り 1 回 |
| 書き込みキャパシティ | 毎秒 1,000 書き込みユニット | 1 WU = 最大 1 KB の書き込み 1 回 |
出典:読み取りと書き込みの行は AWS の Best practices for designing partition keys、ストレージは Constraints("10GB is the maximum size of a partition")。
アイテムサイズが計算をスケールさせます。20 KB のアイテムは強い整合性のある読み取り1回につき 5 読み取りユニットかかるので、1つのパーティションはスロットリングする前に毎秒約 600 回そうした読み取りを提供します。3,000 ではありません。書き込みコストは 1 KB ごとに、読み取りコストは 4 KB ごとに切り上げます。
これらはパーティションの上限であって、テーブルの上限ではありません。テーブルが 40,000 WCU にプロビジョニングされていても、すべての書き込みが 1,000 で頭打ちになる1つのパーティションを叩いていれば、スロットリングします。
パーティションが分割される仕方
AWS は、DynamoDB がパーティションを追加で割り当てる状況を2つ挙げています。既存のパーティションが支えられる以上にプロビジョニングされたスループットを引き上げたとき、そしてパーティションが埋まったときです。
3つ目の熱による分割は、持続的なトラフィックに続いて起こります。あなたが行うのは最初の1つだけです。
サイズによる分割。 パーティションが約 10 GB に向かって埋まると、DynamoDB はそのキー範囲を分割し、アイテムの一部を新しいパーティションに移します。テーブルはその間ずっと利用可能なままです。
熱による分割。 パーティションの消費スループットがしきい値を超えると、DynamoDB はそれを分割します。2022 年の USENIX ATC 論文によれば、分割点は範囲の中央ではなく "is chosen based on key distribution the partition has observed" です。
自ずと止まるスロットリングは、しばしば分割が起きたことを意味します。ただし、バーストキャパシティを上回ってから終わった短いスパイクも同じように見えます。
分割は多くのキーにまたがって余地を稼ぎ、熱による分割は1つのキーのアイテムコレクションをソートキーの切れ目で切り分けることさえできます。それが広げられないのは、単一のホットアイテム、増え続けるソートキー、あるいは LSI に釘付けにされたコレクションです。
ホットキーが分割器に勝つ理由
分割はキーの範囲を分けます。トラフィックが1つのアイテム、あるいは単調増加するソートキーの先端に集中すると、すべてのリクエストが同じ狭い範囲に落ち、切り分けて役に立つものがありません。
アリーナ 7f3a がトーナメントの決勝で毎秒 4,000 書き込みを引く一方、他のすべてのアリーナがアイドルだとします。
毎秒 1,000 書き込みユニットでスロットリングし、熱による分割は救えません。タイムスタンプがプレフィックスの eventKey が単調なので、新しい書き込みはすべて1つのソートキー範囲の先端に落ちるからです。
スロットリングの例外が、これに当たることを教えてくれます。その ThrottlingReasons フィールドは
TableWriteKeyRangeThroughputExceeded(または TableReadKeyRangeThroughputExceeded)という理由を示します。テーブルではなく、1つのパーティションのキー範囲が上限を超えているのです。
Index…KeyRange… の理由は、代わりに GSI を指しています。スロットリングでは、それぞれの理由を修正方法に対応づけています。
キーを特定するには、テーブルまたは GSI で CloudWatch Contributor Insights をオンにします。そのスロットリングされたキーのモードは、オンのままにできるほど安価で、最もスロットリングされたパーティションキーを一覧表示します。
修正はキャパシティのスライダーではなく、データモデルにあります。ホットキーを書き込みシャーディングしましょう。小さなサフィックスを付け足して、1つの論理的なアリーナを複数のパーティションキーに広げます。ホットパーティションでは、サフィックスの選び方とシャードの読み戻し方を扱っています。
サフィックス付きのキーとその Query は、式ビルダーでプロトタイプできます。
1つのニュアンス:LSI の例外
ストレージがパーティションキーごとに確かに上限されるケースが1つあります。
ローカルセカンダリインデックスがなければ、アイテムコレクションは、格納バイトとスループットの両方を提供するために必要なだけ多くのパーティションにまたがって分割されます(熱による分割でも、1つのアイテムを分けたり、単調なソートキーの先端を広げたりはできません)。数十億のソートキーの値でも問題ありません。
LSI を追加すると、LSI の射影エントリも含めて、1つのパーティションキーのコレクション全体が1つの 10 GB パーティションに収まらなければなりません。
それを超えると、コレクションを大きくする書き込みは ItemCollectionSizeLimitExceededException で失敗することがあります。それが GSI vs LSI で扱う PK ごとの崖です。
テーブルにすでに LSI があるなら、書き込みに ReturnItemCollectionMetrics: SIZE を設定し、上限よりかなり下でアラートを出しましょう(AWS は 8 GB を推奨しています)。上限に近づいたら、そのコレクションのアイテムを削除するか削ります。
際限なく大きくなり得るコレクションには、AWS は GSI を推奨しています。LSI は CreateTable からしか作れないので、それは LSI のない新しいテーブルとデータの移行を意味します。
パーティションを冷たく保つ設計
あなたが制御できるのは、パーティションキーです。アイテム数に対して多くの別々の値を持つものを選び、トラフィックが均等に広がるようにしましょう。(さらなるパターンはシングルテーブル設計に。)
- 高カーディナリティのキーを使う。 ユーザーごと、テナントごとのキーは、みなが一斉に叩く日ごと、ステータスごとのキーに勝ります。
- 既知のホットキーに注意。 「現在のトーナメント」や「今日」の値は、出荷後ではなく前に、集中のリスクです。
- 避けられないホットキーをシャーディングする。 1つのキーが並外れたトラフィックを取らざるを得ないとき、サフィックスがそれを広げ、それに満たない偏りはアダプティブキャパシティがカバーします。
トラフィックについては、上記のとおり Contributor Insights に頼りましょう。
どのキーが最も多くのアイテムを持つか(LSI の 10 GB 上限が監視するコレクションサイズ)を見るには、
DynoTableを自分のテーブルに向け、SQL Workbench でパーティションキーを GROUP BY します。