DynamoDB アダプティブキャパシティー:できることとできないこと
あなたのトラフィックが、DynamoDB がデータを分散させるほど均等に分散することはめったにありません。バーストキャパシティーとアダプティブキャパシティーは、偏ったワークロードがスロットリングされないようにする 2 つの自動メカニズムです。ただし、それもハードリミットまでです。
DynamoDB のアダプティブキャパシティーとは?
アダプティブキャパシティーは、ホットパーティションに対する DynamoDB の自動ブーストです。
テーブルの未使用キャパシティーからそのパーティションのスループットを引き上げるので、テーブルの残りが遊んでいる間に偏ったキーがスロットリングされることはありません。1 つの項目をパーティションの上限を超えて押し上げることはできません。
- バーストキャパシティーは、短いスパイクに備えて、最大 300 秒分の未使用スループットを予備として保持します。サイズを指定したり調整したりすることはできません。
- アダプティブキャパシティーは「ホット」なパーティションを引き上げます。上限はテーブルの合計キャパシティーとパーティションの上限です。
- ホットな項目を独自のパーティションに隔離できます。その 1 つの項目に最大 3,000 RCU / 1,000 WCU を与えます。AWS は "might" と書いているので、隔離はベストエフォートとして扱ってください。
- キー設計の代わりにはなりません。 パーティションの上限を超える 1 つの項目や、キャパシティーを超えたテーブル全体は、依然としてスロットリングされます。
まずパーティションの上限を知る
すべてのパーティションは、1 秒あたり最大 3,000 読み込みユニットと 1,000 書き込みユニットを提供するように設計されており、アダプティブキャパシティーはプロビジョンドテーブルとオンデマンドテーブルの両方に適用されます。(AWS、パーティションキー設計のベストプラクティス。)
パーティションごとの上限の全体と、パーティションがどう分割されるかについては、物理パーティションを参照してください。
SQL から来ると、総サーバー負荷で考えます。DynamoDB でスロットリングの単位になるのは単一のパーティションなので、テーブルが 90% 遊んでいても、1 つの偏ったキーがスロットリングされることがあります。両メカニズムは、このギャップを狭めるために存在します。
バーストキャパシティーが短いスパイクを吸収する
パーティションのスループットを使い切らないときはいつでも、DynamoDB は残りの一部を蓄えます。未使用キャパシティーの最大 300 秒分が予備として保持され、突然のバーストは、通常の毎秒レートが許すよりも速くそれを消費できます。
これは自動で、サイズを指定することはできません。AWS はまた、DynamoDB がバックグラウンドのメンテナンスにバーストキャパシティーを "without prior notice" で使うことがあるとも述べています。したがって、バーストの予備ではなく、想定されるピークに対して計画してください。
分かっているピークには、直接それに合わせてキャパシティーを決めます。プロビジョンドテーブルでは、ピークに合わせて RCU/WCU(またはオートスケーリング)を設定します。
どちらのキャパシティーモードでも、ローンチやセールの前にウォームスループットで事前にウォームアップします(aws dynamodb update-table --table-name <table> --warm-throughput ReadUnitsPerSecond=…,WriteUnitsPerSecond=…)。
アダプティブキャパシティーがホットパーティションをブーストする
バーストキャパシティーは短いスパイクを扱います。アダプティブキャパシティーは持続的な偏りを扱います。1 つのパーティションがホットになり、隣が遊んでいるとき、DynamoDB はホットなパーティションのスループットを、テーブルの合計とパーティションの上限まで引き上げます。
VEHICLE#<id>(パーティション)と TS#<epoch>(ソート)をキーにした車両テレメトリテーブルを運用していて、4 つのパーティションにまたがって 400 WCU をプロビジョニングしているとしましょう。各パーティションの均等な取り分は 100 WCU です。
フラッシュセール地域にいる 1 台の配送バンが頻繁に ping を送るので、そのパーティションには 150 WCU が必要になり、他の 3 つはそれぞれ 50 です。
アダプティブキャパシティーは、コールドなパーティションが使わずに残す 150 WCU を利用して、その 1 つのパーティションを 100 WCU の取り分以上に引き上げます。
設定も料金も不要で、2019 年 5 月以降は即座に適用されます。(AWS Database Blog、「How DynamoDB adaptive capacity accommodates uneven access patterns」。)
ホットなバンのパーティションは、100 WCU の取り分に対して 150 WCU を必要とします。ブーストがなければ、バーストキャパシティーが尽きた時点で、超過分の 50 WCU がスロットリングされます。
2022 年の USENIX ATC の論文は、DynamoDB が内部的に "replaced adaptive capacity with global admission control (GAC)" と付け加えています。
開発者ガイドは今でも上記の動作をアダプティブキャパシティーの名前で説明しており、実際に観察されるのもその動作です。
隔離:1 つの項目が問題のとき
偏りは、パーティション内の多数の項目に広がっているとは限りません。ときには 1 つの項目がトラフィックを受け止めます。
アプリがバンごとに 1 つの位置項目 VEHICLE#HOT / LATEST も保持していて、ping のたびに上書きされ、すべての配車担当者の画面から読まれるとしましょう。
絶え間ないトラフィックがその 1 つの項目に集中する場合について、AWS はアダプティブキャパシティーが "might rebalance your data so that a partition contains only that single, frequently accessed item" と述べています。
いったん隔離されると、その項目はパーティションの上限である 3,000 RCU と 1,000 WCU まで引き出せます(AWS、バーストとアダプティブキャパシティー)。
1 つの項目に対してそれを超える自動メカニズムはありません。2022 年の論文は、単一の項目でホットになったパーティションは "will not benefit from split" と付け加えています。
忙しいパーティションキーは別です。ソートキーが単調に増加しない限り、その項目コレクションはソートキーで分割できます。
バンのテレメトリはその例外です。ping のたびに 1 つのコレクションの先端に新しい TS#<epoch> 項目が追加されるので、split for heat(DynamoDB が忙しいパーティションをソートキーの範囲に沿って分割すること)では分散されません。分散させるのは書き込みシャーディング(後述)です。
テーブルにローカルセカンダリインデックスがある場合も、アダプティブキャパシティーは項目コレクションをパーティションをまたいで分割しません。
既存のテーブルから LSI を削除することはできません。LSI は CreateTable でしか作成できないからです。コレクションを分散させる必要があるなら、代替のソート順を GSI としてモデリングした新しいテーブルを作成し、データを移行します。
それまでは、書き込み時に ReturnItemCollectionMetrics: SIZE を指定して、10 GB のコレクション上限を監視します。どちらを選ぶかはGSI vs LSIで解説しています。
アダプティブキャパシティーが救えないとき
両メカニズムはスループットをあちこちに動かすだけで、どちらもパーティションやテーブルが許す以上のものは作り出しません。
| シナリオ | バースト | アダプティブ | 結果 |
|---|---|---|---|
| 短いスパイク、テーブルに余裕あり | カバーする | 関与しない | スロットリングなし |
| 持続的な偏り、隣がコールド | 関与しない | ホットをブースト | スロットリングなし |
| 1 項目、< 3K RCU / 1K WCU | 関与しない | 隔離することがある | 通常はスロットリングなし(隔離はベストエフォート) |
| 1 項目、> パーティション上限 | 早々に枯渇 | 天井に到達 | スロットリング:その項目を分散するかキャッシュする |
| 多数のキーが同時にホット、テーブル満杯 | 早々に枯渇 | 遊びがない | スロットリング:テーブルのキャパシティーを追加する(プロビジョンド、オートスケーリング、ウォーム) |
テーブル全体がキャパシティーを超えているときは、キーを再設計しても役に立ちません。プロビジョンドの RCU/WCU を引き上げるか、オートスケーリングを設定します。
オンデマンドでは、Service Quotas でテーブルレベルのクォータを引き上げ(最大スループットの上限を設定しているならそれも)、分かっているピークの前に事前ウォームアップします。オンデマンド vs プロビジョンドを参照してください。
1 つの項目、または単調増加するソートキーの先端が毎秒 1,000 書き込みユニットを超えて必要とするなら(1 KB までの項目なら毎秒 1,000 件の書き込み、それより大きい項目ならもっと少なくなります)、その書き込みをより多くのパーティションキーに分散させます。
書き込みシャーディングがそれを行います。サフィックスを付け(VEHICLE#HOT#0 … #9)、シャードを読み戻します。ランダムなサフィックスと計算されたサフィックスについてはホットパーティションで解説しています。
1 つの項目が毎秒 3,000 読み込みユニットを超えて必要とするなら、その読み込みを結果整合性に切り替える(それぞれ読み込みユニットが半分になります)か、読み込みが結果整合性を許容できるなら、その項目の前に DAX を置きます。
自分のテーブルで見てみる
アダプティブキャパシティーは目に見えないので、その症状、つまりどのキーがトラフィックを受けているかを観察します。テーブルまたは GSI で CloudWatch Contributor Insights を有効にしましょう。
そのスロットリングされたキーのモードは常時有効にしておけるほど安価で、最もスロットリングされているパーティションキーを示します。診断の手順はホットパーティションで解説しています。
偏りの読み込み側については、Query vs Scanを参照してください。
シャード化された書き込みパスを構築するときは、Expression Builderがサフィックス付きキーの PutItem と Query の構文を生成します。
各キーがいくつの項目を保持しているか(トラフィックではなく、10 GB の LSI 上限に関わるコレクションサイズ)を確認するには、DynoTable をダウンロードして、SQL Workbench でパーティションキーに対して GROUP BY を実行します。