上級読了 3 分

DynamoDB のリクエストルーティングの仕組み

あなたが送るすべての読み取りや書き込みは、まずリクエストルーターの一群に到達し、どのパーティションの、どのコピーがリクエストを処理するかをルーターが決めます。

DynamoDB のリクエストルーティングはどのように機能するのか?

リクエストルーターはリクエストを認証し、 をハッシュ化し、キャッシュしたパーティションマップでそのハッシュを所有するパーティションを調べ、そのパーティションの3つのレプリカのいずれかへリクエストを転送します。

2022年の USENIX ATC 論文によれば、テーブルがメガバイトから数百テラバイトへ成長しても、レイテンシーは横ばいのままです。

  • ルーターはあなたのデータを一切所有しない。 リクエストを認証し、DynamoDB のメタデータサービスからキャッシュしたパーティションマップを使って、データがどこにあるかを見つけます。
  • パーティションキーがパーティションを選ぶ。 分割された大きな、あるいは忙しいアイテムコレクションでは、どの切れ端がアイテムを保持するかをソートキーも決めます。
  • 書き込みと強い整合性のある読み取りはリーダーが受け持つ。 各パーティションは異なる AZ に 3つのレプリカを持ち、結果整合性のある読み取りはどのレプリカでも処理できます。
  • 不適切なキーは設計を台無しにする。 カーディナリティの低いキーや キーは、ルーターがどれほどうまく仕事をしても、トラフィックを1つのパーティションに集中させます。

ルーティングが解決する問題から始める

SQL から来ると、統計情報を読み、インデックスを選び、時にはスキャンするクエリプランナーを思い浮かべるでしょう。そのコストは触れるデータ量に応じて増えます。

しかしそのモデルは、どんなサイズでも1桁ミリ秒で応答しなければならないキーバリューストアには合いません。

DynamoDB は単一アイテムの参照を直接アドレス指定にします。パーティションキーはハッシュへの入力であり、パーティションマップの参照がそのハッシュを データが物理的にどこに存在するか に変えるので、読むべき統計情報も、選ぶべきプランもありません。

これがリレーショナル思考から離れるときに受け入れるトレードオフです。アドホックなクエリの柔軟性を手放し、その代わりにテーブルがどれほど大きくなってもキーによる参照は速いままです。

リクエストルーターに出会う

リクエストが到着すると、それは直接ストレージへは向かいません。まずリクエストルーター、つまりサービス全体の前面に立つ、水平方向にスケールする一群に到達します。(USENIX ATC '22 の DynamoDB 論文がこのリクエストルーターの一群を説明しています。)

この論文によれば、ルーターは3つのことを行います。

  • IAM に対してリクエストを認証・認可し、その結果をキャッシュする。
  • パーティションを見つける:パーティションキーをハッシュ化し、メタデータサービスから更新されるパーティションマップのキャッシュで、それを所有するパーティションを調べる。
  • そのパーティションのレプリカを持つストレージノードへリクエストを転送する。

パーティションが移動または分割されたためにマップが古くなっていれば、問い合わせを受けたストレージノードがエラーか新しいメンバーシップを返し、ルーターはパーティションを調べ直します。

1つの読み取りをルーター越しに追う

ドローン群のテレメトリテーブルを取り上げます。アイテムは DroneId(パーティションキー)と ReadingTs(ソートキー)でキー付けされ、BatteryPct や AltitudeM といった属性を持ちます。

あなたは1機のドローンの6月23日の測定値を求めます。

PK = "DRONE#A19F"
SK begins_with "2026-06-23"
クライアント: QueryPK = DRONE#A19FリクエストルーターHash(DRONE#A19F)キャッシュしたパーティションマップ:どのパーティションが所有するかそのパーティションのレプリカ1つ(ConsistentRead ならリーダー)アイテムを読み取りDRONE#A19F

ルーターは DRONE#A19F をハッシュ化し、そのハッシュを所有するパーティションを見つけ、 Query をそのレプリカの1つへ転送します。ConsistentRead がなければどのレプリカでも応答でき、 ConsistentRead: true ならリーダーが応答します。

ハッシュは 1つの アイテムコレクションを保持するパーティションを指すので、ドローンと、それに必要なパーティションを追加しても、この参照は遅くなりません。

リクエストが着地する場所

パーティションは、パーティションごとに固定の上限を持つストレージとスループットの単位で、 DynamoDB は成長したりホットになったりするとそれを分割します。物理パーティションでは、LSI や単調増加するソートキーが分割を妨げる場合も含めて、上限と分割を扱っています。

各パーティションは、3つのアベイラビリティーゾーンにある3つのレプリカのグループで、選出されたリーダーが1つあります。

リーダーはすべての書き込みとすべての強い整合性のある読み取りを受け持ちます。結果整合性のある読み取りは、リーダーも含めてどのレプリカでも半分のコストで処理できます。ストレージの内部構造では、書き込みクォーラムと読み取りの表を扱っています。

リーダーを指定するには、GetItem、Query、Scan に ConsistentRead: true を渡します。これはテーブルと LSI で機能し、GSI は ValidationException で拒否します。

スロットリングが起きる場所

リクエストが拒否されうるのもルーターです。ATC '22 論文によれば、各ルーターはアドミッションコントロールのためにローカルのトークンバケットを持ち、数秒ごとにグローバルなアドミッションコントロールサービスからそれを補充します。

リクエストがスロットリングされると、ProvisionedThroughputExceededException(または ThrottlingException)が返され、その ThrottlingReasons フィールドが原因を示します。

AWS SDK は指数バックオフで自動的にリトライします。リトライが失敗し続けるなら、リクエストレートを下げましょう。スロットリングでは、それぞれの理由を修正方法に対応づけています。

落とし穴を名指しする: ホットパーティションキー

そのテレメトリを DroneId の代わりに Region でキー付けするとしましょう。すると us-east-1 のすべてのドローンが1つのパーティションキーを共有し、群全体が1つのアイテムコレクションに集中します。ルーターは仕事をこなしています。問題はあなたのキーです。

修正策は、より高いカーディナリティを持つパーティションキーか、1つのキーがホットであり続けなければならない場合は書き込みシャーディングのサフィックスです。どのキーがホットかを見つけるには、テーブルと各 GSI で CloudWatch Contributor Insights をオンにします。ホットパーティションで両方を扱っています。

式ビルダーでキー条件を組み立てるとき、PK と比較する値が、まさにルーターがハッシュ化する値です。

これがアクセスパターンとどう結びつくか

リクエストルーティングは、シングルテーブル設計のルールを譲れないものにしている仕組みです。パーティションキーを中心にモデリングするのは、パーティションキー こそが アドレスだからです。

また、これは Query が Scan に勝る理由でもあります。Query は1つのアイテムコレクション(通常は1つのパーティション、コレクションが分割されていればそれ以上)を読みますが、Scan はすべてのパーティションを読みます。

グローバルセカンダリインデックスは自身のパーティションと自身のルーティングを持ちます。GSI は自身のパーティションキーでルーティングされ、ベーステーブルとは独立しています。これが、テーブルがホットでなくても GSI がホットになりうる理由です。

修正策は同じで、カーディナリティの高い GSI のパーティションキーです。ローカルセカンダリインデックスはベーステーブルのパーティションを共有します。

次のステップ

1つではなく多数のパーティションにルーティングされるキーを設計しましょう。式ビルダーで PK = … 条件をスケッチし、それから DynoTable をダウンロードして、自分自身のテーブルに対してそれらのクエリを実行し、各キー条件がどのアイテムを返すかを見てみましょう。

著者: Dmitriy · 更新日