DynamoDB のパラレルスキャン
パラレルスキャンは、1つの Scan を N 個の独立したリクエストに分割し、それぞれがテーブルの Segment を担うことで、複数のワーカーが同時に読み取るようにします。
DynamoDB のパラレルスキャンとは何ですか?
DynamoDB のパラレルスキャンは、1つの Scan を N 個の独立したリクエストに分割し、それぞれが
Segment と TotalSegments を介してテーブルの Segment を担うことで、複数のワーカーが並行して読み取ります。テーブル全体を、単一パーティションのスループットが許すより速く読む、
Scan API が提供する唯一の方法です。それでも全読み取りなので、スキャンしたすべてのアイテムに支払います。
- 逐次的な
Scanは一度に1つのパーティションを読む。 その速度は、テーブルがどれだけ大きくても、単一パーティションのスループットで頭打ちになります。 Segment+TotalSegmentsが読み取りをシャーディングし、TotalSegments個のワーカーに分けます。各ワーカーは自分の切れ端を並列にスキャンします。- DynamoDB はパーティションキーをハッシュしてセグメントを割り当てるので、切れ端は偏りうり、ワーカーを増やしても必ずしも速くなりません。
- 上がるのは読み取りの速度であって、総量ではありません。 どちらにしてもすべてのアイテムを読むのに支払い、幅の広いパラレルスキャンはライブトラフィックが必要とするスループットを吸い上げかねません。
逐次的な Scan が遅い理由
SQL から来ると、テーブル全体の読み取りは1つのストリーミング操作のように感じます。DynamoDB
ではそうではありません。テーブルのデータは多くの物理パーティションにまたがって存在しますが、単一の Scan はそれらを一度に1つずつ、1ページ 1 MB で歩きます。
そのため素の Scan は、たとえテーブルが空きキャパシティを持つ数十のパーティションに広がっていても、ある瞬間には1つのパーティションのスループット予算からしか引き出せません。テーブルが大きいほど、這うのに長くかかります。
(AWS: Parallel scan)
Segment と TotalSegments で読み取りを分割する
パラレルスキャンはこのボトルネックを解消します。ワーカー数を選び、TotalSegments をその数に設定し、各ワーカーに 0 始まりの別々の Segment を与えます。各ワーカーは自分の
Scan を発行し、DynamoDB はそれらを並行して処理します。
Worker 0 → Scan Segment=0 TotalSegments=4
Worker 1 → Scan Segment=1 TotalSegments=4
Worker 2 → Scan Segment=2 TotalSegments=4
Worker 3 → Scan Segment=3 TotalSegments=4
各ワーカーはやはり LastEvaluatedKey で独立してページングし、最初のページから最後まで、自分のセグメントを所有します。
ワーカーの LastEvaluatedKey が再開できるのは自分のセグメントだけなので、再開可能なジョブはその隣に Segment と TotalSegments を保存します(ページネーション)。パーティションキーが均等に分散していれば、
4つのワーカーは1つのときの最大4倍の速さで読み取ります。
具体例:すべての測定値をその場で修正する
テレメトリテーブル sensor-readings を運営しているとします。各アイテムはフィールドデバイスからの1つの測定値です。
PK = "DEVICE#a83f" (partition key, the device id)
SK = "TS#2026-06-22T03:14" (sort key, ISO timestamp)
batteryMv = 3120
tempC = 41.8
firmwareTag = "fw-7.2.1"
ファームウェアのバグにより、fw-7.2.1 のデバイスが tempC を華氏で報告しており、影響を受けた測定値はすべてその場で修正する必要があります。エクスポートではこれはできません:
ジョブは各ライブアイテムを読み、修正を書き戻さなければならないからです。
80 GB の逐次的な Scan は、どれだけうまくいっても約1時間かかります。1つのパーティションが処理できるのは最大で毎秒 3,000 読み込みユニット、結果整合性のある読み取りで約 23 MB/s で、これはクライアントの往復時間を含める前の数字です。そこで8つのワーカーに分散させます。
Scan sensor-readings Segment=0 TotalSegments=8 ConsistentRead=false
…
Scan sensor-readings Segment=7 TotalSegments=8 ConsistentRead=false
デバイスがセグメント間で均等にハッシュされれば、8つのワーカーは最大8倍の速さで読み取ります。 AWS は、セグメントを増やしてもそれが保証されないと明言しています (AWS: Parallel scan)。
各修正は attribute_not_exists(tempFixedAt) を条件として tempFixedAt マーカーを設定するので、クラッシュ後に再実行しても、すでに済んだ測定値はスキップされます。
DynamoDB がアイテムをセグメントに割り当てる仕方
DynamoDB は各アイテムを、パーティションキーをハッシュしてセグメントに割り当てます。行数でもバイト数でもありません。
ですから同じ PK を共有するアイテムはすべて同じセグメントに落ちます。sensor-readings
では、DEVICE#a83f のすべての測定値が1つのワーカーに行きます。そのデバイスがいくつのタイムスタンプを持とうと、そのアイテムコレクションがどれだけ大きかろうと。
(AWS: Parallel scan)
セグメントは不均一になります。あるワーカーは数百万の測定値を持つおしゃべりなデバイス
3台を所有し、別のワーカーは空の切れ端を引くかもしれません。TotalSegments を上げても、
1台のデバイスの測定値は分割されません。それらはすべて同じハッシュを共有するからです。
偏りへの対処:
- 測ってから調整する。 控えめな
TotalSegmentsから始め、各ワーカーのScannedCountと実行時間をログに取り、調整します。AWS 自身の助言も、セグメント数とワーカー数を試行錯誤することです。 - 下限を受け入れる。 最大のアイテムコレクションが最小の実行時間を決めます。1つのワーカーがそれを単独で読むからです。セグメントを増やして助かるのは残りの部分だけです。
- 完全なコピーなら、スキャンはやめる。 S3 へのエクスポートは、セグメントもスループットも一切経由せずに読み取ります。
実行前に読み取りコストを見る
パラレルスキャンの総コストは逐次的なスキャンと同じです: 速く支払うだけです。始める前に値段を見積もりましょう。
DescribeTable は TableSizeBytes(約6時間ごとに更新)を返し、結果整合性のある全読み取りのコストはおよそそのサイズ ÷ 4 KB × 0.5 読み込みユニットです。
80 GB のテーブルなら約1,050万読み込みユニットで、us-east-1 のオンデマンド定価(100万あたり $0.125)で1回の実行あたり約 $1.31 です。プロビジョニングされたテーブルでは、ワーカーが引き出す速度と、ライブトラフィックに必要なキャパシティを比べましょう。
DynoTable はサイズを代わりにチェックします: 大きなテーブルを最後まで読む前に(DynamoDB のおおよそのテーブルサイズで約 1 GiB または500万アイテムを超える場合)、おおよそのサイズとアイテム数を表示して確認を求めます。その後、読み取りの実行中はスキャン済みアイテムの進捗をライブでストリームします。
落とし穴と、手を出すべきでないとき
- スループットの崖。
TotalSegmentsが高いスキャンは、数秒でテーブルの読み取りキャパシティを丸ごと消費し、ライブトラフィックを飢えさせかねません。ユーザーに提供中のテーブルでは、Limitパラメータで各ワーカーのリクエストサイズを抑えるか、ページ間で一時停止するか、オフピークにスキャンしましょう。リクエストが失敗し始めたときの対処はスロットリングで扱っています。 (AWS: Parallel scan) - アクセスパターンには依然として誤った道具。 パラレルスキャンは、意図的なテーブル全体のジョブ、つまりバックフィル、マイグレーション、監査のためのものです。繰り返し発生するクエリに答えるために使おうとしているなら、GSIを追加してQueryにしましょう。
- キーなしの PartiQL
SELECTは、同じスキャンの逐次版です。WHEREにパーティションキーを入れるか、IAM でフルスキャンをブロックしましょう: Scan が遅く高くつく理由で両方を示しています。 DynoTable の SQL Workbench はGROUP BYやJOINを手元のマシンで計算しますが、キーのないクエリはやはりベーステーブルを Scan します。 - 強い整合性は請求を倍にする。
Scanはデフォルトで結果整合性のある読み取りです。各ページが最新の書き込みを反映しなければならないのでない限りConsistentRead=falseのままにしましょう。強い整合性のあるスキャンでさえ数分にわたるので、時点スナップショットではありません: 選んだ時点からの S3 へのエクスポートがそれです。
次のステップ
日々の読み取りが決してスキャンを必要としないようキーをモデル化しましょう: シングルテーブル設計、 Query vs Scan、 Scan が遅く高くつく理由から始めます。
キー条件は式ビルダーで組み立てましょう。テーブル全体のジョブが正しい選択のときは、DynoTable を試して、大きなテーブルでの事前のサイズ警告と、ライブのスキャン進捗つきで実行しましょう。