DynamoDB の強い整合性と結果整合性のある読み取り
アイテムを更新し、すぐにそれを読み戻すと、古い値 が返ってきます。書き込みは成功しており、少し経つと同じ読み取りが新しい値を返します。
何も壊れていません。DynamoDB のデフォルトである 結果整合性のある読み取り に当たったのであり、読み取りコストを 2 倍払えば、リクエストごとにそれをオプトアウトできます。
DynamoDB の強い整合性のある読み取りと結果整合性のある読み取りの違いは何ですか?
- 結果整合性(デフォルト)。 書き込み直後に一瞬だけ古いデータを返すことがあります。最も安い読み取りモードです。
- 強い整合性。 読み取り前に成功したすべての書き込みを常に反映します。
ConsistentRead=trueでリクエストごとにオプトインします。 - 強い読み取りは結果整合性の 2 倍のコスト。 強い整合性のある読み取りは、同じデータについて結果整合性のある読み取りの 2 倍の読み取りキャパシティを消費します。
- どこでも使えるわけではない。 強い読み取りはベーステーブルと ローカルセカンダリインデックス で使えます。グローバルセカンダリインデックスは結果整合性のみ で、オプトインはできません。
- デフォルトは結果整合性に。 自分が今書いたばかりのデータを読み、一瞬の古さが問題になる場合にのみ強い読み取りに手を伸ばしましょう。
DynoTable は DynamoDB のデフォルトである結果整合性で読み取ります(詳細)。
問題:最新の書き込みが見えない読み取り
ユーザーアカウントを運用しているとします。ユーザーが通知用メールを変更し、アプリが更新を書き込み、確認画面がすぐにプロフィールを読み直します。
デフォルトの読み取りモードでは、その読み直しがまだ変更を受け取っていないレプリカに当たることがあるため、ユーザーは 古い メールを見て、保存が失敗したと思い込みます。
AWS はこの窓の長さを数値で公表しておらず、ドキュメントには、読み取りを繰り返せば "after a short time" で新しいアイテムが返るはずだとしか書かれていません。 read-after-write の確認には、それでは不十分です。
修正は、読み戻しに付けるフラグ 1 つです。アイテムを書き込んだばかりなので、そのキーは分かっています。
import {DynamoDBClient, GetItemCommand, UpdateItemCommand} from '@aws-sdk/client-dynamodb';
const client = new DynamoDBClient({});
const Key = {pk: {S: 'USER#204'}};
await client.send(
new UpdateItemCommand({
TableName: 'Accounts',
Key,
UpdateExpression: 'SET email = :e',
ExpressionAttributeValues: {':e': {S: 'ada@example.com'}}
})
);
// Strongly consistent: reflects the update above.
const {Item} = await client.send(
new GetItemCommand({TableName: 'Accounts', Key, ConsistentRead: true})
);CLI では、同じ読み取りは aws dynamodb get-item --consistent-read です。画面に必要なのが今書いた内容だけなら、2 回目の読み取りは省きましょう。UpdateItem に
ReturnValues: 'ALL_NEW' を設定すれば、更新後のアイテムが返ります(ReturnValues)。
なぜ結果整合性が起きるのか
DynamoDB は各パーティションを、別々のアベイラビリティゾーンにあるレプリカとして保持し、そのうちの 1 つが リーダー です。書き込みは 3 つのレプリカのうち 2 つがログに記録した時点で承認され、3 つ目は少し後に追いつきます(USENIX ATC 2022 の論文)。
論文には "Only the leader replica can serve write and strongly consistent read requests" とあり、一方で結果整合性のある読み取りはどのレプリカでも処理できます。そのため、結果整合性のある読み取りは、まだ追いついていないレプリカに当たることがあります。
その複製遅延こそが、挙動の違いのすべてです。価格も異なります。"Eventually consistent reads are half the cost of strongly consistent reads" (AWS ドキュメント)。
コストを具体的に
読み取りは 4 KB のブロック単位で計測されます。プロビジョンドテーブルでは読み取りキャパシティユニット(RCU)、オンデマンドでは読み取りリクエストユニットです。 1 ユニットで、最大 4 KB の 強い整合性のある読み取り 1 回 または結果整合性のある読み取り 2 回 が買えます。
ベーステーブル上の同じ 6 KB のアイテムを 2 通りで読む場合:
| モード | 4 KB ブロック | 消費 RCU | 使いどころ |
|---|---|---|---|
| 強い整合性 | 2(6 KB は切り上げ) | 2 RCU | 自分の書き込み後の確認画面 |
| 結果整合性 | 2 | 1 RCU | ダッシュボード、一覧、分析 |
つまり、ホットな読み取りパスで ConsistentRead=true に切り替えると、その読み取りの請求は倍になります。このような読み取りが毎秒 1,000 回あれば、毎秒 1,000 ユニットではなく
2,000 ユニットです。
強い読み取りをデフォルトにする前に、自分のアイテムサイズで料金計算ツール を使ってモデル化しましょう。
強い読み取りが使える場所(と使えない場所)
| 読み取り対象 | 強い整合性は可能か? |
|---|---|
| ベーステーブル | 可能。ConsistentRead=true でオプトイン |
| ローカルセカンダリインデックス(LSI) | 可能。ベーステーブルと同じオプトイン |
| グローバルセカンダリインデックス(GSI) | 不可。結果整合性のみで、上書き不可 |
GSI はベーステーブルから非同期にレプリケートされる独自のデータコピーを保持するため、強い読み取りを提供することは決してできません。
あるアクセスパターンが read-after-write を必要としていて、それを GSI で提供する予定だったなら、ConsistentRead: true を付けて、プライマリキーでベーステーブルからアイテムを読み戻しましょう。
LSI も強い読み取りをサポートしますが、テーブル作成時に宣言した場合に限ります。後から追加することはできません。
BatchGetItem は ConsistentRead をテーブルごとに受け取り、そのテーブルのすべてのキーがその設定を共有します。1 回の呼び出しで、プロフィールのテーブルを強い整合性で、設定のテーブルを結果整合性で読むことができますが、シングルテーブル設計では両方が 1 つの設定になります。インデックスを読むことはありません。
リージョンをまたぐ整合性
グローバルテーブル のデフォルトはマルチリージョンの結果整合性(MREC)で、他のリージョンは変更を "typically within a second" で受け取ります。
強い読み取りが強いのは自分のリージョンのレプリカに対してだけなので、us-east-1 での書き込みが、eu-west-1 での強い読み取りからすでに見えているとは限りません。
リージョンをまたいで read-after-write が必要なら、書き込みを受けたリージョンに読み取りを送ります。これはどのグローバルテーブルでも機能します。
あるいは、テーブルをマルチリージョンの強い整合性(MRSC)モードで作成します。このモードでは "strongly consistent read operations on any MRSC replica always return the latest version of an item" です(AWS ドキュメント)。
MRSC は作成時に選択し、後から変更することはできません。ちょうど 3 つのリージョン(3 つのレプリカ、または 2 つのレプリカと 1 つのウィットネス)が必要で、既存のテーブルを変換するにはテーブルが空でなければなりません。TTL も LSI もサポートせず、トランザクションを拒否します。MRSC レプリカでは TransactWriteItems と TransactGetItems がエラーを返します。
DynoTable のデフォルト
DynoTable のテーブル読み取り(グリッドのクエリ、スキャン、PartiQL の SELECT)は
DynamoDB のデフォルトである結果整合性で、コミット後のリフレッシュも同様です。アプリには強い整合性のある読み取りに切り替えるスイッチはありません。
必要なときは、CLI の get-item --consistent-read を使うか、read-after-write の保証が必要なサービス向けに、クエリビルダー から
ConsistentRead を設定した SDK コードを出力します。
落とし穴と次のステップ
- 強い読み取りをデフォルトにしない。 ほとんどの読み取りは一瞬だけ古い値を許容できます。どこでも 2 倍を払うのは無駄遣いです。
- GSI に read-after-write を期待しない。 設計上、結果整合性です。なぜ GSI は結果整合性なのか を参照してください。
- トランザクションは強く読む。
TransactGetItemsは常に最新のコミット済みの値を返します。例外はトランザクションを拒否する MRSC のグローバルテーブルです。 DynamoDB トランザクション を参照してください。 - 整合性はキャパシティと相互作用する。 2 倍の乗数はオンデマンドとプロビジョンド のコスト計画に直結します。
DynoTable をダウンロード すると、各テーブルの「概要」で LSI と GSI を確認できるので、サービスに ConsistentRead を組み込む前に、どの読み取りを強い整合性にできるかが分かります。