DynamoDB の GSI が結果整合性である理由
アイテムを書き込み、すぐにそれをグローバルセカンダリインデックスでクエリすると、何も返ってきません。書き込みは成功し、ベーステーブルの GetItem はそのアイテムを問題なく返すのに、です。
何も壊れていません。GSI の整合性ルールに当たったのです。GSI のすべての読み取りは結果整合性です。書き込みの後に、インデックスがまだ追いついていない短い窓があります。
DynamoDB の GSI は結果整合性ですか?
はい。グローバルセカンダリインデックスのすべての読み取りは結果整合性であり、それを無効化する方法はありません。書き込みはまずベーステーブルにコミットされ、それから非同期にインデックスへ伝播するため、書き込み直後に発行した クエリ は古い、あるいは欠けた行を返すことがあります。DynamoDB は GSI に対する ConsistentRead: true を拒否します。
- ベーステーブルから自分の書き込みを読む。 書き込み直後にはすでにプライマリキー を握っており、ベーステーブルは強い整合性のある読み取りをサポートしています。
- 一意性は条件付き書き込みで強制する。 GSI での「これは使われているか?」のチェックは競合します。ガードアイテムに対する条件は競合しません。
- 書き戻す前に読み直す。 GSI から得た値は古いことがあるので、整合性のある
GetItemで確認し、書き込みをその値に対する条件付きにします。
症状:自分を「見つけられない」サインアップ
ユーザーアカウントサービスの Members テーブルを取り上げます。ベーステーブルは内部 id でキーイングされていますが、ユーザーはメールでログインするため、メール参照の GSI があります。
| PK | SK | displayName | |
|---|---|---|---|
| ACC#a1f9c | PROFILE | ada@northwind.test | Ada L. |
| GSI1PK | GSI1SK |
|---|---|
| ada@northwind.test | ACC#a1f9c |
サインアップフローは2つのことを立て続けに行います。新メンバーを PutItem し、それから他の誰もそのアドレスを請求していないか確認しプロフィールを読み込むために
Query EmailIndex WHERE GSI1PK = "ada@northwind.test" です。
その2つの呼び出しを数ミリ秒違いで実行すると、Query は 0件 を返すことがあります。1秒後にもう一度やれば行はそこにあります。書き込みは失敗していません。インデックスがまだ更新されていなかっただけです。
なぜこうなるのか:GSI は非同期にレプリケートされる
GSI は、自身のパーティションと自身のキースキーマを持つ 別個の、内部で管理されるテーブルです。DynamoDB は、ベーステーブルへの書き込みと同じ操作の中でそれを更新するわけではありません。
PutItem すると、DynamoDB はベーステーブルにコミットし、あなたの書き込みを承認し、それから各 GSI へ変更を非同期に伝播します。AWS の
GSI ドキュメントによると、変更は "within a fraction of a second, under normal conditions" で届きます。
同じページは "in some unlikely failure scenarios, longer propagation delays might occur." とも警告しています。ですから、遅延に上限があるかのように設計しないでください。
非同期は独立を意味しません。GSI が自分の分の書き込みを吸収できなければ、DynamoDB はベーステーブルへの書き込みをスロットリングします。 GSI がベーステーブルの書き込みをスロットリングする理由を参照してください。
200 OK と「変更をレプリケート」の間のギャップが、インデックス読み取りが古い窓です。ベーステーブルでは、強い整合性 のある GetItem や Query に
ConsistentRead: true を渡せばそれを閉じられます。
GSI では同じフラグが ValidationException: Consistent reads are not supported on global secondary indexes で失敗します。LSI は強い整合性で読むことが できます。ベーステーブルのパーティションを共有するからです。GSI と LSI を参照してください。
GSI 上の読み取りコスト
GSI クエリは、他の結果整合性のある読み取りと同じように課金されます。返されたインデックスエントリを合計して 4 KB あたり 0.5 読み取りユニット で、リクエストごとに1回切り上げます。プロビジョニングされたテーブルでは読み取りキャパシティユニット、オンデマンドでは読み取りリクエストユニットです。
GSI にはそのオプションが存在しないので、強い整合性の料金を払うことはありません。自分のアイテムサイズでの結果整合性のある読み取りの料金は 料金計算機 で見積もってください。
より巧妙な罠:欠けた新しい値だけでなく、古い値
行が欠ける場合は明白なものです。より静かなバグは、古い以前の値を読むことです。
Ada がメールを ada@northwind.test から ada.l@northwind.test に変更したとします。ベーステーブルはアトミックに更新されますが、一瞬の間、GSI はまだ古いインデックスエントリを返すことがあります。新しい値に対する参照は外れる一方、捨てられた値はまだ解決されます。
GSI をクエリして読んだものに基づいて書き戻すと、もはや存在しない値に作用しかねません。すべての GSI エントリはベーステーブルのプライマリキーを持っているので、結果から PK と SK
を取り出し、GetItem と ConsistentRead: true でアイテムを読み直しましょう。
それから、たった今読んだ内容に対して書き込みを条件付きにします。たとえば
ConditionExpression: "email = :seen" や、インクリメントする version 属性です。その間にアイテムが変わっていれば、書き込みは上書きせずに
ConditionalCheckFailedException で失敗します。
遅延を前提に設計する
4つのパターン、おおむね好ましい順に。
ベーステーブルから自分の書き込みを読む。 書き込み直後にはすでにプライマリキー(
PK = ACC#a1f9c、SK = PROFILE)を握っているので、GSI をクエリする代わりにベーステーブルに対して強い整合性のあるGetItemを行います。GSI は 別の アクセスパターン(「メールを持っている、アカウントを探す」)のためであって、たった今行った書き込みを確認するためではありません。
一意性は GSI ではなくガードアイテムで強制する。 GSI クエリでは、メールが未請求であることを証明できません。2つの同時サインアップが両方とも空のインデックスを見て、両方とも成功しうるからです。
代わりに、メールそのものでキーイングした専用の一意性アイテム(
PK = "EMAIL#ada@northwind.test"、SK = "EMAIL")を、attribute_not_exists(PK)のConditionExpressionを付けたTransactWriteItemsの中で書き込みます。TransactWriteItems: - Put member item (PK = ACC#a1f9c, SK = PROFILE) - Put uniqueness item (PK = EMAIL#ada@northwind.test, SK = EMAIL, accountId = ACC#a1f9c) ConditionExpression: attribute_not_exists(PK)2つ目のサインアップが同じアドレスを競って取りに来たら、その条件が失敗しトランザクション 全体が拒否されます。条件はベーステーブルに対してチェックされるので、勝てるサインアップは1つだけです。
ガードアイテムに
accountIdを保存すれば、それは強い整合性のあるメール参照も兼ねます。ConsistentRead: trueでGetItemしましょう。Ada がメールを変更したら、同じトランザクションの中で古いガードを削除し、新しいガードを put します。その
attribute_not_exists条件を、コードに組み込む前に DynamoDB Expression Builder で組み立ててプレビューしましょう。UX 上で遅延を許容する。 GSI の読み取りのほうがなお安く済む場面(1回の
Queryで射影されたプロフィールが返る一方、ガードアイテムではaccountIdによる2回目のGetItemが必要)では、遅延が問題になるのは書き込み直後の瞬間だけで、ほとんどのアカウントはとうの昔に伝播しています。強い整合性のあるベーステーブルの道は、書き込み直後の読み取りの瞬間だけのために取っておきましょう。
予算を決めて再クエリする。 ワークフローが出来たてのアイテムを GSI 越しに観測しなければならないなら、空の結果を「存在しない」ではなく「まだ見えない」として扱います。
指数バックオフ(100 ms、200 ms、400 ms)で数回リトライし、約1秒で止めます。それから書き込んだキーに対する強い整合性のある
GetItemにフォールバックすれば、アイテムが存在するかどうかが分かります。
DynoTable で伝播を確認する
DynoTable では、フィルタビルダーのインデックスピッカーが同じフィルタをベーステーブルにも GSI にも実行します。結果はライブではなくクエリを実行したときに更新されるので、1秒未満の遅延を手作業で捉えることはふつうありません。
確認できるのは結果です。書き込みの後に GSI をクエリし、期待する射影属性を持ったアイテムが届いていることを確認しましょう。書き込み直後の空の結果は遅延であって、書き込みの失敗ではありません。
落とし穴と次のステップ
- GSI の書き込み直後読み取りにロジックを依存させない。 一意性チェック、「書き込みは着地したか」の確認、read-modify-write ループは、強い整合性のあるベーステーブルに属します。
- ベースキーがすでに答えるアクセスパターンを GSI としてモデリングしない。 プライマリキーから読み取りを提供すれば、伝播の窓を完全にスキップできます。
これのほとんどはキーの形で決まります。シングルテーブル設計 を参照してください。Query が Scan に勝るときを知ることが、そもそもインデックスから遠ざけてくれます(Query と Scan)。
一意性の ConditionExpression を DynamoDB Expression Builder
で構築してテストしましょう。そして DynoTable を試して 同じフィルタビルダーからベーステーブルとその GSI をクエリし、結果整合性の窓が噛まないようにキーを設計してください。