DynamoDB のアトミックカウンター:ADD の仕組みと限界
アトミックカウンターは、1 回の UpdateItem 呼び出しで、先に読み込むことなくその場で増やす数値属性です。
DynamoDB のアトミックカウンターとは?
DynamoDB のアトミックカウンターは、ADD(または SET x = x + :n)更新式を使った 1 回の UpdateItem 呼び出しでその場でインクリメントする数値属性です。DynamoDB が値をサーバー側で読み、足し、書くので、並行するライターは更新を失うことなく直列化されます。冪等ではないため、再試行した呼び出しは 2 回インクリメントします。
- 再試行は 2 回カウントされる。 ネットワークの瞬断と再試行が重なると、二重カウントになることがあります。競合下で正確なカウンターが必要なら、トークンを使うトランザクションかマーカー項目を使います。
- 存在しない属性に対する
ADDは 0 から始まるので、最初のインクリメントにシード書き込みは不要です。SET x = x + :nは、if_not_existsで包まない限り、存在しない属性に対してエラーになります。 - インクリメントのたびに完全な書き込みになり、項目のサイズに基づいて課金されるので、大きな項目ではインクリメントのたびにコストがかさみます。
- 1 つのカウンター項目は 1 つのホットキーです。 毎秒およそ 1,000 回の書き込みを超えるなら、シャード化します。
read-modify-write の問題
動画のビュー数を追跡するとしましょう。SQL からそのまま来る素朴な発想は、GetItem し、アプリで 1 を足し、新しい合計を PutItem で書き戻すことです。
2 人の視聴者が同時に再生を押します。両方が views = 41 を読みます。両方が 42 を書きます。2 ビューではなく 1 ビューを数えたことになります。これが失われる更新で、トラフィックが増えるまで表に出てきません。
SQL なら UPDATE videos SET views = views + 1 でそれをかわし、算術をデータベースに押し込みます。
DynamoDB にも同じ手があり、それがアトミックカウンターの核心そのものです。
1 回の呼び出しでインクリメント
動画ごとの統計項目をモデリングします。パーティションキー VID#<id>、ソートキー STATS#TOTAL、そして数値の play_count です。
| PK | SK | play_count |
|---|---|---|
| "VID#9f3a" | "STATS#TOTAL" | 41 |
再生を記録するには、ADD 句を付けた UpdateItem を 1 回送ります。
# UpdateItem
Key PK = "VID#9f3a", SK = "STATS#TOTAL"
UpdateExpression ADD play_count :one
Values :one = 1
DynamoDB は play_count を読み、1 を足し、その結果を単一のサーバー側操作の中で書きます。別のライターが割り込む余地はありません。10 件の並行再生は毎回 +10 を生みます。それが「アトミック」で得られるものです。
この式そのもの(名前、値、そして 4 つの句タイプすべて)は、 DynamoDB Expression Builder で組み立ててコピーできます。
ADD は play_count がまだ存在しないときでも動きます。DynamoDB は存在しない数値属性を 0 として扱うので、最初の再生がそれを 1 で作成します。別のシード書き込みは不要です。(AWS: Using update expressions)
ADD vs SET +:どちらか一方を選ぶ
2 つの式は同じ算術を行います。AWS の更新式ガイドには次のようにあります: "In general, we recommend using SET rather than ADD to ensure idempotent operations."
(AWS: Using update expressions)
これが当てはまるのは絶対値への SET、つまり後述の条件付きパターンです。
SET play_count = play_count + :one は、再試行されると ADD とまったく同じように繰り返されます。
ADD play_count :one | SET play_count = play_count + :one | |
|---|---|---|
| 属性が存在しない | 0 から始めて作成 | エラー。if_not_exists が必要 |
| データ型 | 数値とセットのみ | SET 経由で数値(およびそれ以上) |
SET との併用 | 別の句 | 1 つの SET 句、カンマ区切り |
| 再試行しても安全 | いいえ | いいえ |
属性が存在しないかもしれず、SET を使いたいなら、ガードします:
SET play_count = if_not_exists(play_count, :zero) + :one。ADD なら 0 からシードされるので、これは不要です。
インクリメント 1 回あたりの書き込みコスト
各 UpdateItem は、書き込み前と書き込み後のサイズのうち大きい方で測った項目の、1 KB(端数切り上げ)ごとに 1 書き込みユニットを課金します。プロビジョンドキャパシティなら WCU、オンデマンドなら書き込みリクエストユニットです。
900 バイトの統計行なら再生 1 件につき 1 書き込みユニットなので、10 件の並行再生のコストは 1 ではなく 10 です。カウンターは小さな項目に置きましょう。行のサイズは項目サイズ計算ツールで見積もり、持続的な書き込みコストは料金計算ツールで見積もります。
罠:カウンターは冪等ではない
アトミックカウンターは UpdateItem が実行されるたびにインクリメントします。(AWS: Working
with items)
ネットワークの瞬断を思い浮かべてください。インクリメントを送り、レスポンスが戻ってくる前に接続が切れて、それが反映されたかどうか分かりません。あなたは再試行します。最初の呼び出しが成功していたなら、その再生を 2 回数えたことになります。
動画のビュー数ならそれで問題ありません。100 万再生の中の数件の二重カウントは誰も困らせませんし、ウェブサイトの訪問者の追跡は、AWS 自身が挙げているアトミックカウンターの例です。(AWS: Working with items)
正確でなければならないものにとっては、これは問題です。売り越せる在庫、二重に使えるクレジット、壊れうる残高などです。
正確さが必要なとき
再試行を安全にするパターンは 2 つあります。トークンを使うトランザクションは、他のライターが同じカウンターを叩いていても正確さを保ちます。条件付き書き込みはトランザクションを必要としませんが、競合下でレスポンスが失われた後は、再試行すべきかどうかを教えてくれません。
1. ClientRequestToken を付けたトランザクション。 同じ ADD を TransactWriteItems の中に置き、イベントから導出したトークン(再生 ID)を渡します。DynamoDB は、10 分以内に同じトークンで繰り返された呼び出しを同じ呼び出しとして扱います。
# TransactWriteItems
ClientRequestToken play-7f2c91
Update Key PK = "VID#9f3a", SK = "STATS#TOTAL"
UpdateExpression ADD play_count :one
Values :one = 1
コストは項目あたり 1 ではなく 2 書き込みユニットで、読み込みはありません。間に別の再生が反映されていても、再試行は何もしません。41 から始まり、あなたの再生、別の再生、そして同じトークンでのあなたの再試行の後、値は 43 になります。
10 分を超えて重複を排除するには、attribute_not_exists(PK) でガードした PLAY#<id> マーカー項目の
Put を同じトランザクションに追加します。すると繰り返しの呼び出しはキャンセルされるので、そのキャンセルを「カウント済み」として扱います。
マーカーは 2 つ目のトランザクション書き込みなので、再生 1 件あたりのコストは 4 書き込みユニットになり、マーカーは溜まっていきます。各マーカーには、最も長い再試行期間より後の時刻を設定した TTL 属性を付けましょう。
2. 絶対値への条件付き SET。 現在の値を読み、何も動いていない場合にだけ新しい値を書きます。
# UpdateItem
Key PK = "VID#9f3a", SK = "STATS#TOTAL"
UpdateExpression SET play_count = :next, last_req = :req
ConditionExpression play_count = :current
Values :next = 42, :current = 41, :req = "play-7f2c91"
すでに反映された書き込みの再試行は条件に失敗し、何も変えません(AWS: Working with items)。注意点は、ConditionalCheckFailedException が、別のライターが値を動かしたことを意味する場合もあることです。
ReturnValuesOnConditionCheckFailure: ALL_OLD を渡すと、例外に現在の項目が含まれます。last_req があなたのリクエスト ID なら、書き込みは反映されているので完了です。
last_req に別の ID が入っている場合は判断できません。あなたの書き込みがそのライターの書き込みの直前に反映されていた可能性があるため、再計算して再試行すると再生を 2 回数えることがあります。41 から、失われたあなたの書き込みで 42、別の再生で 43、再計算した再試行で 44、という具合です。
つまり条件付き書き込みが正確なのは、あなたの試行と再試行の間に他の誰もその項目に書き込まない場合だけです。正確でなければならない競合の多いカウンターには、トークン(10 分を超えるならマーカー)を使います。ビュー数なら、素の ADD で十分です。
落とし穴
- 1 つのホットな項目。 単一のカウンター項目は 1 つのパーティションキーであり、
DynamoDB がそれに提供するのは毎秒最大 1,000 書き込みユニットです。パーティションキーをシャード化しましょう。
0 から N−1 のランダムな
nでPK = "VID#9f3a#<n>"に書き込み、読み込み時は 1 回のBatchGetItemで N 個の項目すべてを読んで合計します。スロットリングされたシャードが黙って抜け落ちないよう、UnprocessedKeysは再試行します。まだ誰も書き込んでいないシャードはレスポンスに含まれないので、0 として数えます。シャード化の詳細はホットパーティションを参照してください。 BatchWriteItemにバッチインクリメントはありません。put と delete のみです。BatchExecuteStatementは 1 回の呼び出しで最大 25 個の PartiQLUPDATE "t" SET n = n + 1 WHERE PK = '…' AND SK = '…'ステートメントを実行し、各ステートメントはアトミックですが、バッチ全体はアトミックではありません。複数のカウンターを一緒に動かす必要があるなら、TransactWriteItemsが最大 100 個の Update アクションを、2 倍の書き込みコストで受け付けます。ADDは数値とセットのみ。 文字列やブール値には使えません。それはSETの役割です。完全な属性モデルについてはDynamoDB のデータ型を参照してください。
DynoTable でやってみる
DynoTable はやみくもなインクリメントを送りません。一括編集の 追加 は、各項目を読み込み、新しい合計を書き込み、値が変わっていないことを条件にコミットします。
これは上の条件付きパターンを、多数の行やクエリにマッチするすべての項目に適用したものです。並行する変更があると、その項目は古い合計を書き込む代わりに、競合になるかスキップされます。同じ追加を 2 回実行すれば、やはり 2 回加算されます。
現在の値を確認するには、統計項目をアイテムエディタで開きます。シャード化されたカウンターなら、
SQL Workbench でシャードの項目全体にわたる SUM(play_count) を計算できます。自分のコード用の素の ADD
リクエストは、DynamoDB Expression Builder で下書きします。
次のステップ
アトミックカウンターは書き込みパターンです。集計をどう読み戻すかはモデリングの問題です。統計項目を親の隣に保つことについてはシングルテーブル設計を、ロールアップを Scan
に頼らないことについてはQuery vs Scanを参照してください。
DynamoDB Expression Builder でインクリメントを下書きしてコピーし、それからDynoTable を試して、カウンターを確認し、自分のテーブルに対してガード付きの一括更新を適用しましょう。