中級読了 3 分

DynamoDB の参照カウント

参照カウント とは、いくつの子アイテムがそれを指しているかを追跡するために、親アイテムに保存しておく数値です。投稿へのいいね、ワークスペースのメンバー、コメントへの返信などです。読み取りのたびに子を数えるのは高くつくので、これを保持します。

DynamoDB でカウントを管理するにはどうすればよいですか?

実行中の合計を親アイテムに保存し、子を作成するのと同じ書き込みで更新します。 を使えば両方が反映されるかどちらも反映されないかのどちらかになり、子への条件によって重複が二重にカウントされるのを防ぎます。

  • 読み取り時に子を数えない。 カウント用の Query は、読み取るすべての子のバイト数に対して課金される。合計を投稿に保存し、代わりに 1 アイテムを読む。
  • 子を作成する書き込みでカウントを加算する。 そうすれば両者は決してずれない。
  • 子とカウントが別々のアイテムなら を使う。 TransactWriteItems が両方とも反映されるか、どちらも反映されないかを保証する。
  • 子の書き込みを条件でガードする。 条件がないと、重複したいいねがインクリメントを再実行し、数値が膨らむ。

そもそもなぜ数えるのか

SQL から来た人なら、いいね数を保存することはまずないでしょう。SELECT COUNT(*) FROM likes WHERE post_id = ? を投げ、インデックスに安くやらせます。DynamoDB には、アイテムの読み取りを省略する COUNT(*) がありません。Select: COUNT でも、読み取ったすべてのアイテムが課金されます。

下のいいねアイテムは約 40 バイトです。100 万件のいいねがある投稿はそれを約 39 MB 抱えるので、数えるたびに結果整合性の読み取りでおよそ 4,800 RCU を、約 38 回のページ分割された呼び出しで消費します。誰かが「いいねはいくつ?」と尋ねるたびにです。

そこで します。実行中の合計を投稿そのものに保存するのです。カウントの読み取りは 1 回の GetItem になります。代償は、それを正確に保つ責任を自分で負うことです。

アイテムをモデリングする

2 つのアイテム型がパーティションを共有し、投稿とそのいいねが 1 つのアイテムコレクションに収まるようにします。

Post item
PKSKattributes
POST#a91fMETAlikeTally (Number), body, authorId, createdAt
Like item
PKSKattributes
POST#a91fLIKE#USER#7c20likedAt

META アイテムの likeTally 属性が参照カウントです。各 LIKE# アイテムが子です。両方を PK = "POST#a91f" の下に置けば、リストが欲しいときに 1 回の Query で投稿といいねした人をまとめて取得できます。

カウントをアトミックに加算する

DynamoDB は ADD の、または SET x = if_not_exists(x, :zero) + :n で数値をインクリメントします(素の SET x = x + :n は、属性がまだ存在しないうちは失敗します)。

これが アトミックカウンター です。DynamoDB はサーバー側でデルタを適用するため、並行するインクリメントが互いを上書きしません(AWS: アトミックカウンター)。

投稿にいいねするのは 2 つ のアイテムへの 2 回 の書き込みです。LIKE# アイテムを作成し、META の likeTally に 1 を加えます。いいねは反映されたのに加算が失敗すると、集計は永遠に間違ったままです。両方か、どちらもなしが必要です。

それこそが TransactWriteItems が保証するものです。複数アイテムにわたる all-or-nothing で、処理中に別のリクエストがいずれかのアイテムを変更すると、全体がキャンセルされます(AWS: トランザクションによる悲観的ロック)。

{
  "TransactItems": [
    {
      "Put": {
        "TableName": "Social",
        "Item": {
          "PK": {"S": "POST#a91f"},
          "SK": {"S": "LIKE#USER#7c20"},
          "likedAt": {"N": "1750636800"}
        },
        "ConditionExpression": "attribute_not_exists(SK)"
      }
    },
    {
      "Update": {
        "TableName": "Social",
        "Key": {
          "PK": {"S": "POST#a91f"},
          "SK": {"S": "META"}
        },
        "UpdateExpression": "ADD likeTally :one",
        "ExpressionAttributeValues": {":one": {"N": "1"}}
      }
    }
  ]
}

Put と Update はまとめてコミットされます。どちらかが失敗すると、どちらも適用されず、DynamoDB は TransactionCanceledException を返します。

二重カウントをガードする

トランザクションは、いいねが半分だけ書かれることを防ぎます。残るバグは 同じユーザーが 2 回いいねする こと、あるいはクライアントがリクエストを再生することです。再生のたびにもう 1 つ 1 が加わり、likeTally は真の数を超えてずれていきます。

Put 上の ConditionExpression: attribute_not_exists(SK) がガードです。そのユーザーの LIKE# アイテムがすでに存在すれば、条件が失敗し、トランザクション全体がキャンセルされ、ADD は決して実行されません。ユーザーごとにいいね 1 つ、キーによって強制されます。

キャンセルされた重複もエラーとして返ってきますが、それはすでに反映済みのいいねかもしれません。CancellationReasons を確認しましょう。Put のエントリのコードが ConditionalCheckFailed なら、そのユーザーはすでにその投稿にいいねしているので、いいね済みとして表示します。

自分で発行する再試行では、毎回同じ ClientRequestToken を渡します。すると DynamoDB は、すでに反映済みの呼び出しに対して、二重に適用することなく成功を返します。これは 10 分間有効です(AWS: トランザクション)。

JavaScript SDK v3 は、指定しなければトークンを自動で埋め、自身の自動再試行でもそれを再利用します。

これらの更新式と条件式は、正しい ExpressionAttributeValues と attribute_not_exists ガード付きで、JSON を手で組み立てるのではなく DynamoDB 式ビルダーで構築してコピーしましょう。

鏡像のトランザクションでいいねを解除する

いいねの削除は鏡像です。ConditionExpression: attribute_exists(SK) で LIKE# アイテムを Delete し、同じトランザクションで ADD likeTally :minusOne します。この条件は、二重のいいね解除で集計がマイナスになるのを防ぎます。

価格を知っておきましょう。トランザクション書き込みは、最大 1 KB のアイテムについて 1 アイテムあたり 2 WCU かかります(準備に 1 つ、コミットに 1 つ)。普通の書き込みは 1 WCU です。

いいねは 2 アイテムに触れるので、META が 1 KB 以下である限り 4 WCU かかります。キャンセルされたトランザクションも課金されます。

UpdateItem は、変更した属性ではなくアイテム全体に対して課金します。META が合計 3 KB(本文、キーなどすべて込み)なら、いいね 1 つは 2 + 6 = 8 WCU です。大きな投稿では、集計を専用の小さなアイテム(SK = COUNT)に置けば、コストは 4 のままです。

カウントで削除をゲートする

同じカウントで削除をガードすることもできます。たとえばワークスペースが META アイテムに projectCount を持ち、各プロジェクトを作成するトランザクションで加算しているとします。何も残っていないときだけワークスペースを削除します。

attribute_not_exists(projectCount) OR projectCount = :zero

前半が重要です。一度もプロジェクトを持たなかったワークスペースには projectCount 属性がなく、projectCount = :zero だけでは false と評価されて削除が拒否されます。

反対側からも競合を塞ぎましょう。projectCount を加算する Update に attribute_exists(PK) という条件を付けます。そうすれば、ワークスペースの削除後に追加されたプロジェクトは、カウント 1 の META を作り直すのではなくキャンセルされます。

DynoTable で見る

1 つの投稿を確認するには、そのパーティションをクエリします。LIKE# の行が先に来て、likeTally を持つ META の行は最後に並びます(L は M より前)。読み込める程度に小さい投稿なら、行数を集計と比べましょう。大きな投稿には、下の数え直しを使います。

1 つのアイテムコレクション内で、投稿の META アイテムとその LIKE# 子が並ぶので、保存された集計を子の数と比べられます。
1 つのアイテムコレクション内で、投稿の META アイテムとその LIKE# 子が並ぶので、保存された集計を子の数と比べられます。

範囲を区切った投稿の集合をまとめて比べるなら、DynoTable の SQL Workbench に join は要りません。 1 つの GROUP BY PK で、MAX(likeTally) を SUM(CASE WHEN SK LIKE 'LIKE#%' THEN 1 ELSE 0 END) の横に並べられます。これはプレーンな PartiQL では表現できません。

すべてのページを数えるには 最後まで実行(⌘⇧↩)を使いましょう。通常の Run は途中で止まり、集約を部分的なものとしてマークします。

落とし穴と次のステップ

ホットな投稿: 1 つの投稿へのいいねはすべて同じ META アイテムを更新します。1 アイテムが受けられるのは最大で毎秒 1,000 WCU、トランザクションのいいねにして毎秒約 500 件です。

並行するいいねは競合もします。競合はトランザクションを TransactionConflict でキャンセルし、SDK はそれを再試行しないので、ジッター付きバックオフで再試行しましょう。

その速度を超えるなら、カウンターをパーティションキーにまたがってシャーディングします。PK = "POST#a91f#<n>"、SK = "COUNT" の N 個のアイテムです。いいねのトランザクション内でランダムに 1 つを加算し、1 回の BatchGetItem で N 個すべてを読んで合計します。

シャーディングについてはアトミックカウンターとホットパーティションで扱っています。

あるいは加算をリクエストから外します。LIKE# アイテムだけを書き込み、Lambda のような DynamoDB Streams のコンシューマーに、いいねをまとめて集計へ加えさせます。カウントは遅れますが、いいねカウンターなら通常それで問題ありません。

LIKE# アイテムの INSERT は +1、その REMOVE(いいね解除)は -1 として数えます。それ以外のレコードはすべて読み飛ばします。投稿の作成や削除は META の INSERT や REMOVE であり、コンシューマー自身の ADD は META の MODIFY として返ってくるからです。

Lambda は失敗したバッチを再試行するので、最初に失敗したレコードを報告(ReportBatchItemFailures)し、バッチ全体を足し直すのではなくそこから再開させます。下の数え直しは、この経路では 1 つ追加のチェックを加えたうえで、どんなずれも修復します。

毎晩の数え直しは書き込み経路ではありません。 すべての投稿を数え直すジョブは、トランザクショナルであるべきだった書き込み経路を取り繕っているだけです。ストリーム集約は違います。それ自体が書き込み経路だからです。

照合は稀に、そして修復する。 すべての変更が条件付きなら、ずれはほぼゼロのはずです。不一致は、まず直すべき書き込み経路を指しています。

そのうえで、 Query PK = "POST#a91f" AND begins_with(SK, "LIKE#")、Select: COUNT、 ConsistentRead: true で数え直し、ページをまたいで Count を合計します。

結果は SET likeTally = :n で、数える前に読んだ値を使った条件 likeTally = :old を付けて書き込みます。修復中にいいねが反映されると、そのいいねが失われる代わりに条件が失敗します。数え直して再試行しましょう。

ストリーム集約では、集計はストリーム内にまだあるいいねの分だけ遅れており、数え直しはそれらも数えます。そこで修復すると、コンシューマーがそれらをさらに上乗せします。DynamoDB Local では、3 件のいいねが集計 6 になりました。

そのため、集計を読み、数え、コンシューマーの遅延(その IteratorAge メトリクス)より長く待ってから、もう一度集計を読みます。値が動いていれば、いいねがまだ処理中だったか新しいいいねが届いたということです。投稿が落ち着いたとき(オフピーク、または盛り上がりが収まってから)に再試行しましょう。

動いていなければ、カウントが見たものはすべて適用済みです。最初の集計を条件にしてそのカウントを書き込みます。その後に反映されたいいねは、正しく上乗せされます。

関連する読みもの: 投稿といいねがパーティションを共有する理由はシングルテーブル設計、読み取り時に子を数えるのが避けるべきパターンである理由はQuery と Scan。

そしてDynoTable をダウンロードして、これらのアイテムコレクションを調べ、自分のテーブルに対して集計を検証しましょう。

著者: Dmitriy · 更新日