上級読了 2 分

DynamoDB で複数の属性に一意性を課す

DynamoDB が一意性を保証するのは、ただ 1 つ、だけです。UNIQUE (email) 制約も、UNIQUE (username) も、2 つの属性にまたがるものもありません。SQL から来ると、この欠如が最初の驚きであり、人々が競合状態を出荷してしまう最初の場所でもあります。

DynamoDB で複数の属性に一意制約を課すにはどうすればよいですか?

DynamoDB には以外に UNIQUE 制約がないため、一意性は自分で強制します。保護すべき各値を、そのキー そのものが その値であるような独自のマーカー項目としてモデル化し、レコードとすべてのマーカーを 1 つの TransactWriteItems でまとめて書き込み、各 put を attribute_not_exists でガードします。

  • キーにする前に正規化する。 メールは先に小文字化してトリムします。そうしないと Ada@Lovelace.io が ada@lovelace.io の隣に 2 つ目のロックを取得します。
  • 失敗は位置で読み取る。 CancellationReasons がどの値が使用済みかを教えてくれるので、ユーザーにはフィールドレベルのエラーを返せます。
  • ロックにはライフサイクルがある。 メールの変更とアカウントの削除もトランザクションにしないと、古いロックがその値を永遠にブロックします。
  • サインアップ 1 回につき 6 書き込みユニット(最大 1 KB のトランザクション書き込み 3 件)かかります。拒否された場合も同じです。

なぜ一見わかりやすいアプローチが間違っているのか

直感は、メールを Query(もっと悪いと Scan)して何も見つからなければ、新しいアカウントを PutItem することです。それはチェックしてから実行する競合です。

2 人が同じミリ秒に ada@lovelace.io で登録します。どちらの読み取りも空を返します。どちらの書き込みも成功します。あなたは今、1 つのメールに 2 つのアカウントを抱えていて、テーブルにはそれを示すものが何もありません。

email への も助けにはなりません。GSI は結果整合性なので、書き込みを門番する読み取りは設計上、古くなっていることがあります。書き込みそのものが、使用済みの値で失敗するようにしてください。

各制約をマーカー項目としてモデル化する

エンジンはすでに 1 つの一意性ルールを無料で強制しています。同じキーで 2 つの項目を書き込むことはできません。だからすべての一意性ルールをキーとしてエンコードします。

本物のアカウント項目と並べて、保護する属性ごとに マーカー項目 を 1 つ書き込みます。マーカーのパーティションキー そのものが 名前空間化された値です。値が使用済みなら、そのキーが存在するので、ガード付きの put はそれを上書きできません。

email と username の両方を一意に保たなければならないサインアップでは、3 つの項目が一緒に動き、シングルテーブルのレイアウトでキー付けされます(シングルテーブル設計を参照)。

項目PKSK目的
アカウントレコードACCT#a1f9c3PROFILE本物のアカウント
メールロックUNIQ#EMAIL#ada@lovelace.ioLOCKメールを予約する
ユーザー名ロックUNIQ#HANDLE#adaLOCKユーザー名を予約する

アカウント自身の PK は生成された id(ACCT#a1f9c3)であって、メールではありません。なので、ユーザーは後でプライマリキーを書き換えることなくメールを変更できます。

各ロックキーは 正規化した 値(トリムして小文字化したメール、ハンドルはプロダクトが約束する大文字小文字の扱いに従ったもの)から作ります。

各ロックは、それを保持するアカウントを示す属性 owner を 1 つ持つので、後で追跡し、安全に削除できます。

3 つすべてをアトミックに書き込む

TransactWriteItems は最大 100 件の書き込みを 1 つの all-or-nothing の単位として適用します。各 put を attribute_not_exists(PK) でガードして、そのキーがすでに存在すれば失敗するようにします。

いずれか 1 つの条件が失敗すれば(メールロック、ハンドルロック、あるいはアカウントそのもの)、DynamoDB はトランザクション全体をロールバックし、TransactionCanceledException をスローします。部分的なサインアップも、孤立したロックもありません。

{
  "TransactItems": [
    {
      "Put": {
        "TableName": "accounts",
        "Item": {
          "PK": {"S": "ACCT#a1f9c3"},
          "SK": {"S": "PROFILE"},
          "email": {"S": "ada@lovelace.io"},
          "username": {"S": "ada"}
        },
        "ConditionExpression": "attribute_not_exists(PK)"
      }
    },
    {
      "Put": {
        "TableName": "accounts",
        "Item": {
          "PK": {"S": "UNIQ#EMAIL#ada@lovelace.io"},
          "SK": {"S": "LOCK"},
          "owner": {"S": "ACCT#a1f9c3"}
        },
        "ConditionExpression": "attribute_not_exists(PK)"
      }
    },
    {
      "Put": {
        "TableName": "accounts",
        "Item": {
          "PK": {"S": "UNIQ#HANDLE#ada"},
          "SK": {"S": "LOCK"},
          "owner": {"S": "ACCT#a1f9c3"}
        },
        "ConditionExpression": "attribute_not_exists(PK)"
      }
    }
  ]
}

条件がメカニズムのすべてです。attribute_not_exists がなければ、同じメールでの 2 回目のサインアップが最初のロックを黙って上書きします。それがあれば、put は拒否され、トランザクションはキャンセルされ、アプリは「メールはすでに使用されています」と表示します。

最大 1 KB の項目のトランザクション書き込みは 1 件あたり 2 書き込みユニットかかるので、サインアップは 6 かかり、AWS は "even when the transaction is canceled" それを課金します。拒否された重複も、毎回同じ 6 かかります。

DynamoDB 式ビルダーは各 put の条件と型付き Item を出力します。トランザクションは組み立てないので、各 put を TransactItems 配列に貼り付けてください。

失敗を読み取る、推測しない

トランザクションがキャンセルされると、DynamoDB は CancellationReasons 配列をリクエスト順で返します。項目ごとに 1 エントリで、エラーのない項目は None です。

0 から数えて、インデックス 1 の ConditionalCheckFailed はメールが使用済みであることを、インデックス 2 はユーザー名が使用済みであることを意味します。両方が使用済みなら、両方が報告されます。

インデックスを、一般的な「サインアップに失敗しました」ではなく、フィールドレベルのエラーに対応づけてください。

ロックを調べる

マーカー項目はアプリの UI では見えません。配管です。サインアップが失敗し、ロックが存在するかどうかを知る必要があるときは、正確なキーで読み取ります。 {PK: "UNIQ#EMAIL#ada@lovelace.io", SK: "LOCK"} に対する強い整合性のある GetItem です。

アカウントとそのロックは 3 つの異なるパーティションキーを持つので、それらをまとめて返す単一の読み取りはありません。Query には正確なパーティションキーが必要で、UNIQ# プレフィックスには一致させられません。

すべてのロックを監査するには、FilterExpression: begins_with(PK, :uniq) で Scan します。これはテーブル全体を読み取って課金するので、リクエストパス上ではなく、ときどき実行するジョブとして走らせてください。

DynoTable では、正確なロックキーをパーティションキーのフィルタに入力すると、その 1 項目に対する Query が owner 属性込みで実行されます。

DynoTable で 1 つのメールロックを正確なパーティションキーで検索しているところ。アカウントに結びつける owner 属性も表示されている。
DynoTable で 1 つのメールロックを正確なパーティションキーで検索しているところ。アカウントに結びつける owner 属性も表示されている。

変更と削除のたびにロックも動かす

ロックは書き込んだら終わりではありません。ライブの値を反映するので、保護された属性に触れるすべての操作もまたトランザクションです。

  • メールを変更する。 1 つのトランザクションで、新しい UNIQ#EMAIL#… ロックを attribute_not_exists(PK) で put し、古いロックを条件 #owner = :acct で削除し(owner は予約語なので #owner に対応づけます)、アカウントを更新します。owner のチェックにより、今は別のアカウントが保持しているロックを削除してしまうことを防げます。
  • アカウントを削除する。 アカウント項目 と 両方のロック項目を 1 つのトランザクションで削除し、各ロックの削除を同じ owner 条件でガードします。
  • 安全にリトライする。 すでにコミットされたサインアップを再送すると、3 つの条件すべてが失敗し、偽の競合が報告されます。安定した ClientRequestToken(サインアップのリクエスト id)を渡し、同じ ACCT# id を含む同一のリクエストを再送してください。DynamoDB は 10 分以内のその再送を同じ呼び出しとして扱い、成功を返します。同じトークンで内容を変えたリクエストは IdempotentParameterMismatchException で失敗します。

それでもロックがアカウントより長生きした場合(トランザクションを経由しなかった削除など)は、上の監査スキャンで見つけ、各 owner を GetItem し、アカウントが存在しないロックを、やはり owner 条件付きで削除します。

次のステップ

一意性マーカーはシングルテーブルのパターンなので、他の項目のすぐ隣に自然に収まります。キーのレイアウトについてはシングルテーブル設計を、ロックのチェックが Scan ではなくキー検索である理由については Query vs Scan を読んでください。

条件付きの put を DynamoDB 式ビルダーで下書きし、DynoTable を試して自分のテーブルのロック項目を調べてみてください。

著者: Dmitriy · 更新日