DynamoDB の非正規化
SQL から来ると、非正規化は罪のように聞こえます。データの重複、単一の真実の源がない。 DynamoDB ではそれこそが要点です。結合がないので、それを必要とするアイテムに関連データをコピーし、1 回で読み戻すのです。
DynamoDB の非正規化とは何か?
DynamoDB の非正規化とは、それを読むアイテムに関連データをコピーし、1 回のリクエストで画面が必要とするものがすべて返るようにすることです。DynamoDB には結合がないため、読み取り時にテーブルを縫い合わせる代わりに、書き込み時に事前結合します。
- 2 つの流儀。 ネストしたデータを 1 つのアイテムの 複合属性 に埋め込むか、値を多数のアイテムに 複製 します。
- 地雷は古びること。 ソースが変わると、ファンアウトして更新するまで、すべてのコピーが間違ったままになります。めったに変わらない値だけを複製しましょう。
- 読み取りを買い、書き込みで支払う。 より多くの(そしてより慎重な)書き込みと引き換えに、安い単一リクエストの読み取りを得ます。
なぜ頼るべき結合がないのか
リレーショナルな JOIN は、正規化された行を読み取り時に再構成します。DynamoDB には結合がありません。Query は 1 つの アイテムコレクション を読み、そこに保存されているものを正確に返します。本番の読み取りパスで、2 つのテーブルをあなたのために縫い合わせるものは何もありません。
だからデータは、あらかじめ読み取りの形に整えられていなければなりません。ある画面が投稿とその著者名を必要とするなら、その名前は投稿の読み取りがすでに触れる場所のどこかに存在しなければなりません。
パターン 1:複合属性で埋め込む
DynamoDB の属性は、スカラーだけでなく、ネストした マップ や リスト を保持できます。そこで非正規化の一般的な形の 1 つは、子オブジェクトに独自のアイテムを与える代わりに、親アイテムの中に直接入れることです。
タグと小さな著者スナップショットを持つ投稿を、すべて 1 つのアイテムに。
| PK | SK | author | tags |
|---|---|---|---|
| POST#9f3 | META | {id: USER#12, name: "Mara Vance"} | ["dynamodb","aws"] |
1 回の GetItem が、投稿、タグ、著者ブロックを一緒に返します。2 回目の読み取りはありません。これは親に 所有され、サイズが有界なデータ(ひと握りのタグ、1 つの著者スナップショット)に適しています。
単一の DynamoDB アイテムは、属性名と値を含めて 400 KB で上限に達します(DynamoDB のアイテムサイズ制限)。有界でないリスト(バイラルな投稿へのすべてのコメント)を埋め込めば、これを超えてしまいます。
有界でない子は、代わりに親のコレクション内の独立したアイテムとして保存し(PK = POST#9f3、SK = COMMENT#<timestamp>)、Query + Limit で 1 ページずつ読み、
LastEvaluatedKey から続けます。一対多のリレーションシップを参照してください。
投稿画面にプレビューが必要なら、有界な「最新 3 件」のスナップショットを親に置きます。大きな値 1 つ(長い本文、画像)は S3 に保存し、オブジェクトキーをアイテムに持たせます。
S3 と DynamoDB をまたぐトランザクションはないので、書き込みの順序を決めます。先にオブジェクトをアップロードし、それからそれを指すアイテムを書き込みます。こうすればアイテムの書き込みが失敗しても残るのは孤立したオブジェクトであり、何も指していないアイテムが残ることはありません。
アイテムのプライマリキーをオブジェクトの S3 メタデータに入れ、定期的なスイープで孤立したものを片付けます。最も遅いアップロードとアイテム書き込みを合わせた時間(S3 の LastModified で、たとえば
1 時間。マルチパートアップロードではアップロードを開始した時刻)より新しいオブジェクトはスキップします。そうしないと、アイテムがまだ書き込み中のオブジェクトをスイープが削除してしまうことがあります。
オブジェクトを削除するのは、メタデータ内のキーに対する強い整合性の GetItem(ConsistentRead: true)がアイテムを見つけられないか、別のオブジェクトを指すアイテム(差し替えられた本文)を見つけたときだけにします。デフォルトの結果整合性のある読み込みは、書き込まれたばかりのアイテムを見逃すことがあります(AWS:大きな属性を S3 に保存する、読み込み整合性)。
パターン 2:値をアイテム間で複製する
ブログのケースは教科書的なものです。投稿を一覧し、各行に著者の表示名を出したいが、それを取得するために投稿ごとに 2 回目の読み取りはしたくありません。
そこで投稿が作成されるときに 著者名を各投稿アイテムに書き込みます。
| PK | SK | authorId | authorName | title |
|---|---|---|---|---|
| POST#9f3 | META | USER#12 | "Mara Vance" | "Modeling 1:N" |
| POST#a71 | META | USER#12 | "Mara Vance" | "Sparse GSIs" |
| POST#b04 | META | USER#88 | "Lio Tan" | "Query vs Scan" |
投稿に対する GSI(GSI1PK = "POST")が、タイトルと著者を含むリストを行ごとの参照なしにレンダリングし、著者でキー付けした 2 つ目の GSI が後述のファンアウトを支えます。Query は
1 ページあたり最大 1 MB を返すので、長いリストはページネーションされます。
定数の GSI1PK は、すべての投稿のインデックス書き込みを 1 つのキーに送ります。ブログなら問題ありませんが、投稿量が多い場合は ホットパーティションで示すようにシャーディングしてください。
著者名は 非正規化 されています。正規のコピーは USER#12 に存在し、各投稿は自身のコピーを持ちます。N+1 の読み取りを 1 回の読み取りに変えた対価として、"Mara Vance" を N+1 か所に保持しているわけです。
埋め込み vs. 複製:どちらを選ぶか
| 埋め込み(複合属性) | 複製(アイテム間でコピー) | |
|---|---|---|
| 形 | 親の中にネストした子 | 同じ値を多数のアイテムに |
| 最適な用途 | 有界で親に所有されるデータ | 多数のアイテムが表示する共有の値 |
| 読み取り | 1 回の GetItem | 1 回の Query |
| 更新コスト | その 1 つの親アイテムを書き換え | すべてのコピーにファンアウト |
| サイズリスク | 400 KB のアイテム上限 | アイテムごとにはなし |
子が常に親と一緒にしか現れないときは 埋め込み に手を伸ばしましょう。多数の独立したアイテムが同じ共有の値を表示する必要があるときは 複製 に手を伸ばしましょう。
地雷:古びたコピー
Mara が自分を「Mara V.」に改名します。あなたは USER#12 を更新します。すべての投稿アイテムは、あなたが直しに行くまで、依然として "Mara Vance" のままです。
だから複製された値の更新は ファンアウト書き込み です。影響を受けるすべてのアイテムをクエリし、それぞれを書き換えます。まだ古い値を保持している行だけに触れるようガードして。
UPDATE PK = POST#9f3, SK = META
SET authorName = "Mara V."
WHERE authorName = "Mara Vance"
キーには PK と SK の両方が必要です。再実行すると条件が ConditionalCheckFailedException
で失敗するので、このループは何度繰り返しても安全です。その条件付き SET を式ビルダー で組み立て、生成された UpdateExpression と
ConditionExpression をコードにコピーできます。
ファンアウトは、アイテムごとの書き込みです。その著者の投稿を著者でキー付けした GSI でクエリし、それから更新を発行します。手順は次のとおり。
GSI は非同期で更新されるため、ファンアウトのクエリは数秒前に書き込まれた投稿を見逃すことがあり、改名の途中で作成された投稿は古い名前をコピーすることがあります。少し時間を置いてファンアウトのクエリを再実行し、取りこぼしを拾ってください。
本番では、このループをリクエストの経路から外しましょう。テーブルの
DynamoDB ストリーム を読む Lambda 関数が USER#12 の変更を受け取り、ソースの書き込みの後で投稿の更新を適用します。デフォルトでは Lambda は失敗したバッチを、ストリームレコードが期限切れになる(24 時間)まで再試行するので、途中で止まったファンアウトは失われずに再試行され、条件付きの更新がその再試行を安全にします。
いつまでも成功しないレコードは、その 1 日のあいだシャードの処理を止め、その後に破棄されます。再試行に上限を設け(MaximumRetryAttempts、MaximumRecordAgeInSeconds)、
BisectBatchOnFunctionError を有効にして問題のレコードを切り分け、それでも失敗するものには失敗時の送信先を追加しましょう。SQS や SNS にはストリームがまだ保持しているうちに読み直すためのシャードとシーケンス番号が届き、S3 にはレコードそのものが残ります。コマンドはコンシューマーの障害に対処するにあります。
DynoTable では、ステージしたファンアウトはまず ステージングエリア に入り、アイテムごとに属性単位の差分として、コミットする前にレビューできます(編集とステージングは有料プランの機能です)。
ルールは変わりません。表示名、プランのティア、カテゴリラベルはコピーして問題ありません。ライブのカウンターや頻繁に編集されるフィールドはやめておきましょう。変更のたびに、ファンアウトがコピーごとに書き込み 1 回分のコストを生むからです。
ファンアウト書き込みのコスト
更新するコピーはそれぞれ別の課金書き込みで、サイズは変更する属性ではなくアイテム全体(変更前と変更後の大きい方)で決まります。authorName を射影する GSI はそれぞれ、投稿ごとに書き込みをもう 1 回受け持ちます。
上記の 2 つの GSI がどちらもそれを射影している場合、≤ 1 KB の投稿 50 件を更新すると、オンデマンドで 50 × (1 + 2) = 150 書き込みリクエストユニットかかり、us-east-1 の定価で約 $0.00009 です。条件が失敗したガード付き書き込みも課金されます。
読み取り側は 1 回の Query のまま。書き込み側はコピー数 × インデックス数に比例して伸びます。
1 秒あたりの書き込み数 ×(1 + GSI の数)を 料金計算機に入力すると、月額コストがわかります。
正規化がなお勝つとき
値が頻繁に変わるか、あるアイテムが予測不能なパターンで読まれるなら、正規化したままにしましょう。非正規化は 既知の、読み取り中心の アクセスパターンのための最適化です。
余分な読み取りが N+1 である必要はありません。リストの Query の後、そのページにある重複のない
authorId を集め、1 回の BatchGetItem で取得します(最大 100 キー。UnprocessedKeys があればリトライします)。これで 2 回のリクエストになり、変わりやすいフィールドは 1 か所に住みます。バッチ操作 を参照してください。
これらの複製された属性が どこに 住むかを決めるには、まずアクセスパターンをモデル化しましょう。シングルテーブル設計 と、トレードの読み取り側については Query と Scan を参照してください。
DynoTable をダウンロード して、非正規化されたテーブルを調べ、自分のデータに対してファンアウト更新を実行しましょう。ずれを見つけるには、その
SQL Workbench(有料プラン)で投稿に対して
GROUP BY authorId, authorName を実行できます。2 つの名前で現れる著者は、古びたコピーを抱えています。