DynamoDB の Type 属性
SQL では、行が属するテーブル そのものが その型です。documents の行はドキュメントです。DynamoDB のシングルテーブルは、あらゆるエンティティを 1 つのスキーマの下に混在させるため、項目には「これは何なのか」という問いに対する組み込みの答えがありません。Type 属性 はその答えを取り戻します。
DynamoDB の Type 属性とは何ですか?
Type 属性は、EntityType: "Document" のように、すべての項目に刻み込む単なる文字列で、その項目が表すエンティティを名指しします。シングルテーブルは多くのエンティティを 1 つのスキーマの下に混在させるため、自分で付けるまで、項目には組み込みの型がありません。
- 書き込みのたびに Type を刻む。 すべての項目に
EntityType: "Document"という属性を 1 つ、例外なく付けます。コストは数バイトです。 - 混在パーティションの中でエンティティを識別する。
Queryはワークスペース、ドキュメント、コメントをまとめて返しますが、Type があればキーのプレフィックスを解析せずにどれがどれかをコードが判断できます。 - どの項目が GSI に入るかを決める。 書き込み側は Type を使ってスパースインデックスのキーを付ける項目を選びます。あるいは、オーバーロードされたインデックスを Type でフィルタします。
- 再モデリングのときに分割の基準となる列になる。 テーブルをエクスポートすれば、どの行をどこへ移すかを Type が教えてくれます。
なぜ混在テーブルは型を失うのか
シングルテーブル設計は、PK や SK のような汎用キーの裏に、あらゆるエンティティを 1 つのテーブルへ格納するので、1 回の Query が親とその子をまとめて返します。それは、パーティションが不均質になることを意味します。
SaaS のドキュメント共同編集アプリを考えてみましょう。1 つのワークスペースのパーティションには、ワークスペースのレコード、そのドキュメント、そしてそれらのドキュメントへのコメントが入っています。
| PK | SK | attributes |
|---|---|---|
| WS#acme | META | name, plan, seats |
| WS#acme | DOC#a1#META | title, owner, wordCount, updatedAt |
| WS#acme | DOC#a1#CMT#0007 | author, body, updatedAt |
| WS#acme | DOC#a1#CMT#0008 | author, body, updatedAt |
Query PK = "WS#acme" は 4 つの項目すべてを 1 回の課金対象の読み取りで返します。ここでコードの手元には生の項目のリストがありますが、SK を文字列マッチングする以外に、どれがドキュメントでどれがコメントかを確実に見分ける手段はありません。そしてそのやり方は、キーのフォーマットが変わった瞬間に壊れます。
すべての項目に Type を刻む
対処法は、書き込みのたびに 1 つの属性でエンティティ名を示すことです。
| PK | SK | EntityType | title |
|---|---|---|---|
| WS#acme | META | Workspace | — |
| WS#acme | DOC#a1#META | Document | Q3 Roadmap |
| WS#acme | DOC#a1#CMT#0007 | Comment | — |
item.EntityType === "Document" で分岐するのは安定した等価チェックです。SK.startsWith("DOC#") && SK.includes("#CMT#") を解析するのは、キーを変更すると壊れる当て推量です。Type は読み取りロジックをキーのエンコーディングから切り離します。
1 回の読み取りが 3 つのエンティティ型を返し、Type 属性がキーに触れることなく各項目を正しいハンドラへ振り分けます。
GSI を 1 つのエンティティに絞り込む
Type が最も効くのはインデックスです。「このワークスペースで最近変更されたものすべてを新しい順に」表示するために、GSI1PK = WS#acme、GSI1SK = updatedAt をキーとする GSI を追加したとします。オーバーロードされたインデックスはドキュメント も コメントも一緒にすくい上げ、フィード UI ではドキュメントだけが欲しいかもしれません。
絞り込む方法は 2 つあり、その違いはお金に直結します。
| アプローチ | かかるコスト | 使いどころ |
|---|---|---|
Type への FilterExpression | 一致する項目をすべて読み取って課金し、読み取り後に非一致を捨てる | 結果に混在エンティティがまれ。手早く出したいとき |
スパースインデックス(GSI1PK を対象エンティティにのみ書き込む) | 欲しいエンティティだけがインデックスに載る | 1 つのエンティティが支配的で、無駄をゼロにしたいとき |
2 KB の項目が混在した 100 件を返す GSI の Query は、200 KB を読み取ります。DynamoDB はサイズを合計してから 4 KB ブロックへ一度だけ切り上げます。50 ブロック × 0.5 = 25 読み取りユニットで、結果整合性です(GSI の読み取りは常に結果整合性です)。
EntityType への FilterExpression は、コメントを捨てる前に 25 ユニットすべてを課金します。コメントを一切インデックスしないスパースインデックスなら、課金されるのはドキュメントの行だけです。
FilterExpression は項目が読み取られた 後、キャパシティが消費された 後 に実行されます。フィルタリングが読み取りコストを下げないことを AWS は明言しています(DynamoDB デベロッパーガイド: FilterExpression)。Type でのフィルタは、捨てるコメントの分もすべて課金されます。
フィードをドキュメントに絞り込むには、クエリに Type 属性への条件を持たせます。FilterExpression、名前、値は DynamoDB 式ビルダーで組み立てましょう。番号付きのプレースホルダー(#filter0 = :filterValue0)を出力するので、予約語につまずくことがありません。
KeyConditionExpression GSI1PK = :ws
FilterExpression #t = :doc
ExpressionAttributeNames { "#t": "EntityType" }
ExpressionAttributeValues { ":ws": "WS#acme", ":doc": "Document" }
インデックスに ドキュメントだけ を載せてフィルタを完全に省きたいなら、GSI1PK をドキュメント項目にのみ書き込みます。これが スパースインデックス です。
GSI キーを持たない項目はインデックスに複製されないため、読み取りはドキュメントだけに触れます。そして、どの項目が該当するかを書き込み側に伝えるのが Type 属性です。
トレードオフ: そのインデックスは、混在した「変更されたものすべて」のフィードにはもう使えません。両方が必要なら、フィード用に GSI1 を残し、ドキュメント用に 2 つ目のスパースな GSI を追加します。ドキュメント 1 件につき書き込みが 1 回増えます。
値を安定かつ単一に保つ
値は一度だけ決めて、それを enum のように扱います。Document であって、あるときは Doc、あるときは document、ではいけません。ブレる値は値がないより悪いのです。等価チェックが一方のケーシングでは通り、もう一方を静かに取りこぼすからです。
項目ごとに Type は 1 つ。ある項目が 2 つのエンティティのように感じられるなら、それはたいていモデリングの臭いです。それぞれ独自のコレクションやソートキー範囲に分かれた 2 つの項目であるべきです。
マイグレーションでの見返り
必要になる前に Type を刻んでおく理由は、再モデリングです。再モデリングの経路の 1 つは、エクスポート、変換、インポートです。S3 へのエクスポートにはポイントインタイムリカバリの有効化が必要で、読み取りキャパシティは消費しません(DynamoDB を S3 へエクスポート)。
S3 からのインポートは常に 新しい テーブルを作成し(S3 からのインポート)、ロード中も古いテーブルは書き込みを受け付け続けます。インポートは追いつき分のデータを読めません。増分エクスポートは各変更を、インポート可能な Item 行としてではなく、Keys と NewImage として記録するからです(削除には NewImage がありません)(エクスポート出力形式)。
そこで、同じように変換しながら自前の書き込み処理でリプレイします。新しいイメージはそれぞれ PutItem し、イメージのないキーはそれぞれ DeleteItem します。差分が小さくなるまで繰り返し、最後のパスでは書き込みを一時停止して(または両方のテーブルにデュアルライトして)、読み取りを切り替えます。デュアルライトについては DynamoDB のマイグレーションで扱っています。
その日が来たとき、Type は GROUP BY する対象の列になります。コメントを独自のテーブルへ持ち上げたい、あるいは分析ウェアハウス向けにエクスポートをエンティティ単位のファイルへ分割したい? ダンプを EntityType で分割します。それがなければ、数百万行にわたってキーをリバースエンジニアリングする作業に逆戻りです。
次のステップ
初日から書き込みのたびに Type を刻んでおきましょう。Type なしですでに稼働しているテーブルなら、バックフィルします。まず新しい書き込みに Type を刻むコードをデプロイし、次に各項目の型をその SK のプレフィックスから一度だけ導き出す並列 Scan を実行します。
書き込みには UpdateItem SET EntityType = :t と
ConditionExpression attribute_exists(PK) AND attribute_not_exists(EntityType) を使います。こうすれば再実行は安全で、より新しい書き込みを上書きすることも、Scan が読み取った後に削除された項目を再作成することもありません(UpdateItem は存在しないキーをアップサートします)。Limit でスロットリングしてください。この一括処理については DynamoDB のマイグレーションで扱っています。
関連する読み物: この属性が支える混在パーティションのパターンについてはシングルテーブル設計、スパースインデックスの裏側でインデックスの形を選ぶには GSI vs LSI、FilterExpression が読み取りコストを決して節約しない理由には Query vs Scan を参照してください。
Type へのフィルタを DynamoDB 式ビルダーで構築し、DynoTable を試して実際の混在エンティティテーブルを閲覧し、すべての項目にわたって Type 列が揃うのを確かめてください。