DynamoDB の JOIN: テーブルを結合する方法
DynamoDB に JOIN はありません。API に結合演算子はなく、データモデルに外部キーはなく、
SQL 風のクエリ層である PartiQL もそれを追加しません。PartiQL の SELECT
はちょうど1つのテーブルを読みます。
DynamoDB は結合できますか?
いいえ。API(GetItem、Query、Scan、BatchGetItem)を通しても、PartiQL を通してもできません。各読み取りは、1つのテーブルまたはインデックスに対するキー参照かスキャンです。
2つのテーブルをキーで突き合わせるのは、DynamoDB がアイテムを返した後に、あなたのコードで行うことです。
- 結合をモデリングで消す。 AWS は 非正規化 するか、シングルテーブル設計 を使い、関連するアイテムを
1回の
Queryで取得できる1つのパーティションに置くことを推奨しています。 - それができないときは アプリで縫い合わせる: 片側を読み、もう片側を
BatchGetItemでキーによって取得します。 - アドホックな結合や分析的な結合には SQL エンジンを使う: S3 エクスポートに対する Athena かその DynamoDB コネクタ、またはライブテーブルに対する DynoTable の SQL Workbench です。
なぜ DynamoDB に結合がないのか
SQL の JOIN は、複数のテーブルを読み、クエリ時にそれらを組み立てるようデータベースに求めます。AWS 自身のリレーショナルデータのモデリングガイドは、次のような複数結合のクエリのコストを詳述しています。
SELECT * FROM tickets
INNER JOIN comments ON tickets.ticketId = comments.ticketId
INNER JOIN accounts ON accounts.accountId = tickets.accountId
INNER JOIN agents ON agents.agentId = comments.agentId
ORDER BY tickets.createdAt DESC柔軟ではありますが、AWS によれば "each join in the query increases the runtime complexity of the query because the data for each table must stage and then be assembled." です。その作業はデータとともに増えます。これこそ DynamoDB が持つことを拒否する性質です。
AWS は DynamoDB を "built to minimize both [CPU and network] constraints by eliminating
JOINs (and encouraging denormalization of data)," と説明し、クエリには "with a
single request to an item." で答えるとしています。
それによって、どんな規模でも速い読み取りが得られます。AWS の言葉では "the runtime complexity for DynamoDB operations is constant, regardless of data size, for common access patterns." です。計画の対象になる結合エンジンも、外部キーの概念もありません。
PartiQL は1つの文で1つのテーブルを読む
PartiQL は DynamoDB 上で SELECT / INSERT / UPDATE / DELETE の構文を与えますが、それは SQL 互換 であって SQL ではありません。公式の SELECT 文法は次のとおりです。
SELECT {{expression}} [, ...]
FROM {{table}}[.{{index}}]
[ WHERE {{condition}} ]
[ ORDER BY {{key}} [DESC|ASC], ... ]FROM は 1つの テーブル(オプションでそのインデックスの1つ)を取ります。2つ目の
FROM テーブルも、JOIN も、GROUP BY も、サブクエリも、CTE もありません。DynamoDB
Local 3.3.1 に対して実行すると、結合を求める3つの書き方は次のように失敗します。
明示的な JOIN:
SELECT t.ticketId FROM "tickets" t JOIN "accounts" a ON t.accountId = a.accountIdValidationException: Only select from a single table or index is supported.FROM に2つのテーブルを置いても同じ拒否になります。つまりエンジンが拒んでいるのは
JOIN キーワードではなく、2つ目のテーブルです。
SELECT * FROM "tickets", "accounts"ValidationException: Only select from a single table or index is supported.サブクエリはそれより手前の IN のオペランドで拒否され、テーブルに一切触れないメッセージが返ります。
SELECT * FROM "tickets" WHERE accountId IN (SELECT accountId FROM "accounts")ValidationException: IN operator must have a left hand argument of type Variable Reference and right hand argument of type Seq with at least one memberPartiQL と SQL のその他の違いについては、 PartiQL と SQL を参照してください。
4つの回避策
1. 非正規化する(データをコピーして入れる)
結合するはずだったフィールドを、アイテムに直接格納します。チケットは、後で解決する
accountId の代わりに、accountName と plan のスナップショットを持ちます。1回の読み取り、結合なしです。
コストは書き込み時のファンアウトです。元データが変わると、すべてのコピーを更新します。通常は DynamoDB Streams のハンドラから行います。読み取りの複雑さを書き込みの複雑さと引き換えているのであり、読み取りが多いアプリではたいてい良いトレードです。
2. シングルテーブル設計(パーティション内で事前結合する)
関連するエンティティを、共有したパーティションキーの下の 1つのテーブル に置き、アイテムコレクション そのもの が結合結果になるようにします。あるアカウントとそのすべてのチケットが PK = "ACCOUNT#acme" を共有し、1回の Query がアカウントとすべてのチケットを返します。
Query PK = "ACCOUNT#acme"
→ ACCOUNT#acme / PROFILE (the account)
→ ACCOUNT#acme / TICKET#1001 (a ticket)
→ ACCOUNT#acme / TICKET#1002 (a ticket)
これが一対多の関係に対する DynamoDB の定番の答えです。完全なウォークスルーはシングルテーブル設計 にあります。
3. アプリケーション側の結合(2回読み、コードで縫い合わせる)
テーブル A から読み、返ってきたキーを取り、テーブル B から読み、2つの結果セットをアプリケーションでマージします。ここでは AWS SDK v3 のドキュメントクライアントを使います。
import {DynamoDBClient} from '@aws-sdk/client-dynamodb';
import {DynamoDBDocument} from '@aws-sdk/lib-dynamodb';
const ddb = DynamoDBDocument.from(new DynamoDBClient({}));
// "Get each open ticket with its account name": the manual join.
// First page only; loop on LastEvaluatedKey for the rest.
const {Items: tickets} = await ddb.query({
TableName: 'tickets',
IndexName: 'byStatus',
KeyConditionExpression: '#s = :open',
ExpressionAttributeNames: {'#s': 'status'},
ExpressionAttributeValues: {':open': 'OPEN'}
});
const accounts = await Promise.all(
tickets.map((t) => ddb.get({TableName: 'accounts', Key: {accountId: t.accountId}}))
);
const joined = tickets.map((t, i) => ({
...t,
accountName: accounts[i].Item?.name
}));ファンアウトが小さいなら問題ありません。チケットが多いと N+1 問題 になります。チケットを一覧する1回の読み取りの後に、チケットごとに1回の読み取りが続くのです。
BatchGetItem は、その2波目を 100 キーあたり1回の呼び出しに減らします。
4. BatchGetItem(ラウンドトリップを減らす、複数のテーブル)
BatchGetItem
は "the attributes of one or more items from one or more tables," を、1回の呼び出しあたり 100 アイテムまたは 16 MB まで返します。これは結合では ありません。
"identify requested items by primary key," とあるとおりキーで指定するだけで、ON 条件はありません。
要求したより少なく返すこともあります。"returns a partial result if the
response size limit is exceeded, the table's provisioned throughput is exceeded…"
とあり、残りは UnprocessedKeys に列挙されます。
それらはバックオフ付きで再試行してください。そうしないと行が欠けます。次のコードは上の
Promise.all を置き換えます。
const ids = [...new Set(tickets.map((t) => t.accountId))];
const byId = new Map();
for (let i = 0; i < ids.length; i += 100) {
let request = {accounts: {Keys: ids.slice(i, i + 100).map((accountId) => ({accountId}))}};
for (let attempt = 0; Object.keys(request).length > 0; attempt++) {
if (attempt === 8) throw new Error('BatchGetItem: keys still unprocessed');
if (attempt > 0) await new Promise((r) => setTimeout(r, Math.min(50 * 2 ** attempt, 5000)));
const res = await ddb.batchGet({RequestItems: request});
for (const a of res.Responses?.accounts ?? []) byId.set(a.accountId, a);
request = res.UnprocessedKeys ?? {};
}
}
const joinedTickets = tickets.map((t) => ({...t, accountName: byId.get(t.accountId)?.name}));本物の JOIN が避けられないとき
4つの回避策は、実運用の読み取りパスをカバーします。それらが破綻するのは、アドホックで、探索的で、分析的な クエリ、つまりモデル化しなかったクエリです。
- 「先月サポート時間が 500 分を超えたエンタープライズアカウントはどれか?」 を
ticketsテーブルとaccountsテーブルにまたがって。 - 2つのエンティティ型を結合する、1回限りのデータ品質チェック。
- レポートと集計(
GROUP BY、SUM、COUNT)。DynamoDB にはそもそもその演算子がありません。
これらはパーティションに事前に焼き付けられません。それを尋ねることになると知らなかったからです。JOIN を書くという直感は正しく、DynamoDB と PartiQL がそれを実行できないだけです。
AWS ネイティブの答えは、DynamoDB の外にある SQL エンジンです。定期的なレポートには、テーブルを S3 にエクスポートし、そのエクスポートを Athena でクエリします。これはテーブルのキャパシティを一切読みません(手順)。
ライブテーブルへのアドホックなクエリには、Athena の DynamoDB コネクタが、JOIN を含む
SQL をテーブルそのものに対して実行し、スキャンした読み取りに課金します(セットアップ)。どちらも、今すぐ答えが欲しい問いにとっては配管仕事です。
DynoTable の SQL Workbench で本物の JOIN を実行する
DynoTable は、SQL Workbench が JOIN、GROUP BY、集計関数を含む SQL を
DynamoDB テーブル上で実行するデスクトップ DynamoDB クライアントです。DynamoDB API を通してアイテムを読み、その後リレーショナルな部分をクライアントで実行します。
SELECT a.name, SUM(t.minutesSpent) AS minutes
FROM tickets t
JOIN accounts a ON t.accountId = a.accountId
WHERE a.plan = 'enterprise'
GROUP BY a.name
HAVING SUM(t.minutesSpent) > 500これは DynamoDB のアクセスパターンのルールの範囲内で 動作し、コンパイラがそれを強制します。
- 結合される側のテーブルは
ON属性でキー付けされていなければなりません: ソートキーのないテーブルのパーティションキー、またはちょうど1つの GSI のパーティションキーです。ここではaccountIdをキーとするaccountsがそれです。逆向きに結合するにはtickets.accountIdの GSI が必要です。 INNER結合とLEFT結合のみで、自己結合はできません。FROMテーブルのパーティションキー(または GSI のパーティションキー)を=で指定するWHEREがあると、その読み取りはQueryになります。この例にはそれがないので、ticketsはフル スキャン になり、一致するごとにaccountsをキーで参照します。- ステータスバーは、実行前にベースの読み取りを見積もります。結合される側のテーブルの読み取りはフラグが付くだけで、料金は見積もられません。Execute は最初のページを取得し、最後まで実行(⌘⇧↩)が残りを読みます。それまで
SUMには一部が表示されます。
AWS 自身の NoSQL Workbench は、単一テーブルの操作と PartiQL 文を実行し、JOIN はありません。
DynamoDB GUI の比較 にある 10 のクライアントのうち、ライブテーブルを結合できるのは DynoTable だけです。そこにある他の SQL の画面は、内部ではすべて PartiQL です。
よくある質問
PartiQL は JOIN をサポートしていますか?いいえ。PartiQL の SELECT は単一のテーブル(またはそのインデックスの1つ)を読みます。複数テーブルのクエリは ValidationException: Only select from a single table or index is supported. を返します。API の他の部分と同じ壁です。
2つの DynamoDB テーブルを1回のクエリで結合できますか?ネイティブにはできません。BatchGetItem は1回のリクエストで複数のテーブルからアイテムを読めますが、ON 条件はなく、突き合わせはあなたに任されます。本物の JOIN … ON … は
DynamoDB の外で起きます。アプリで、Athena で、または DynoTable の SQL Workbench でです。
テーブルとその GSI を結合できますか?いいえ。グローバルセカンダリインデックス は、結合する別のテーブルではなく、同じアイテムに対する代替のキービューです。テーブル か インデックスのどちらか に Query するのであって、両方を結合するのではありません。GSI は異なるキーでアイテムに 到達 できるようにするので、結合の必要をなくすことがよくあります。
2つの AWS アカウント(または別々のアカウントの2つのテーブル)にまたがって結合できますか?ネイティブにはできません。相手のテーブルのリソースベースポリシーが呼び出し元にアクセスを許可し、かつ自分の IAM ポリシーがその呼び出しを許可していれば(2024年3月以降)、
BatchGetItem と Query はテーブル名の代わりにその完全なテーブル ARN を受け取ります。各側を読み、行をコードでマージしてください。SQL の場合は、テーブルの所有者が Athena の
DynamoDB コネクタをあなたのアカウントと共有し、あなたの Athena が JOIN を実行します(AWS のウォークスルー)。
非正規化は本当に結合より優れているのですか? DynamoDB の対象ワークロード(予測可能で大量の読み取り)では、はい。コストを書き込み時に移し、多少の重複を受け入れ、その代わりにフラットにスケールする単一リクエストの読み取りを得ます。シングルテーブル設計 のガイドがトレードオフを扱います。
Expression Builder がこれらの読み取りのための
KeyConditionExpression と FilterExpression を書き、回避策では足りないときは
DynoTable が SQL を実行します。