DynamoDB で COUNT、SUM、集計を行う方法
DynamoDB には組み込みの集計がちょうど 1 つだけあります。Select=COUNT で、マッチしたアイテムを数えますが、評価したすべてのアイテムについて課金されます。ネイティブの SUM、
AVG、MIN、MAX はなく、PartiQL もそれらを追加しません。
DynamoDB は SUM、COUNT、集計関数を実行できるか?
できるのは COUNT だけで、それも安くはありません。SUM や頻繁に読む正確なカウントには、データの変更に合わせて集計アイテムを最新に保つか、S3 へのエクスポートを Athena でクエリするか、DynoTable の Workbench で SQL を実行します。
Select=COUNTはアイテムの代わりに数値を返しますが、ScanやQueryの読み取り全体の料金を支払い、1 ページは 1 MB で止まります。DescribeTable.ItemCountは無料ですが 近似値で、"approximately every six hours." にしか更新されません。 ダッシュボードのタイルには十分ですが、正確さが必要なものには向きません。SUM、AVG、MIN、MAXは DynamoDB の外で行われます。維持される集計アイテムの中、エクスポートに対する SQL エンジンの中、または読み取り後のアプリの中です。
アイテムを数える:Select=COUNT
Query と Scan はどちらも Select パラメータを受け付けます。それを COUNT に設定すると、レスポンスはアイテムの代わりにカウントを運びます。
aws dynamodb scan \
--table-name tickets \
--select COUNT \
--filter-expression "#s = :open" \
--expression-attribute-names '{"#s":"status"}' \
--expression-attribute-values '{":open":{"S":"OPEN"}}'レスポンスは 2 つの数値を与えます(AWS: Counting the items in the results)。
Count:"the number of items that remain, after a filter expression (if present) was applied."ScannedCount:"the number of items evaluated, before anyScanFilteris applied." フィルタがなければ、ScannedCountはCountと同じです。
大きなテーブルを数える人々を悩ませる、もう 2 つの落とし穴。
- 1 MB のページ制限は依然として適用される。 1 MB を超えると、"
ScannedCountandCountrepresent only a partial count of the total items" (AWS)。 SDK ではLastEvaluatedKeyでループし、累計を保持してください(DynamoDB のページネーション)。AWS CLI はページ送りして両方のカウントを合計してくれます。 - 絞った
QueryはScanに勝る。Queryに対するSelect=COUNTは、1 つのパーティションキー の下のアイテムだけを計測します。パーティションキーを固定できるなら(ベーステーブルでも GSI でも)、そこで数えましょう(Query と Scan)。キー条件は Expression Builder が書いてくれます。
Select=COUNT vs ItemCount(そしてなぜそれが古いのか)
DescribeTable は ItemCount(と TableSizeBytes)を無料で、読み取りコストなしで返します。
API リファレンスには次のようにあります:"DynamoDB updates this value approximately every six hours. Recent changes
might not be reflected in this value."
Select=COUNT | DescribeTable.ItemCount | |
|---|---|---|
| 正確さ | 正確(マッチしたセットについて) | 近似 |
| 鮮度 | ライブ | およそ 6 時間ごとに更新 |
| コスト | 評価した各アイテムを読み取り・課金 | 無料(メタデータ) |
| サブセットのフィルタ / カウント | 可(フィルタ式) | 不可、テーブル全体のみ |
ItemCount は「このテーブルはどれくらい大きいか」というざっくりしたチェックに使いましょう。正確な、フィルタされた、または最新の数値が必要なときは Select=COUNT を使い、読み取りコストを受け入れましょう。ライブで読み取りが安いカウントが必要なら、自分で維持してください(後述)。
なぜネイティブの SUM/AVG/MIN/MAX がないのか
DynamoDB の読み取り操作はアイテムを返し、API が提供する唯一の畳み込みはカウントです。
PartiQL はこれを変えません。その SELECT が取るのは射影、1 つのテーブル、そして任意の
WHERE と ORDER BY です(文法の全体)。
関数は SIZE、EXISTS、ATTRIBUTE_TYPE、BEGINS_WITH、CONTAINS、MISSING で、
"any SQL functions that are not included in this list are not
currently supported"
(AWS)。
集計は何かを読み取る前に、パース時点で失敗します。
SELECT SUM(minutesSpent) FROM "tickets"ValidationException: Unexpected path component at 1:8:3SELECT COUNT(*) もキー条件の有無にかかわらず同じように失敗します(at 1:8:5)。(PartiQL の上限については PartiQL vs SQL で詳述。)
本当の SUM、AVG、正確なカウントを得る
DynamoDB は集計しないので、数値は別の場所で計算します。4 つの方法すべてを DynamoDB GROUP BY で順に解説しています。
- 維持される集計アイテム。 書き込みと同じ
TransactWriteItemsの中でカウンターや累計にADDするので、両者がずれることはありません(パターン 1)。読み取りはGetItem1 回です。AVGは保存された合計を保存されたカウントで割ったものです。 - Streams + Lambda のロールアップ。書き込みパスに手を入れられないときに使います。挿入、更新、削除を処理する必要があり、リトライで二重に数えてはいけません(パターン 2)。
- S3 へのエクスポートを Athena でクエリする。 エクスポートは "don't consume read capacity units (RCUs)" で、ポイントインタイムリカバリを有効にしておく必要があります(AWS、パターン 4)。
- アプリ側での畳み込み。 アイテムをページ送りして合計します。毎回すべてのアイテムを読み取り、コストは
Select=COUNTと同じで、データ転送が加わります。
DynoTable の SQL Workbench で COUNT/SUM/AVG を実行する
ただ答えが欲しいだけのとき(「OPEN のチケットはいくつあり、合計で何分かかっているか」)、 DynoTable の SQL Workbench はループも Lambda もなしに本物の集計を実行します。
DynamoDB の Query/Scan を通してテーブルを読み取り、その行に対して SELECT を実行します。
DynamoDB のアクセスパターンのルールの中の SQL です。
-- Runs in the DynoTable Workbench (NOT in PartiQL):
SELECT status,
COUNT(*) AS tickets,
SUM(minutesSpent) AS minutes,
AVG(minutesSpent) AS avg_minutes,
MIN(minutesSpent) AS shortest,
MAX(minutesSpent) AS longest
FROM tickets
GROUP BY status
ORDER BY minutes DESCこれは計算された集計に対する COUNT、SUM、AVG、MIN、MAX、GROUP BY、ORDER BY
を 1 つのステートメントで行うものです。PartiQL はそのいずれも表現できません。PartiQL の
ORDER BY はキー属性しか取れません。
Workbench の制限:
- 行は依然として DynamoDB の
Query/Scanを通して来ます。キー条件がなければ、このGROUP BYは完全なScanで、ステータスバーが実行前にその読み取りを見積もります(Query と Scan)。 - Execute は最初のページを取得します。集計列には最後のページが届くまで
一部バッジが表示されます。最後まで実行(⌘⇧↩)はすべてのページを読み取ります。 - 集計は、行が届いた後にスカラー属性に対して実行されます。
よくある質問
スキャンせずに DynamoDB のアイテムを数えられますか?テーブル全体についてはできません。正確で最新のカウントには、アイテムを読み取る必要があります。Select=COUNT は依然として評価した各アイテムを計測します。スキャンなしで得られるのは、近似の DescribeTable.ItemCount(およそ 6 時間ごとに更新)か、書き込みごとに自分で維持するカウンターアイテムです。1 つのパーティションについてなら、Select=COUNT を付けた
Query は正確で、そのパーティションだけを読み取ります。
GSI でアイテムを数えるには?インデックスに対して Select=COUNT を付けて Query(または Scan)を実行します。絞った
GSI パーティションを介したカウントは、そのインデックスパーティション内のアイテムだけを読むため、ベーステーブルをスキャンするよりはるかに安価です。必要なカウントに合わせてインデックスをモデル化しましょう。
DescribeTable.ItemCount は正確ですか?近似です。
API リファレンスは、DynamoDB が ItemCount と TableSizeBytes を "approximately every six
hours," 更新し、"recent changes might not be reflected in this value." と述べています。正確または最新の数値が重要な場所では使わないでください。
DynamoDB は SUM や AVG を実行できますか?ネイティブにはできず、集計関数を持たない PartiQL でもできません。累計を維持するか(任意で DynamoDB Streams 経由で)、S3 へのエクスポートを Athena でクエリするか、
DynoTable の SQL Workbench で SUM/AVG を実行します。
Count と ScannedCount の違いは?
ScannedCount はフィルタ前に DynamoDB が評価したアイテム数で、Count はその後に残る数です。フィルタ式がなければ両者は等しくなります。両者の大きな差は、非効率なカウントを意味します。
スキャンループを書かずに DynamoDB のデータを合計、平均、グループ化する必要がありますか? DynoTable をダウンロード して Workbench タブで実行しましょう。まずクライアントを比較しますか?プレーンな DynamoDB GUI との位置づけをご覧ください。