初級読了 3 分

DynamoDB で COUNT、SUM、集計を行う方法

DynamoDB には組み込みの集計がちょうど 1 つだけあります。Select=COUNT で、マッチしたアイテムを数えますが、評価したすべてのアイテムについて課金されます。ネイティブの SUM、 AVG、MIN、MAX はなく、PartiQL もそれらを追加しません。

DynamoDB は SUM、COUNT、集計関数を実行できるか?

できるのは COUNT だけで、それも安くはありません。SUM や頻繁に読む正確なカウントには、データの変更に合わせて集計アイテムを最新に保つか、S3 へのエクスポートを Athena でクエリするか、DynoTable の Workbench で SQL を実行します。

  • Select=COUNT はアイテムの代わりに数値を返しますが、Scan や Query の読み取り全体の料金を支払い、1 ページは 1 MB で止まります。
  • DescribeTable.ItemCount は無料ですが 近似値で、"approximately every six hours." にしか更新されません。 ダッシュボードのタイルには十分ですが、正確さが必要なものには向きません。
  • SUM、AVG、MIN、MAX は DynamoDB の外で行われます。維持される集計アイテムの中、エクスポートに対する SQL エンジンの中、または読み取り後のアプリの中です。

アイテムを数える:Select=COUNT

Query と Scan はどちらも Select パラメータを受け付けます。それを COUNT に設定すると、レスポンスはアイテムの代わりにカウントを運びます。

aws dynamodb scan \
  --table-name tickets \
  --select COUNT \
  --filter-expression "#s = :open" \
  --expression-attribute-names '{"#s":"status"}' \
  --expression-attribute-values '{":open":{"S":"OPEN"}}'

レスポンスは 2 つの数値を与えます(AWS: Counting the items in the results)。

  • Count:"the number of items that remain, after a filter expression (if present) was applied."
  • ScannedCount:"the number of items evaluated, before any ScanFilter is applied." フィルタがなければ、ScannedCount は Count と同じです。

大きなテーブルを数える人々を悩ませる、もう 2 つの落とし穴。

  • 1 MB のページ制限は依然として適用される。 1 MB を超えると、"ScannedCount and Count represent only a partial count of the total items" (AWS)。 SDK では LastEvaluatedKey でループし、累計を保持してください(DynamoDB のページネーション)。AWS CLI はページ送りして両方のカウントを合計してくれます。
  • 絞った Query は Scan に勝る。 Query に対する Select=COUNT は、1 つの の下のアイテムだけを計測します。パーティションキーを固定できるなら(ベーステーブルでも GSI でも)、そこで数えましょう(Query と Scan)。キー条件は Expression Builder が書いてくれます。

Select=COUNT vs ItemCount(そしてなぜそれが古いのか)

DescribeTable は ItemCount(と TableSizeBytes)を無料で、読み取りコストなしで返します。 API リファレンスには次のようにあります:"DynamoDB updates this value approximately every six hours. Recent changes might not be reflected in this value."

Select=COUNTDescribeTable.ItemCount
正確さ正確(マッチしたセットについて)近似
鮮度ライブおよそ 6 時間ごとに更新
コスト評価した各アイテムを読み取り・課金無料(メタデータ)
サブセットのフィルタ / カウント可(フィルタ式)不可、テーブル全体のみ

ItemCount は「このテーブルはどれくらい大きいか」というざっくりしたチェックに使いましょう。正確な、フィルタされた、または最新の数値が必要なときは Select=COUNT を使い、読み取りコストを受け入れましょう。ライブで読み取りが安いカウントが必要なら、自分で維持してください(後述)。

なぜネイティブの SUM/AVG/MIN/MAX がないのか

DynamoDB の読み取り操作はアイテムを返し、API が提供する唯一の畳み込みはカウントです。 PartiQL はこれを変えません。その SELECT が取るのは射影、1 つのテーブル、そして任意の WHERE と ORDER BY です(文法の全体)。

関数は SIZE、EXISTS、ATTRIBUTE_TYPE、BEGINS_WITH、CONTAINS、MISSING で、 "any SQL functions that are not included in this list are not currently supported" (AWS)。

集計は何かを読み取る前に、パース時点で失敗します。

SELECT SUM(minutesSpent) FROM "tickets"
ValidationException: Unexpected path component at 1:8:3

SELECT COUNT(*) もキー条件の有無にかかわらず同じように失敗します(at 1:8:5)。(PartiQL の上限については PartiQL vs SQL で詳述。)

本当の SUM、AVG、正確なカウントを得る

DynamoDB は集計しないので、数値は別の場所で計算します。4 つの方法すべてを DynamoDB GROUP BY で順に解説しています。

  • 維持される集計アイテム。 書き込みと同じ TransactWriteItems の中でカウンターや累計に ADD するので、両者がずれることはありません(パターン 1)。読み取りは GetItem 1 回です。AVG は保存された合計を保存されたカウントで割ったものです。
  • Streams + Lambda のロールアップ。書き込みパスに手を入れられないときに使います。挿入、更新、削除を処理する必要があり、リトライで二重に数えてはいけません(パターン 2)。
  • S3 へのエクスポートを Athena でクエリする。 エクスポートは "don't consume read capacity units (RCUs)" で、ポイントインタイムリカバリを有効にしておく必要があります(AWS、パターン 4)。
  • アプリ側での畳み込み。 アイテムをページ送りして合計します。毎回すべてのアイテムを読み取り、コストは Select=COUNT と同じで、データ転送が加わります。

DynoTable の SQL Workbench で COUNT/SUM/AVG を実行する

ただ答えが欲しいだけのとき(「OPEN のチケットはいくつあり、合計で何分かかっているか」)、 DynoTable の SQL Workbench はループも Lambda もなしに本物の集計を実行します。

DynamoDB の Query/Scan を通してテーブルを読み取り、その行に対して SELECT を実行します。 DynamoDB のアクセスパターンのルールの中の SQL です。

-- Runs in the DynoTable Workbench (NOT in PartiQL):
SELECT status,
       COUNT(*)            AS tickets,
       SUM(minutesSpent)   AS minutes,
       AVG(minutesSpent)   AS avg_minutes,
       MIN(minutesSpent)   AS shortest,
       MAX(minutesSpent)   AS longest
FROM tickets
GROUP BY status
ORDER BY minutes DESC

これは計算された集計に対する COUNT、SUM、AVG、MIN、MAX、GROUP BY、ORDER BY を 1 つのステートメントで行うものです。PartiQL はそのいずれも表現できません。PartiQL の ORDER BY はキー属性しか取れません。

Workbench の制限:

  • 行は依然として DynamoDB の Query/Scan を通して来ます。キー条件がなければ、この GROUP BY は完全な Scan で、ステータスバーが実行前にその読み取りを見積もります(Query と Scan)。
  • Execute は最初のページを取得します。集計列には最後のページが届くまで 一部 バッジが表示されます。最後まで実行(⌘⇧↩)はすべてのページを読み取ります。
  • 集計は、行が届いた後にスカラー属性に対して実行されます。

よくある質問

スキャンせずに DynamoDB のアイテムを数えられますか?テーブル全体についてはできません。正確で最新のカウントには、アイテムを読み取る必要があります。Select=COUNT は依然として評価した各アイテムを計測します。スキャンなしで得られるのは、近似の DescribeTable.ItemCount(およそ 6 時間ごとに更新)か、書き込みごとに自分で維持するカウンターアイテムです。1 つのパーティションについてなら、Select=COUNT を付けた Query は正確で、そのパーティションだけを読み取ります。

GSI でアイテムを数えるには?インデックスに対して Select=COUNT を付けて Query(または Scan)を実行します。絞った GSI パーティションを介したカウントは、そのインデックスパーティション内のアイテムだけを読むため、ベーステーブルをスキャンするよりはるかに安価です。必要なカウントに合わせてインデックスをモデル化しましょう。

DescribeTable.ItemCount は正確ですか?近似です。 API リファレンスは、DynamoDB が ItemCount と TableSizeBytes を "approximately every six hours," 更新し、"recent changes might not be reflected in this value." と述べています。正確または最新の数値が重要な場所では使わないでください。

DynamoDB は SUM や AVG を実行できますか?ネイティブにはできず、集計関数を持たない PartiQL でもできません。累計を維持するか(任意で DynamoDB Streams 経由で)、S3 へのエクスポートを Athena でクエリするか、 DynoTable の SQL Workbench で SUM/AVG を実行します。

Count と ScannedCount の違いは? ScannedCount はフィルタ前に DynamoDB が評価したアイテム数で、Count はその後に残る数です。フィルタ式がなければ両者は等しくなります。両者の大きな差は、非効率なカウントを意味します。


スキャンループを書かずに DynamoDB のデータを合計、平均、グループ化する必要がありますか? DynoTable をダウンロード して Workbench タブで実行しましょう。まずクライアントを比較しますか?プレーンな DynamoDB GUI との位置づけをご覧ください。

著者: Dmitriy · 更新日