DynamoDB のフィルタリング戦略
DynamoDB での「フィルタリング」は、4 つの異なる仕組みを指します。3 つはデータが読み取られ課金される 前 に絞り込みます。実際に Filter という名前を持つ 1 つは 後 に絞り込むので、決してお金を節約してくれません。
DynamoDB でフィルタリングはどう機能するのか?
DynamoDB にはフィルタする方法が 4 つあり、課金された後に走るのは 1 つだけです。パーティションキー は 1 つのアイテムコレクションを選び、ソートキーはその中のスライスを絞り、スパースインデックスは属性の有無でフィルタします。この 3 つはどれも計測の前に読み取りコストを削ります。FilterExpression は読み取りの後に走るので、レスポンスは縮めても課金は決して縮めません。
- パーティションキー は最も安いフィルタです。1 つのアイテムコレクションを名指しするので、テーブルの残りには決して触れません。
- ソートキー はそのコレクション 内 を
begins_with、between、<、>でフィルタします。これも課金前です。 - スパースインデックス は不在でフィルタします。アイテムは、インデックスのキー属性を持つ場合にのみインデックスに現れるため、インデックス そのもの がフィルタされたセットです。
FilterExpressionは DynamoDB が読み取りを計測した後に走るので、レスポンスのサイズは削っても課金は決して削りません。
例を用意する
サポートチケットのテーブルです。各チームのチケットはパーティションを共有し、チケット id でソートされます。
PK = "TEAM#billing" SK = "TICKET#00194"
すべてのチケットは priority(1 から 4)と status(open または closed)も持ちます。エスカレーションされたチケットには、エスカレーション中だけ書き込まれる属性がさらに 2 つ付きます。escalated = "ESCALATED" と escalatedAt(unix タイムスタンプ)です。
アクセスパターンは 4 つあります。それぞれが異なるフィルタリング戦略に対応し、どれか 1 つでも選択を誤ると、リクエストのたびに料金を払う読み取りになります。
パーティションキーは 1 つのアイテムコレクションを選ぶ
「billing チームのすべてのチケットをくれ」。パーティションキーはこれに直接答えます。
Query PK = "TEAM#billing"
DynamoDB はちょうど 1 つのアイテムコレクション、つまりそのパーティションキーの値を共有するアイテムだけを読みます。テーブル内の他の何にも触れず、課金もされません。これが
Query と Scan の違いです。
SQL から来ると、これは逆に感じられます。インデックスをスキャンする
WHERE team = 'billing' はなく、ただ パーティションを名指し します。名指しできないなら、名指しできる属性をパーティションキーにした グローバルセカンダリインデックス を追加し、そのインデックスに Query します。
ソートキーはそのコレクションの一部に絞り込む
「billing のチケット TICKET#00100 から TICKET#00200 までをくれ」。ソートキーはアイテムコレクション 内 を、読み取りが計測される前に絞り込みます。
Query PK = "TEAM#billing" AND SK between "TICKET#00100" AND "TICKET#00200"
ソートキーの条件は意図的に限られています。=、<、<=、>、>=、between、
begins_with です。OR も任意の述語もありません。その制約こそが読み取りを対象に絞ったままにします。DynamoDB はコレクション全体ではなく、連続したスライスを歩くのです。
これを決めるのは ソートキーをどうエンコードするか です。パターンが「優先度ごと」なら、
TICKET#<id> のソートキーは役に立ちません。
かといって、ベーステーブルのソートキーに優先度を焼き込むのもやめてください。優先度は変わりますが、ベーステーブルのキー属性は更新できません(ミュータブルなソートキー を参照)。
代わりに GSI に置きます。GSI1PK = "TEAM#billing"、GSI1SK = "PRIO#1#TICKET#00194"
です。GSI のキーは通常の UpdateItem で変更でき、アイテムはインデックス内で移動します。これは ソートキー戦略 の決定であり、クエリ時ではなく設計時に行います。
スパースインデックスは必要なアイテムだけを持つ
「チームをまたいで、エスカレーションされたすべてのチケットをくれ」。エスカレーションされるチケットはわずかなので、それを見つけるためにテーブル全体を読みたくはありません。
スパースインデックス はこれを不在で解決します。グローバルセカンダリインデックスは、アイテムがそのインデックスのキー属性を 両方 持つ場合にのみ、そのアイテムを含みます。
escalated をパーティションキー、escalatedAt をソートキーにした EscalatedIndex を作れば、インデックスはエスカレーションされたチケットだけを保持し、それ以外は何も保持しません。
AWS はこれを明記しています。インデックスのキー属性を欠いたアイテムはインデックスに書き込まれません(AWS: スパースインデックスを活用する)。
これでクエリはエスカレーションされたチケットだけを読み、それらの分だけ課金されます。
Query ON EscalatedIndex escalated = "ESCALATED" (sorted by escalatedAt)
フィルタは、データを 書いた とき、つまりインデックスのキー属性をそもそも設定するかどうかを選んだときに起きていました。スパースインデックス でさらに深く扱い、どのインデックス型が合うかは GSI と LSI で扱います。
パーティションキーの値が 1 つの定数("ESCALATED")だと、インデックスへのすべての書き込みが
1 つのキーに集中し、1 つのパーティションが処理できるのは最大で毎秒 1,000 書き込みユニットです。
エスカレーションがぽつぽつ発生する程度なら問題ありません。毎秒数千回変わるフラグなら、キーをシャーディングし(ESCALATED#0 から ESCALATED#9)、各シャードに Query します。ホットパーティション を参照してください。ホットなインデックスがなぜベーステーブルへの書き込みを遅くするのかは
GSI のスロットリング を参照してください。
FilterExpression は課金の後に実行される
「billing チームのオープンなチケットをくれ」。status はキー属性ではないので、
FilterExpression に手を伸ばします。
Query PK = "TEAM#billing"
Filter status = "open"
DynamoDB は TEAM#billing コレクション内のすべてのアイテムを読み、それらすべての分のキャパシティを計測し、それから クローズ済みのものを落とします。
AWS は、フィルタ式は "applied after a Query finishes, but before the results are
returned," であり、"a Query consumes the same amount of read capacity, regardless of
whether a filter expression is present." だと述べています。
あなたはすでに完全な読み取り分を支払っています(AWS: Query のフィルタ式)。
だから billing チームに 10,000 のチケットがあり、そのうち 12 がオープンなら、10,000 を読む対価を支払います。レスポンスは小さくても、課金は小さくありません。FilterExpression が縮めるのは回線を渡るペイロードであって、読み取りではありません。
ページネーションもフィルタリングの前に計測されます。1 ページは 読み取られた アイテムの
1 MB であって、マッチの 1 MB ではないので、フィルタされたページが LastEvaluatedKey 付きで空のまま返ることがあります。キーがなくなるまでページ送りを続けてください(ページネーション)。
「オープンなチケット」がよくあるパターンなら、それはキーに置くべきです。チケットがオープンの間だけ書き込む属性に対するスパースインデックスです。フィルタは、最後のわずかな絞り込みのためのものです。
式は DynamoDB Expression Builder で組み立てましょう。
status は DynamoDB の予約語なので #status プレースホルダーが必要ですが、名前と値はビルダーが書いてくれます。下のビルダーは、上の Query + フィルタにプリセットされています。
dynamodb-expression-builder は、このツールの基盤となるオープンソース(MIT)ライブラリです。
4 つを比較する
| いつフィルタするか | 読み取りコストを削る? | 述語の力 | セットアップのコスト | |
|---|---|---|---|---|
| パーティションキー | 読み取り前 | はい、1 つのアイテムコレクション | 等価のみ | 無料(キーそのもの) |
| ソートキー | 読み取り前 | はい、1 スライス | 範囲 / begins_with | ソートキー設計 |
| スパースインデックス | 読み取り前 | はい、インデックスのアイテムのみ | 属性の存在 | 追加の GSI + 書き込みコスト |
| FilterExpression | 読み取り後 | いいえ | ほぼ任意の条件 | なし |
表を上から下へ読んでください。述語の力は 上がり、コスト管理は 下がり ます。
FilterExpression が非キー属性に対するほぼ任意の条件を表現できるのは、まさにすでに読み取られたアイテムに対して走るからであり、それがお金を節約できない理由でもあります。
DynoTable で見る
フィルタ付きの Query を実行するとき、読み取られた アイテムと 返された アイテムの差が、そのフィルタのコストを教えてくれます。
DynoTable は、フィルタされた読み取りがストリームされる中で、スキャンされたアイテム数を返されたアイテム数の隣に表示します。だからコレクション全体を読んでいるフィルタは、月次の請求書ではなく画面に現れます。
フィルタでは答えられないアイテムをまたぐ問い(「チームごとのオープンなチケット」、「チケットをそのアカウントに結合」)には、DynoTable の SQL Workbench が GROUP BY、JOIN、集計をあなたのマシン上で実行します。
JOIN の各参照はキーによる読み取りです。ベースの読み取りは、ベーステーブルにパーティションキーの条件を与えれば Query、与えなければ Scan になり、どちらになるかは実行前にステータスバーが教えてくれます。
落とし穴と次のステップ
FilterExpressionを主要なアクセスパスにしない。 パターンが一般的なら、キーかスパースインデックスにモデル化しましょう。- 空のページに注意。 フィルタ付きのクエリは、何も返さずに長い間ページ送りすることがあります。
LastEvaluatedKeyを尊重してください。空のページは「完了」を意味しません。 - スパースインデックスは無料ではない。 そこに入るすべてのアイテムにインデックスの書き込みとストレージのコストがかかります。
KEYS_ONLYを射影するか、一覧表示に必要な属性だけをINCLUDEして小さく保ち、残りはキーで取得しましょう。
フィルタ付きの読み取りが実際にいくらかかるかを 料金計算ツールで見積もり、DynoTable を試して 自分のテーブルでスキャンされたアイテム数と返されたアイテム数を見比べましょう。