DynamoDB のデータを表示、閲覧、編集する方法
DynamoDB テーブルに対して行う「見る」や「変える」はすべて、少数の API 操作
GetItem、Query、Scan、PutItem、UpdateItem、DeleteItem のいずれかにマッピングされます。下層にリレーショナルなテーブルビューアは存在しません。「テーブルを閲覧する」は Scan であり、「行を編集する」はプライマリキーに対する UpdateItem です。
各クリックがどの操作にマッピングされるかを知っていることが、安価な読み取りと、意図せず実行してしまうテーブル全体のスキャンとの分かれ目です。
DynamoDB テーブルを閲覧する方法
「中身を見る」ためにテーブルを開くのは Scan です。テーブルまたはインデックス内のすべてのアイテムを読み取ります(AWS:
"A Scan operation in Amazon DynamoDB reads every item in a table or a secondary
index.")。小さなテーブルなら問題ありませんが、大きなテーブルでは
Query vs Scan で扱う古典的なコストの落とし穴です。
単一の Scan は最大 1 MB のデータを返し、次のページを取得するための LastEvaluatedKey を渡します。つまり「テーブル全体を閲覧する」は実際にはページングのループです(AWS:
"A single Scan request can retrieve a maximum of 1 MB of data" および "the
LastEvaluatedKey from a Scan response should be used as the ExclusiveStartKey
for the next Scan request")。カーソルの仕組みと、なぜオフセット形式のページ番号がここに存在しないのかについてはページネーションを参照してください。
DynamoDB のデータをフィルタ / スキャンする方法
フィルタ式はスキャンを節約しません。DynamoDB は読み取りが完了した後 にフィルタを適用するため、残す行だけでなく、スキャンしたすべてのアイテムに対して料金を支払います。
フィルタ式は
Scanが完了した後、結果が返される前に適用されます。したがって、Scanはフィルタ式の有無にかかわらず、同じ量の読み取りキャパシティを消費します。 — AWS Scan ドキュメント
レスポンスはこれを可視化します。ScannedCount は "the number of items evaluated,
before any ScanFilter is applied" であり、Count はフィルタを通過したものです(AWS)。
ScannedCount が高く Count がごくわずかなのは、非効率なスキャンの兆候です。
DynamoDB テーブルをクエリする方法
Query は安価で対象を絞った読み取りですが、パーティションキーが必要です。
AWS によると:
"You must provide the name of the partition key attribute and a single value for
that attribute. Query returns all items with that partition key value. Optionally,
you can provide a sort key attribute and use a comparison operator to refine the
search results."
つまり Query は 1 つのパーティションキーの下のアイテムだけを読み取り、オプションでソートキー条件によって絞り込みます。テーブル全体を読むことは決してありません。パーティションキーがなければ Query
もなく、Scan に逆戻りです。詳しい内訳は Query vs Scan にあります。
オンデマンドでは、ページ化された Scan は評価したアイテムに対して、結果整合性で 4 KB あたり 0.5
読み取りリクエストユニットが課金されます。リクエストごとに合計サイズで切り上げられます。1 KB のアイテムが入った 10 GB のテーブル全体をスクロールすると、約 130 万読み取りリクエストユニット(us-east-1 の定価で約 $0.16)になり、強力な整合性のある読み込みではその 2 倍です。
1 つのパーティションキーに絞った Query なら、そのアイテムコレクションだけを読みます。閲覧とクエリの差は料金計算ツールで見積もれます。
プレースホルダー構文を手で書かずに KeyConditionExpression / FilterExpression を組み立てるには、
DynamoDB Expression Builder を使ってください。API が期待する正確な names/values マップを出力します。
DynamoDB でアイテムを編集する方法
1 つのアイテムを編集するのは、その完全なプライマリキーに対する UpdateItem です。アイテム全体を書き換えるのではなく、変更する属性だけを指定した 更新式 を渡します。
UpdateItem
Key: { "PK": "USER#42", "SK": "PROFILE" }
UpdateExpression: SET email = :e, updatedAt = :t
ConditionExpression: attribute_exists(PK)人がつまずく 2 つの事実があります。どちらも AWS のアイテムのドキュメントからです。
- プライマリキーの一部ではなく、全体を指定しなければなりません。複合キーテーブルではパーティションキー と ソートキーです。別の属性で「行を編集する」には、まずキーを見つけます。その属性をキーにした GSI に対する
Query、またはスキャンです。 UpdateItemはアップサートです。 "If an item with the specified key does not exist,UpdateItemcreates a new item. Otherwise, it modifies an existing item's attributes." キーのタイプミスは暗黙のうちに新しいアイテムを作成します。上のConditionExpression: attribute_exists(PK)がそれを防ぎます。キーが間違っていればConditionalCheckFailedExceptionで失敗し、何も書き込まれません。
アイテムを削除する方法
これも完全なプライマリキーで指定する DeleteItem です:
"DeleteItem deletes the item with the specified key"
(AWS)。編集と同じルールです。キー全体が必要なので、「status が 'open' のすべての行」を削除するのは
1 回の呼び出しではありません。キーを見つけるためにスキャンまたはクエリし、それぞれを削除します。
BatchWriteItem は最大 25 の put/delete リクエストをまとめます(AWS:
"The BatchWriteItem operation can contain up to 25 individual PutItem and
DeleteItem requests")が、それぞれは依然として 1 つのキーを対象にします。DELETE … WHERE はありません。複数のアイテムを削除するでそのループを紹介しています。
ネストされた / JSON データを表示する方法
DynamoDB のアイテムは API 上を型タグ付きの形式(DynamoDB-JSON)でやり取りされ、すべての値が
1 文字または 2 文字の型記述子(S、N、M、L、SS…。記述子の完全なリストは
AWS のデータ型のドキュメントにあります)を持ちます。
プレーンな JSON にはセット型がないため、配列はリスト(L)としてラウンドトリップし、決して文字列セット(SS)にはなりません。セットを書き込むには DynamoDB-JSON({"tags": {"SS": ["a", "b"]}})を使うか、SDK のマーシャラーにネイティブのセットを渡します。JavaScript なら new Set(["a", "b"])、
boto3 なら Python の set です。完全な型マップは DynamoDB のデータ型 にあります。DynamoDB-JSON のブロブをプレーンな JSON に、またその逆に変換するには
DynamoDB JSON コンバータ を使ってください。
閲覧と編集の先へ: DynamoDB にはできないクエリ
Scan/Query/UpdateItem は表示と編集をカバーしますが、分析 はできません。DynamoDB には
JOIN、GROUP BY、SUM/AVG がなく、組み込みの集計は Query または Scan に対するページ化された
Select: COUNT だけで、これも同じだけの読み取りコストがかかります。
PartiQL もそれらを加えません。その SELECT 文法は単に
SELECT … FROM table [WHERE …] [ORDER BY …] で、結合やグループ化の句はありません(AWS PartiQL SELECT リファレンス)。そのため、各ステートメントは単一の Get/Query/Scan/Put/Update/Delete にマッピングされます。
DynoTable の SQL Workbench は、テーブルを DynamoDB の本物のクエリランタイムを通してマテリアライズし、その上で SQL を実行することで(DynamoDB のアクセスパターンのルール内で動く SQL)、そのギャップを埋めます。ただし日々の閲覧と編集には、上記の操作が道具箱のすべてです。
DynoTable で行う
DynoTable はこれらの操作の上に載る GUI です。フィルタビルダーは、フィルタに使ったキーから
Query か Scan かを導出し、スキャンのフィルタはそれとわかるように示します。グリッドには、スキャンしたアイテム数と一致したアイテム数が表示されます。PartiQL エディタと SQL エディタでは、ステートメントを実行する前に、推定アイテム数と読み取りコストが表示されます。
行をクリックするとアイテムエディタが開きます。編集はステージされてレビューでき、その後楽観的ロックの条件付きの TransactWriteItems の Update アクションとして Commit されます。そのため、その間に誰かが変更したアイテムへの編集は、上書きするのではなく競合になります。
よくある質問
AWS コンソールを使わずに DynamoDB のデータを表示するには?同じ Scan/Query 呼び出しを発行するデスクトップ GUI を使います。AWS コンソールはページ化されたスキャンでテーブルを閲覧します。DynoTable のような専用クライアントも同じことをし、操作(Query または Scan)と、スキャン数と一致数を表示します。
DynamoDB のアイテムを編集するには?変更する属性だけを指定した SET 更新式で、アイテムの完全なプライマリキーに対して UpdateItem を発行します。アイテムが既に存在している必要があるなら、条件として attribute_exists(PK) を加えます。
GUI では、アイテムエディタがその更新を組み立てます。
なぜフィルタしても依然としてテーブル全体のスキャンのコストがかかるのですか? DynamoDB はスキャンがアイテムを読み取った 後 にフィルタを適用するからです。フィルタで除外されたアイテムも依然として読み取られ、計上されます。コストを削るには、スキャンではなくパーティションキー(または GSI)でクエリしてください。
一度に多くのアイテムを更新できますか?
UPDATE … WHERE はありません。各 UpdateItem/DeleteItem は単一のプライマリキーを対象にします。複数のアイテムを 1 つのアトミックなリクエストで変更するには、TransactWriteItems が最大
100 個の書き込みアクション(Update を含む)を適用し、すべて成功するかすべてロールバックします。それ以外の場合は、スキャンまたはクエリでキーを集め、それぞれを書き込みます(BatchWriteItem あたり最大 25 個)。
DynamoDB Local のテーブルも同じように閲覧できますか?はい。同じ GUI をローカルのエンドポイントに向けます。DynamoDB Local を参照してください。
ステージしてレビューできる変更で DynamoDB のアイテムを閲覧、フィルタ、編集し、PartiQL にはできない SQL も実行したいですか?DynoTable をダウンロードしましょう。