DynamoDB Streams:アイテムの変更すべてに反応する
DynamoDB Streams は変更データキャプチャのログです。アイテムへのすべての変更(挿入、更新、削除)が、反応できるストリームレコードになります。ポーリングせずにテーブルをイベントソースに変える方法です。
ここでの題材は、マルチテナント SaaS の追記専用の監査ログです。イベントごとに 1 アイテムで、テナントごとにパーティション分割します(PK = TENANT#acme、SK = EVENT#<timestamp>#<id>)。
請求書のエクスポートや管理者ロールの付与のような機密性の高いイベントが書き込まれた瞬間に、タイマーでテーブルをスキャンすることなく反応したいとします。
DynamoDB Streams はどのように機能するのか?
テーブルでストリームを有効にし、各レコードが運ぶ内容を選び、変更をバッチで受け取るコンシューマーをアタッチします。
- ストリームはアイテムレベルの変更を 24 時間保持します。 各レコードはストリームに一度だけ現れ、何も変更しない書き込みはレコードを生成しません。
StreamViewTypeがレコードの内容を決めます:キーのみ、新しいイメージ、古いイメージ、またはその両方。ストリームが作成された後は固定です。- 順序はアイテムごとにのみ保証されます。 1 つのアイテムへの変更は発生した順に到着しますが、異なるアイテム間のレコードを順序付けるものはありません。
- 一般的なコンシューマーは Lambda です。 そのイベントソースマッピングがシャードをポーリングし、レコードのバッチを渡して関数を呼び出します。
- 24 時間を超えて保持するなら、Kinesis Data Streams for DynamoDB を使います(保持期間は最大 365 日)。変更を S3 にアーカイブするには Amazon Data Firehose を使います。
問題: ポーリングせずに反応する
「role.granted イベントが書き込まれたら知らせて」が必要です。素朴なアプローチは、毎分テーブルをスキャンするか、各テナントの直近のイベントをクエリするジョブです。すべての読み込みに料金がかかり、常に最大 1 分遅れます。
本当に欲しいのはプッシュ、つまりアイテムが変わった瞬間に変更レコードがコードに届くことです。それを提供するのが Streams です。
Streams の仕組み
ストリームを有効にするときに StreamViewType を選びます。これは各レコードが変更されたアイテムをどれだけ運ぶかを制御します(DynamoDB の変更データキャプチャ)。
| StreamViewType | each record contains |
|---|---|
| KEYS_ONLY | only the key attributes of the changed item |
| NEW_IMAGE | the entire item as it looks after the change |
| OLD_IMAGE | the entire item as it looked before the change |
| NEW_AND_OLD_IMAGES | both the before and after images |
ビュータイプは後から編集できません。ストリームを無効にしてから新しいストリームを有効にする必要があり、新しいストリームには新しいストリーム ARN が付きます。開いている各シャードはテーブルのパーティションのちょうど 1 つに対応するので、テーブルが分割されるにつれてストリームのシャードも増えます。
DynamoDB があなたのコードを呼び出すわけではありません。Lambda のイベントソースマッピングが各シャードを毎秒約 4 回ポーリングし、新しいレコードのバッチを渡して関数を呼び出します(DynamoDB で Lambda を使用する)。標準の Lambda トリガーでは、これらのストリームの読み込みに料金はかかりません。
実例: 機密性の高い監査イベントでアラートを出す
NEW_IMAGE でストリームを有効にし、各レコードが新しいイベント全体を運ぶようにします。
aws dynamodb update-table --table-name audit-log \
--stream-specification StreamEnabled=true,StreamViewType=NEW_IMAGE次にアラート関数をアタッチします。フィルターにより、コードが実行される前に Lambda が 2 つの機密アクション以外のすべてのレコードを破棄するので、ログインのたびに関数が呼び出されることはありません。
aws lambda create-event-source-mapping --function-name audit-alert \
--event-source-arn "$STREAM_ARN" --starting-position LATEST \
--filter-criteria '{"Filters":[{"Pattern":"{\"dynamodb\":{\"NewImage\":{\"action\":{\"S\":[\"invoice.export\",\"role.granted\"]}}}}"}]}'$STREAM_ARN は aws dynamodb describe-table が返す LatestStreamArn です。レコードは次のように処理されます。
| stream record (NEW_IMAGE) | consumer action | ||
|---|---|---|---|
| TENANT#acme | EVENT#…#a2 | action=invoice.export | send to SIEM |
| TENANT#globex EVENT#…#b9 action=role.granted | page on-call | ||
| TENANT#acme | EVENT#…#a1 | action=login.success | filtered out, no invocation |
関数はテーブルを一切読みません。ストリームが渡すものに反応するだけで、アラートは書き込みから数秒以内に発報します。
これは下流のコピーを維持する標準的な方法でもあります。ストリームコンシューマーは、全文の監査検索のために各イベントを OpenSearch に射影したり、カウントを集計し続けたりできます。どれも同じ変更ログから導出されます。
24 時間より長く変更を保持する
ストリームレコードは 24 時間後に削除されます。コンシューマーがそれより長くダウンしていると、その変更はコンシューマーに届きません。監査ログのテーブルにはイベントが残っていますが、SIEM と検索インデックスはそれを取りこぼします。必要に応じて、耐久性のある経路を選びます。
| 必要なもの | 使うもの | 理由 |
|---|---|---|
| 24 時間を超えるリプレイ期間、またはより多くのコンシューマー | Kinesis Data Streams for DynamoDB | 保持期間は 24 時間から最大 365 日。拡張ファンアウト |
| すべての変更の恒久的なアーカイブ | Kinesis Data Streams for DynamoDB の後、Amazon Data Firehose で S3 へ | Firehose は Kinesis データストリームを直接読み込む |
| Streams のアイテムごとの順序とアーカイブの両方 | DynamoDB ストリームを EventBridge Pipe(または Lambda)経由で Firehose へ | Pipe はレコードの順序を保ち、Firehose を直接ターゲットにできる |
Kinesis Data Streams for DynamoDB は、テーブルごとに有効にする別個の変更フィードです。まず Kinesis データストリームを作成し(オンデマンドモードならシャード数は不要)、作成を待ってからテーブルをそのストリームに向け、より長いリプレイ期間のために保持期間を延長します。
aws kinesis create-stream --stream-name audit-changes \
--stream-mode-details StreamMode=ON_DEMAND
aws kinesis wait stream-exists --stream-name audit-changes
aws dynamodb enable-kinesis-streaming-destination --table-name audit-log \
--stream-arn arn:aws:kinesis:us-east-1:123456789012:stream/audit-changes
aws kinesis increase-stream-retention-period --stream-name audit-changes \
--retention-period-hours 8760恒久的なアーカイブには、audit-changes を読み込んで S3 に書き込む Firehose ストリームを作成します。
IAM ロールは、Firehose がストリームを読み込み、バケットに書き込めるようにする必要があります。
aws firehose create-delivery-stream --delivery-stream-name audit-archive \
--delivery-stream-type KinesisStreamAsSource \
--kinesis-stream-source-configuration KinesisStreamARN=arn:aws:kinesis:us-east-1:123456789012:stream/audit-changes,RoleARN=arn:aws:iam::123456789012:role/audit-firehose \
--extended-s3-destination-configuration BucketARN=arn:aws:s3:::audit-archive,RoleARN=arn:aws:iam::123456789012:role/audit-firehoseKinesis Data Streams for DynamoDB には 2 つのコストがあります。そのレコードは順不同で、しかも複数回届くことがあるため、各レコードの ApproximateCreationDateTime で順序付けと重複排除を行います(Kinesis Data Streams for DynamoDB)。
そして料金は二重にかかります。テーブル側の変更データキャプチャユニットに加えて Kinesis の料金がかかり、保持期間が 24 時間を超えると上がります(延長保持)。
Firehose は DynamoDB ストリームを直接読み込めません。そのソースは Direct PUT、Kinesis データストリーム、または Amazon MSK です(Firehose のソース)。そのため、アーカイブは Kinesis、Pipe、または PutRecordBatch を呼び出す Lambda を経由します。
コンシューマーの障害に対処する
Lambda は各レコードを少なくとも 1 回処理するため、リトライされたバッチがオンコール担当者を 2 回呼び出すことがあります。関数を冪等にしましょう。各イベントの SK(またはストリームレコードの eventID)を記録し、処理済みのものはスキップします。
デフォルト設定では、失敗し続けるバッチは、レコードが期限切れになるまで(最大 1 日)そのシャードをブロックします(Lambda のエラー処理)。イベントソースマッピングでこれに上限を設けます。
aws lambda update-event-source-mapping --uuid "$ESM_UUID" \
--maximum-retry-attempts 3 --maximum-record-age-in-seconds 3600 \
--bisect-batch-on-function-error \
--function-response-types ReportBatchItemFailures \
--destination-config '{"OnFailure":{"Destination":"arn:aws:s3:::audit-stream-failures"}}'バッチの二分割は、失敗するバッチを分割して不正なレコードを切り分けます。それでも失敗するものは失敗時の送信先に送られます。
ReportBatchItemFailures は、関数が失敗を返すまで何もしません:
{ batchItemFailures: [{ itemIdentifier: record.dynamodb.SequenceNumber }] }。
Lambda はその後、失敗した最小のシーケンス番号からリトライするので、それより前のレコードは再実行されません(部分的なバッチレスポンス)。
S3 の送信先はバッチのペイロード全体を受け取ります。SQS や SNS の送信先はストリーム内の位置を指すメタデータだけを受け取るので、24 時間が過ぎる前にストリームから読み込む必要があります。
DynoTable でやってみる
ストリームコンシューマーを配線する前に、Lambda が受け取るアイテムの正確な形を知る必要があります。どの属性が存在するか、ネストしたマップやリストがどう見えるか、NEW_IMAGE レコードが実際に何を含むか、です。
サンプルアイテムをプレーンな JSON とストリームレコードが使う属性値の形の間で変換するには、
DynamoDB JSON コンバーター がブラウザ内でそれを行います。そして
DynoTable では、DynamoDB-JSON 形式も含めて完全なアイテムを検査できるので、フィールドの形を推測する代わりに、実データに対して NEW_IMAGE レコードをモデリングできます。

DynamoDB Local はストリームをサポートしているので、テーブルをローカルで実行し、コンシューマーが受け取るレコードを GetShardIterator と GetRecords で読み、同じ方法でアイテムを検査できます。
DynamoDB Local に接続するを参照してください。
ただし TTL による削除は例外です。Local ではそのレコードに userIdentity も REMOVE イベント名もないため、TTL アーカイブ用のフィルターはそこでは何にもマッチしません。
落とし穴と次のステップ
- 24 時間は反応のためのバッファであって、アーカイブではない。 下流のシステムが変更を決して取りこぼしてはならないなら、上で示したように Kinesis Data Streams for DynamoDB と Firehose を追加します。
- ビュータイプはコンシューマーが知る必要のあることで選ぶ。 新しい状態に基づいて動作するなら
NEW_IMAGE、差分を取るならNEW_AND_OLD_IMAGESを使います。KEYS_ONLYに再読み込みを組み合わせると、レコードごとに読み込みのコストがかかり、返るのは現時点のアイテムで、削除後なら何も返りません。 - 順序はアイテムごとに保たれ、アイテム間では保たれない。 コンシューマーがアイテム間の順序を必要とするなら、それをデータに持たせ(時間順にソートできるソートキー、または自分で書き込むシーケンス番号)、それで順序付けます。Lambda の
ParallelizationFactorは、シャードを並列に処理しながらも各アイテムの順序を保ちます。 - シャードごとのリーダーは 2 つまで。 同じストリームを読む 3 つ目のコンシューマーはスロットリングされます(グローバルテーブルでは AWS は 1 つを推奨しています)。1 つの関数からファンアウトするか、 Kinesis Data Streams for DynamoDB を使います。
- TTL による削除にはマーカーが付く。 TTL による削除のレコードでは、
userIdentityがtype: "Service"とprincipalId: "dynamodb.amazonaws.com"に設定されます。期限切れのアイテムをアーカイブするには、それでフィルターし、関数内でもう一度確認します。DynamoDB TTL で示しているとおりです。
Streams は監査ログをイベントソースに変えます。次の運用上の関心事は、アイテムのライフサイクルの反対側、つまり DynamoDB TTL で古いイベントを自動的に期限切れにすることです。
DynoTable をダウンロード して、Lambda コードを 1 行書く前に、ストリームコンシューマーが受け取る正確なアイテムの形を検査しましょう。


