上級読了 4 分

DynamoDB Streams:アイテムの変更すべてに反応する

DynamoDB Streams は変更データキャプチャのログです。アイテムへのすべての変更(挿入、更新、削除)が、反応できるストリームレコードになります。ポーリングせずにテーブルをイベントソースに変える方法です。

ここでの題材は、マルチテナント SaaS の追記専用の監査ログです。イベントごとに 1 アイテムで、テナントごとにパーティション分割します(PK = TENANT#acme、SK = EVENT#<timestamp>#<id>)。

請求書のエクスポートや管理者ロールの付与のような機密性の高いイベントが書き込まれた瞬間に、タイマーでテーブルをスキャンすることなく反応したいとします。

DynamoDB Streams はどのように機能するのか?

テーブルでストリームを有効にし、各レコードが運ぶ内容を選び、変更をバッチで受け取るコンシューマーをアタッチします。

  • ストリームはアイテムレベルの変更を 24 時間保持します。 各レコードはストリームに一度だけ現れ、何も変更しない書き込みはレコードを生成しません。
  • StreamViewType がレコードの内容を決めます:キーのみ、新しいイメージ、古いイメージ、またはその両方。ストリームが作成された後は固定です。
  • 順序はアイテムごとにのみ保証されます。 1 つのアイテムへの変更は発生した順に到着しますが、異なるアイテム間のレコードを順序付けるものはありません。
  • 一般的なコンシューマーは Lambda です。 そのイベントソースマッピングがシャードをポーリングし、レコードのバッチを渡して関数を呼び出します。
  • 24 時間を超えて保持するなら、Kinesis Data Streams for DynamoDB を使います(保持期間は最大 365 日)。変更を S3 にアーカイブするには Amazon Data Firehose を使います。

問題: ポーリングせずに反応する

「role.granted イベントが書き込まれたら知らせて」が必要です。素朴なアプローチは、毎分テーブルをスキャンするか、各テナントの直近のイベントをクエリするジョブです。すべての読み込みに料金がかかり、常に最大 1 分遅れます。

本当に欲しいのはプッシュ、つまりアイテムが変わった瞬間に変更レコードがコードに届くことです。それを提供するのが Streams です。

Streams の仕組み

ストリームを有効にするときに StreamViewType を選びます。これは各レコードが変更されたアイテムをどれだけ運ぶかを制御します(DynamoDB の変更データキャプチャ)。

StreamViewTypeeach record contains
KEYS_ONLYonly the key attributes of the changed item
NEW_IMAGEthe entire item as it looks after the change
OLD_IMAGEthe entire item as it looked before the change
NEW_AND_OLD_IMAGESboth the before and after images

ビュータイプは後から編集できません。ストリームを無効にしてから新しいストリームを有効にする必要があり、新しいストリームには新しいストリーム ARN が付きます。開いている各シャードはテーブルのパーティションのちょうど 1 つに対応するので、テーブルが分割されるにつれてストリームのシャードも増えます。

DynamoDB があなたのコードを呼び出すわけではありません。Lambda のイベントソースマッピングが各シャードを毎秒約 4 回ポーリングし、新しいレコードのバッチを渡して関数を呼び出します(DynamoDB で Lambda を使用する)。標準の Lambda トリガーでは、これらのストリームの読み込みに料金はかかりません。

Lambdaストリーム"DynamoDB"アプリLambdaストリーム"DynamoDB"アプリ"EVENT role.granted をPut""変更レコード(NEW_IMAGE-)""シャードをポーリング(毎秒-約 4 回)""レコードのバッチ""アクションが機微な-らアラート"

実例: 機密性の高い監査イベントでアラートを出す

NEW_IMAGE でストリームを有効にし、各レコードが新しいイベント全体を運ぶようにします。

aws dynamodb update-table --table-name audit-log \
  --stream-specification StreamEnabled=true,StreamViewType=NEW_IMAGE

次にアラート関数をアタッチします。フィルターにより、コードが実行される前に Lambda が 2 つの機密アクション以外のすべてのレコードを破棄するので、ログインのたびに関数が呼び出されることはありません。

aws lambda create-event-source-mapping --function-name audit-alert \
  --event-source-arn "$STREAM_ARN" --starting-position LATEST \
  --filter-criteria '{"Filters":[{"Pattern":"{\"dynamodb\":{\"NewImage\":{\"action\":{\"S\":[\"invoice.export\",\"role.granted\"]}}}}"}]}'

$STREAM_ARN は aws dynamodb describe-table が返す LatestStreamArn です。レコードは次のように処理されます。

stream record (NEW_IMAGE)consumer action
TENANT#acmeEVENT#…#a2action=invoice.exportsend to SIEM
TENANT#globex EVENT#…#b9 action=role.grantedpage on-call
TENANT#acmeEVENT#…#a1action=login.successfiltered out, no invocation

関数はテーブルを一切読みません。ストリームが渡すものに反応するだけで、アラートは書き込みから数秒以内に発報します。

これは下流のコピーを維持する標準的な方法でもあります。ストリームコンシューマーは、全文の監査検索のために各イベントを OpenSearch に射影したり、カウントを集計し続けたりできます。どれも同じ変更ログから導出されます。

24 時間より長く変更を保持する

ストリームレコードは 24 時間後に削除されます。コンシューマーがそれより長くダウンしていると、その変更はコンシューマーに届きません。監査ログのテーブルにはイベントが残っていますが、SIEM と検索インデックスはそれを取りこぼします。必要に応じて、耐久性のある経路を選びます。

必要なもの使うもの理由
24 時間を超えるリプレイ期間、またはより多くのコンシューマーKinesis Data Streams for DynamoDB保持期間は 24 時間から最大 365 日。拡張ファンアウト
すべての変更の恒久的なアーカイブKinesis Data Streams for DynamoDB の後、Amazon Data Firehose で S3 へFirehose は Kinesis データストリームを直接読み込む
Streams のアイテムごとの順序とアーカイブの両方DynamoDB ストリームを EventBridge Pipe(または Lambda)経由で Firehose へPipe はレコードの順序を保ち、Firehose を直接ターゲットにできる

Kinesis Data Streams for DynamoDB は、テーブルごとに有効にする別個の変更フィードです。まず Kinesis データストリームを作成し(オンデマンドモードならシャード数は不要)、作成を待ってからテーブルをそのストリームに向け、より長いリプレイ期間のために保持期間を延長します。

aws kinesis create-stream --stream-name audit-changes \
  --stream-mode-details StreamMode=ON_DEMAND
aws kinesis wait stream-exists --stream-name audit-changes
aws dynamodb enable-kinesis-streaming-destination --table-name audit-log \
  --stream-arn arn:aws:kinesis:us-east-1:123456789012:stream/audit-changes
aws kinesis increase-stream-retention-period --stream-name audit-changes \
  --retention-period-hours 8760

恒久的なアーカイブには、audit-changes を読み込んで S3 に書き込む Firehose ストリームを作成します。 IAM ロールは、Firehose がストリームを読み込み、バケットに書き込めるようにする必要があります。

aws firehose create-delivery-stream --delivery-stream-name audit-archive \
  --delivery-stream-type KinesisStreamAsSource \
  --kinesis-stream-source-configuration KinesisStreamARN=arn:aws:kinesis:us-east-1:123456789012:stream/audit-changes,RoleARN=arn:aws:iam::123456789012:role/audit-firehose \
  --extended-s3-destination-configuration BucketARN=arn:aws:s3:::audit-archive,RoleARN=arn:aws:iam::123456789012:role/audit-firehose

Kinesis Data Streams for DynamoDB には 2 つのコストがあります。そのレコードは順不同で、しかも複数回届くことがあるため、各レコードの ApproximateCreationDateTime で順序付けと重複排除を行います(Kinesis Data Streams for DynamoDB)。

そして料金は二重にかかります。テーブル側の変更データキャプチャユニットに加えて Kinesis の料金がかかり、保持期間が 24 時間を超えると上がります(延長保持)。

Firehose は DynamoDB ストリームを直接読み込めません。そのソースは Direct PUT、Kinesis データストリーム、または Amazon MSK です(Firehose のソース)。そのため、アーカイブは Kinesis、Pipe、または PutRecordBatch を呼び出す Lambda を経由します。

コンシューマーの障害に対処する

Lambda は各レコードを少なくとも 1 回処理するため、リトライされたバッチがオンコール担当者を 2 回呼び出すことがあります。関数を冪等にしましょう。各イベントの SK(またはストリームレコードの eventID)を記録し、処理済みのものはスキップします。

デフォルト設定では、失敗し続けるバッチは、レコードが期限切れになるまで(最大 1 日)そのシャードをブロックします(Lambda のエラー処理)。イベントソースマッピングでこれに上限を設けます。

aws lambda update-event-source-mapping --uuid "$ESM_UUID" \
  --maximum-retry-attempts 3 --maximum-record-age-in-seconds 3600 \
  --bisect-batch-on-function-error \
  --function-response-types ReportBatchItemFailures \
  --destination-config '{"OnFailure":{"Destination":"arn:aws:s3:::audit-stream-failures"}}'

バッチの二分割は、失敗するバッチを分割して不正なレコードを切り分けます。それでも失敗するものは失敗時の送信先に送られます。

ReportBatchItemFailures は、関数が失敗を返すまで何もしません: { batchItemFailures: [{ itemIdentifier: record.dynamodb.SequenceNumber }] }。 Lambda はその後、失敗した最小のシーケンス番号からリトライするので、それより前のレコードは再実行されません(部分的なバッチレスポンス)。

S3 の送信先はバッチのペイロード全体を受け取ります。SQS や SNS の送信先はストリーム内の位置を指すメタデータだけを受け取るので、24 時間が過ぎる前にストリームから読み込む必要があります。

DynoTable でやってみる

ストリームコンシューマーを配線する前に、Lambda が受け取るアイテムの正確な形を知る必要があります。どの属性が存在するか、ネストしたマップやリストがどう見えるか、NEW_IMAGE レコードが実際に何を含むか、です。

サンプルアイテムをプレーンな JSON とストリームレコードが使う属性値の形の間で変換するには、 DynamoDB JSON コンバーター がブラウザ内でそれを行います。そして DynoTable では、DynamoDB-JSON 形式も含めて完全なアイテムを検査できるので、フィールドの形を推測する代わりに、実データに対して NEW_IMAGE レコードをモデリングできます。

DynoTable で監査イベントのアイテムを検査し、その Lambda コンシューマーが受け取る NEW_IMAGE ストリームレコードをモデリングする様子。
DynoTable で監査イベントのアイテムを検査し、その Lambda コンシューマーが受け取る NEW_IMAGE ストリームレコードをモデリングする様子。

DynamoDB Local はストリームをサポートしているので、テーブルをローカルで実行し、コンシューマーが受け取るレコードを GetShardIterator と GetRecords で読み、同じ方法でアイテムを検査できます。 DynamoDB Local に接続するを参照してください。

ただし TTL による削除は例外です。Local ではそのレコードに userIdentity も REMOVE イベント名もないため、TTL アーカイブ用のフィルターはそこでは何にもマッチしません。

落とし穴と次のステップ

  • 24 時間は反応のためのバッファであって、アーカイブではない。 下流のシステムが変更を決して取りこぼしてはならないなら、上で示したように Kinesis Data Streams for DynamoDB と Firehose を追加します。
  • ビュータイプはコンシューマーが知る必要のあることで選ぶ。 新しい状態に基づいて動作するなら NEW_IMAGE、差分を取るなら NEW_AND_OLD_IMAGES を使います。KEYS_ONLY に再読み込みを組み合わせると、レコードごとに読み込みのコストがかかり、返るのは現時点のアイテムで、削除後なら何も返りません。
  • 順序はアイテムごとに保たれ、アイテム間では保たれない。 コンシューマーがアイテム間の順序を必要とするなら、それをデータに持たせ(時間順にソートできるソートキー、または自分で書き込むシーケンス番号)、それで順序付けます。Lambda の ParallelizationFactor は、シャードを並列に処理しながらも各アイテムの順序を保ちます。
  • シャードごとのリーダーは 2 つまで。 同じストリームを読む 3 つ目のコンシューマーはスロットリングされます(グローバルテーブルでは AWS は 1 つを推奨しています)。1 つの関数からファンアウトするか、 Kinesis Data Streams for DynamoDB を使います。
  • TTL による削除にはマーカーが付く。 TTL による削除のレコードでは、userIdentity が type: "Service" と principalId: "dynamodb.amazonaws.com" に設定されます。期限切れのアイテムをアーカイブするには、それでフィルターし、関数内でもう一度確認します。DynamoDB TTL で示しているとおりです。

Streams は監査ログをイベントソースに変えます。次の運用上の関心事は、アイテムのライフサイクルの反対側、つまり DynamoDB TTL で古いイベントを自動的に期限切れにすることです。

DynoTable をダウンロード して、Lambda コードを 1 行書く前に、ストリームコンシューマーが受け取る正確なアイテムの形を検査しましょう。

著者: Dmitriy · 更新日