上級読了 3 分

DynamoDB Global Tables:マルチリージョンレプリケーション解説

グローバルテーブル とは、複数の AWS リージョンにまたがって複製された単一の DynamoDB テーブルで、すべてのレプリカが書き込み可能です。

DynamoDB がレプリカを同期に保つので、各リージョンで低レイテンシのローカルな読み書きができ、自前のレプリケーションを運用することなくクロスリージョンの災害復旧も得られます。

例では、マルチテナント SaaS の追記専用の監査ログを使います。イベントごとに 1 アイテムで、テナント単位でパーティション分けされています(PK = TENANT#acme、SK = EVENT#<time>#<id>)。設定は 運用とコストの概観 のとおりです。

ほとんどのテナントは us-east-1 で動き、EU の顧客のグループは eu-west-1 で動いています。そしてコンプライアンスの記録として、ログはリージョン全体の障害を生き延びる必要があります。

DynamoDB グローバルテーブルはどう機能するのか?

  • マルチリージョン、アクティブ-アクティブ。 各レプリカは読み書き可能で、どのリージョンへの書き込みも他のすべてのレプリカへ伝播します。
  • すべてのレプリカがすべてのアイテムを保持する。 グローバルテーブルは、全データを全リージョンにコピーします。これは回復性とレイテンシのための機能であり、一部のテナントのデータを 1 つのリージョンに留めておく手段ではありません。
  • デフォルトモード(MREC)では、レプリケーションは非同期 で、リージョン間で があり、通常 1 秒以内に反映されます。同じアイテムへの並行書き込みは last-writer-wins で解決されます。
  • 99.999% の可用性 SLA を支える。 シングルリージョンのテーブルは 99.99% です。

問題:1 つのリージョンでは足りない

us-east-1 に障害があると、シングルリージョンの監査ログはその間ずっと読めず書けなくなります。まさに、何が起こったかの記録が最も必要なときにです。

クロスリージョンのレプリケーション、フェイルオーバー、競合処理を自前で構築するのは、大規模でエラーを起こしやすいプロジェクトです。グローバルテーブルはそれを構成上の選択にします。

データレジデンシーは別の要件です。 EU の顧客のイベントを EU 内だけに保存しなければならないなら、us-east-1 と eu-west-1 にまたがるグローバルテーブルはその要件を破ります。彼らのイベントは US にも複製されるからです。

そうしたテナントは、すべてのリージョンが EU 内にある別のテーブル(たとえば eu-west-1 と、DR 用の eu-central-1)に置き、各テナントのリクエストをそのテーブルへルーティングしてください。

そのテーブルのバックアップコピー、S3 エクスポート、ストリームのコンシューマーも EU リージョンに置いてください。AWS Backup のクロスリージョンコピーや US でホストされたコンシューマーは、レプリカと同じようにデータを域外へ持ち出します。

レプリケーションの仕組み

既存のテーブルに レプリカリージョン を追加すると、DynamoDB はそこへデータをコピーし、レプリカを同期に保ちます。プロビジョンドテーブルでは、先に書き込みの Auto Scaling を有効にする(またはオンデマンドに切り替える)必要があります。そうしないと DynamoDB はレプリカを拒否します。

aws dynamodb update-table \
    --table-name audit-log \
    --replica-updates '[{"Create": {"RegionName": "eu-west-1"}}]'

レプリカがどれだけ遅れているかは、CloudWatch の ReplicationLatency メトリクス(リージョンのペアごと)で確認します。

デフォルトの MREC モードでは:

  • 別のリージョンでの読み取りには、まだ書き込みが見えないことがある。 us-east-1 への書き込みはローカルで承認され、その後 eu-west-1 へ伝播されます。 が最新のバージョンを返すのは、読み取り元のリージョンで最後に書き込まれたアイテムに限られます。
  • 競合はアイテム単位の last-writer-wins。 ほぼ同時に 2 つのリージョンで同じアイテムが書き込まれると、DynamoDB は最新のタイムスタンプを持つ書き込みを保持し、もう一方を破棄します。 AWS はこうした競合を CloudWatch にも CloudTrail にも記録しません。
  • トランザクションがアトミックなのは、それを実行したリージョンの中だけ。 別のリージョンでは、複製の途中で TransactWriteItems の一部が一時的に見えることがあります。
  • 復旧ポイント = レプリケーション遅延。 AWS は MREC の RPO を "usually a few seconds" としています。MRSC の RPO はゼロです。
非同期レプリケーション ~1秒us-east-1監査ログのレプリカ(読み +書き)eu-west-1監査ログのレプリカ(読み +書き)

実践例:レイテンシと DR のための EU レプリカ

監査ログのテーブルのレプリカとして eu-west-1 を追加します。すると:

write regionitemvisible in
us-east-1TENANT#acmeEVENT#…#a1both Regions (~1s lag to EU)
eu-west-1TENANT#initechEVENT#…#e7both Regions (~1s lag to US)

EU を拠点とするテナントは、ローカルの eu-west-1 レプリカに低レイテンシで書き込み、そこから読み取ります。同じレプリカが 災害復旧 にもなります。us-east-1 がダウンしても、eu-west-1 は障害前に複製されたすべて(通常は直前の数秒分の書き込みを除くすべて)を保持しており、フェイルオーバーすればトラフィックを処理します。

監査ログは 追記専用でテナントごとにパーティション分けされて おり、各テナントのイベントは一意のキーで 1 つのリージョンから書き込まれます。

2 つのリージョンが同じアイテムで競合することはめったにないので、このテーブルにとって last-writer-wins のコストはありません。追記専用のログがグローバルテーブルによく適合するのはそのためです。

DynoTable でやってみる

レプリカを追加したら、それが正常で、データが届いていること、つまり EU レプリカが acme のイベントを正しい属性で保持していることを確認したくなります。

DynoTable では、テーブル設定ダイアログ(テーブルのツールバーにある 設定 ボタン)のレプリカ セクションに、各レプリカリージョンがライブのステータスとともに一覧され、MREC テーブルではそこからレプリカを追加・削除できます。

接続プロファイルは 1 つのリージョンを対象にするので、eu-west-1 のコピーを読むには、 eu-west-1 に設定したプロファイルからテーブルを開き、そこで同じテナントをクエリします。

DynoTable で us-east-1 レプリカを検証している様子。テナントでクエリした acme の監査イベント。
DynoTable で us-east-1 レプリカを検証している様子。テナントでクエリした acme の監査イベント。

レプリカの一覧をコンソールのクリックではなくコードで管理するには、インフラストラクチャコードジェネレーター が aws dynamodb describe-table の出力を、レプリカを含めて Terraform、AWS CDK、CloudFormation に変換します。

落とし穴と次のステップ

  • リージョンをまたいで read-your-own-write をしない。 各テナントの読み取りは、その書き込みを受けるリージョンへルーティングし、テナントを別のリージョンへフェイルオーバーするときは丸ごと移してください。AWS のガイダンスでは、1 つのリージョンを拠点とするアプリケーションはそのリージョンのエンドポイントだけを呼び出します。
  • last-writer-wins は静かにデータを落とす。 可変のアイテムでは、各アイテム(またはテナント)にホームリージョンを決めてすべての書き込みをそこへ送り、並行書き込みが 2 つのリージョンから来ないようにしてください。テーブルを空の状態から始められ、TTL、LSI、トランザクションが不要なら、MRSC は競合する書き込みを代わりに拒否します。
  • すべてのレプリカにコストがかかる。 各リージョンが完全なコピーを保存し、複製されるすべての書き込みに課金されるので、リージョンを 1 つ増やすと書き込みとストレージの請求はおおよそ 2 倍になります(レプリケーションのデータ転送には AWS は課金しません)。リージョンは DR やレイテンシの必要のために追加し、デフォルトで追加しないでください。
  • バックアップはレプリカごと。 PITR の設定はレプリカ間で同期されないので、復元する可能性のあるすべてのリージョンで PITR を有効にしてください。復元すると独立したシングルリージョンのテーブルとして戻ってくるので、アプリの向き先を戻す前に、もう一度レプリカを追加してください。バックアップとポイントインタイムリカバリ を参照。

グローバルテーブルはリージョンを失うことから守ります。データ を失うこと、つまり不正なデプロイや誤削除から守るのは、バックアップとポイントインタイムリカバリ の役割です。

DynoTable をダウンロード して、レプリカのステータスを確認し、各リージョンのテーブルのコピーをクエリしましょう。

著者: Dmitriy · 更新日