DynamoDB 怎麼存資料?分割區、一致性與計費的取捨

在 AWS 雲端架構中,Amazon DynamoDB 常被當作無伺服器(Serverless)資料庫的預設首選。AWS 認證考試與常見教材會介紹主鍵設計、容量模式與快取等規則。

例如,主鍵由 Partition Key 與 Sort Key 組成;Partition Key 的不同值要夠多(高基數,High Cardinality),才能分散存取熱點。容量模式分為佈建(Provisioned)與隨需(On-demand),讀取可透過 DAX 快取加速。

這些規則背後都有具體的分散式系統設計取捨。本文從 2007 年 Dynamo 論文談起,說明 DynamoDB 的實體分割區機制、讀取一致性與交易成本、2025 年推出的跨區域強一致性(MRSC),以及選型和計費上常見的限制。


一、演進脈絡:從分散式論文走向全託管產品

2007 年 Dynamo 論文:從購物車需求到寫入可用性

Dynamo 的起點,可追溯至 SOSP 2007 研討會上由 Giuseppe DeCandia 等人發表的里程碑論文《Dynamo: Amazon’s Highly Available Key-value Store》。論文第一節開宗明義指出,電商顧客必須能隨時把商品加入購物車:

「even if disks are failing, network routes are flapping, or data centers are being destroyed by tornados」——即使硬碟故障、網路路由劇烈抖動,或資料中心被龍捲風摧毀。

對零售時期的 Amazon 而言,顧客無法把商品加入購物車,就可能放棄購買。若儲存系統必須等待複本確認才能完成寫入,網路中斷或節點故障就可能讓操作失敗。Dynamo 的選擇是優先維持寫入可用性,允許複本暫時不一致;這裡比較的是複本間的一致性,不是 ACID 中資料約束的一致性。

論文指出,對於僅需主鍵存取的工作負載,硬套關聯式資料庫不僅效率不彰,還會限制系統的橫向擴充與可用性。

在 Dynamo 誕生前,AWS 已有兩項託管儲存服務的早期嘗試:S3 驗證了雲端物件儲存的龐大需求,但無法提供低延遲的逐筆讀寫;SimpleDB 雖具備查詢能力,卻受限於單一 Domain(其資料集合單位)10 GB 的容量硬上限。Dynamo 論文正是為了補齊「Key-Value 存取、水平擴充、延遲受控」這一關鍵缺口。

為此,論文提出 永遠可寫(Always Writeable) 的設計目標:部分節點無法連線時,透過其他可用節點接收寫入,將版本衝突留待之後處理。這是系統優先維持寫入服務的取捨,不代表每個複本節點在任何故障下都能接受寫入。

系統將衝突解決推遲至讀取階段:透過向量時鐘(Vector Clocks)偵測物件的分岔版本,交由應用層進行語意合併(例如將兩台裝置分岔的購物車合併),或退而求其次採用最後寫入者獲勝(Last-Write-Wins, LWW)。這套做法就是最終一致性(Eventual Consistency)。

這套設計靠幾種機制配合:

2012 年 DynamoDB:從自建軟體轉向全託管服務

AWS 為何在 2007 年的 Dynamo 之後,又於 2012 年推出 DynamoDB?一個重要原因是:內部工程師不想自己維運 Dynamo。

Amazon 技術長 Werner Vogels 於 2012 年 1 月 18 日的發表文中回顧,Dynamo 終究是一套「必須自行部署與維運的軟體」,而開發團隊對 S3 與 SimpleDB 的全託管體驗用腳投票——沒有人想在非必要時投入精力維運底層儲存。

AWS 因此得出結論:開發者需要的是 Service(全託管服務),而非 Software(自建軟體套件)。(社群偶有「DynamoDB 是因某次 S3 大當機催生」的傳言,但發表文與論文均指出,動機來自購物車的高可用性目標與全託管維運需求。)

DynamoDB 保留了分散式分割區精神,但在產品實作上進行了關鍵調整:

設計面向2007 年 Dynamo 論文2012 年 DynamoDB 服務
一致性保證僅提供 Eventual,衝突交由應用層讀取時可自選 Eventual 或 Strongly Consistent
衝突偵測將 Vector Clocks 曝露給用戶端處理伺服端內部解決,API 不曝露版本時鐘
儲存硬體一般機械硬碟(HDD)全面採用固態硬碟(SSD)
寫入索引—僅於寫入時同步維護主鍵索引,以確保寫入低延遲
複本架構可調式 N 複本、Sloppy Quorum自動同步複製至區域內至少三個可用區(AZ)
查詢面向純粹 Key-Value 點查支援 Composite Key(PK + SK)的範圍查詢

DynamoDB 發表時就採用以下容量計算方式:相同讀取容量單位(RCU)下,最終一致性讀取每秒可處理的請求數,是強一致性讀取的兩倍。


二、實體儲存架構:分割區、雜湊與 Split for Heat

從 Partition Key 到實體分割區

DynamoDB 透過分割鍵(Partition Key,PK)決定資料存放的實體分割區。應用程式寫入一筆資料時,系統先對 PK 的值做雜湊運算,再依結果落在哪個數值區間,將資料放進對應的實體分割區(Physical Partition)。

每個實體分割區使用專屬的 SSD 儲存空間,並自動跨 3 個 AZ 建立同步複本。根據 AWS 資料庫架構團隊公開的資料,每個實體分區的設計極限值為:

當某個分割區的資料量增長超過 10 GB,或累積負載超過上述極限時,DynamoDB 會自動將該分割區一分為二(Partition Split),並重新劃分雜湊範圍。

剛建立的 On-demand 表格預設可承載相當於 4,000 WCU 與 12,000 RCU 的吞吐量,約相當於 4 個實體分割區的初始規模。順帶澄清:部分社群文章誤傳 2023 年單一分割區上限升至 10,000 WCU / 30,000 RCU,該數字實為官方文件中預熱吞吐量的表格層級範例,底層實體分割區基準仍為 1,000 / 3,000。

若表格採用複合主鍵(Composite Key),由 PK 與排序鍵(Sort Key,SK)共同識別一筆資料,所有相同 PK 的資料就構成一個 Item Collection(同一分割鍵的資料集合)。

同一 PK 的資料依 Sort Key 排序,這種儲存組織有利於 Query 查詢指定的 SK 範圍。不過,排序不等於保證資料佔用連續的 SSD 位址,也不能單憑這點推導查詢延遲。

次要索引(Secondary Index)提供主鍵之外的查詢方式,其鍵值設計與資料維護方式需要分開看:

熱點分割區(Hot Partition)與兩代防禦機制

由於單一實體分割區具備 1,000 WCU / 3,000 RCU 的硬性天花板,一旦資料存取嚴重失衡,就會觸發熱點分割區(Hot Partition)瓶頸。例如以 CountryCode 作為 PK,九成流量都存取 TW。即使整張表格配置了數萬 RCU,集中在該分割區的請求依然會被限流(Throttle)。

針對熱點問題,DynamoDB 發展出兩代防禦架構:

  1. 第一代(設計端防禦):由工程師在資料模型著手,選擇高基數(High Cardinality)的 PK(如 UUID 或組合鍵),或在應用層實作寫入分片(Write Sharding,在熱點 PK 後附加隨機字尾 user#1001.0 至 user#1001.9)。
  2. 第二代(伺服端防禦):
    • Adaptive Capacity(適應性容量):2018 年起所有表格預設啟用,自動將未使用的分割區容量動態借調給突發流量分割區,避免單一熱點拖垮整體可用性。
    • Split for Heat(熱點拆分):2023 年發布的內部機制。當系統偵測到某個實體分割區長期過熱,會自動依據 Sort Key 邊界將該分割區切分為兩個實體分割區,將該 Item Collection 的流量分攤至兩組獨立硬體。
 +-------------------------------------------------
 | 過熱分割區(> 1000 WCU)
 |  +---------------------------------------------
 |  | PK: tenant#42 | SK: 2026-01-01 ...        |
 |  |                    2026-12-31             |
 |  +---------------------------------------------
 +-------------------------------------------------
                          |
                    依 Sort Key 切分
                          v
 +-------------------------------------------------
 | 分割區 A(SK: 01 至 06)
 |  +---------------------------------------------
 |  | PK: tenant#42 | SK: 2026-01-01 ...        |
 |  |                    2026-06-30             |
 |  +---------------------------------------------
 | 分割區 B(SK: 07 至 12)
 |  +---------------------------------------------
 |  | PK: tenant#42 | SK: 2026-07-01 ...        |
 |  |                    2026-12-31             |
 |  +---------------------------------------------
 +-------------------------------------------------

Split for Heat 能否拆開同一 PK 的熱點,取決於資料是否有不同的 Sort Key。若流量完全集中在單一 PK 且沒有 SK(或同一筆 Item),系統就沒有可用的拆分邊界,無法將流量分攤到其他分割區。此時仍需在應用層採用寫入分片或快取。


三、讀寫模式與容量計費模型

讀取一致性、快取與交易操作的取捨

最終一致性與強一致性決定讀取能否看到最新寫入;DAX 用快取加速讀取;交易操作則協調多筆資料的讀寫。它們不是四個依序升級的一致性等級。

以下比較單筆資料的容量消耗:讀取以不超過 4 KB 為基準,寫入以不超過 1 KB 為基準。

操作或服務容量消耗(單筆)延遲基準適用範圍與限制
最終一致性讀取(Eventual)0.5 讀取單位個位數毫秒主表、LSI 與 GSI 的預設讀取方式
強一致性讀取(Strong)1 讀取單位個位數毫秒主表與 LSI 支援,GSI 不支援
DAX 記憶體快取命中快取時不消耗資料庫讀取單位微秒級加速最終一致性讀取,快取叢集另行計費
交易操作(Transactions)讀取 2 讀取單位;寫入 2 寫入單位個位數毫秒同一區域內最多 100 筆資料、合計 4 MB;MRSC 不支援

佈建模式用 RCU/WCU 表示每秒可支援的吞吐量;隨需模式用讀取/寫入請求單位(RRU/WRU)計費。兩者都依資料大小與操作類型換算消耗。

容量計費以 4 KB(讀取)與 1 KB(寫入)為單位,不足一個單位也以一個計算。例如讀取一筆 9 KB 的 Item,會算成 3 個 4 KB 單位;下式的 ceil 代表向上取整:

Provisioned 與 On-demand 的損益平衡點換算

DynamoDB 具備兩種計費模式:

  1. 佈建模式(Provisioned):固定配置 WCU 與 RCU(us-east-1 價格為 WCU 每小時每單位 $0.00065、RCU $0.00013),可搭配 Auto Scaling。
  2. 隨需模式(On-demand):按實際請求計費。2024 年 11 月 1 日 AWS 將 On-demand 價格下調 50% 後,現行費率為每百萬次寫入 $0.625、每百萬次讀取 $0.125。

以寫入成本計算:1 個 WCU 若連續滿載運作 1 小時(每秒 1 次,共 3,600 次 1 KB 寫入),換算成每百萬次寫入成本約為 $0.18。對比 On-demand 的每百萬次 $0.625:

成本比值=$0.625$0.1805≈3.46 倍\text{成本比值} = \frac{\$0.625}{\$0.1805} \approx 3.46 \text{ 倍}

也就是說,在 100% 滿載利用率下,On-demand 成本約為 Provisioned 的 3.5 倍。佈建容量即使沒有用滿,仍需支付配置的容量費用;隨需模式則按實際請求計費。因此,當平均使用量約占佈建容量的 29%(1 / 3.46)時,兩者的寫入費用大致相等。

若工作負載的平均利用率低於 29%(例如流量尖峰劇烈、夜間完全無流量),On-demand 更加便宜且免去容量排程風險;若負載平穩且長期利用率超過 30%,採用 Provisioned 搭配 Auto Scaling 或 Reserved Capacity 可節省大量開銷。

針對大型行銷活動,AWS 於 2024 年推出了 預熱吞吐量(Warm Throughput) 功能,允許工程師在活動前 48 至 72 小時直接指定預期吞吐量,促使後端分割區預先分裂就位,省去傳統預熱需手動拉高容量又調降的繁瑣操作。


四、進階架構演進:Streams、Global Tables 與 Single-Table 論戰

Streams 與事件驅動架構

DynamoDB Streams 以近即時(Near-real-time)的方式依序記錄資料異動,保留 24 小時。四種檢視分別記錄主鍵(KEYS_ONLY)、修改後的資料(NEW_IMAGE)、修改前的資料(OLD_IMAGE),或修改前後的資料(NEW_AND_OLD_IMAGES)。

Streams 常與 AWS Lambda 搭配,用來建立事件驅動架構。例如訂單狀態更新為 SHIPPED 時,Streams 記錄這次異動;Lambda 服務讀取紀錄並呼叫函式,由函式執行通知傳送、資料倉儲同步或統計更新。Streams 提供異動紀錄,後續業務邏輯由消費端執行。

此外,Streams 也可用於跨表投影:依主表的異動更新另一張表格,讓那張表格專門服務特定查詢。若 24 小時的日誌重播週期不足,可啟用 Kinesis Data Streams 整合,最長可將保留期延長至 365 天。

Global Tables:從非同步 LWW 到 2025 年 MRSC

多區域複製架構經歷了三個重要演進階段:

  1. 2017 年(v1):初代 Global Tables,支援多區域 Active-Active 寫入,底層採用非同步複製。
  2. 2019 年(v2):轉換為複本群組架構,跨區域非同步複製採 Last-Write-Wins(LWW) 依時間戳解決衝突。優點是寫入延遲低(各地區各自確認),但遭遇區域性災難時,尚未複製的資料可能遺失,範圍可達數秒。復原點目標(RPO)表示故障時可容忍遺失多長時間內的資料;此處 RPO > 0,代表無法保證完全不丟資料。
  3. 2025 年 6 月 GA(MRSC):多區域強一致性(Multi-Region Strong Consistency)。寫入請求必須同步複製並取得遠端區域確認後才算完成,提供 Zero RPO 與跨區域強一致讀取。
 +-------------------------------------------------
 | 多區域複製架構演進
 |
 | MREC:多區域最終一致性
 |  +---------------------------------------------
 |  | Region A(用戶端)        Region B(複本)
 |  | 1. 寫入成功
 |  |    |-- 非同步複製 ------> 2. 複製完成
 |  | (低延遲、LWW、風險:RPO > 0)
 |  +---------------------------------------------
 |
 | MRSC:多區域強一致性(2025 GA)
 |  +---------------------------------------------
 |  | Region A(用戶端)        Region B(複本)
 |  | 1. 寫入請求
 |  |    |-- 同步複製 --------> 2. 接收
 |  |    |<-- B 區域確認 ------
 |  | 3. 寫入確認
 |  | (Zero RPO、同步延遲、可重試衝突)
 |  +---------------------------------------------
 +-------------------------------------------------

官方現將兩種模式並列為 MREC(非同步 LWW) 與 MRSC(同步強一致)。從 2007 年論文優先確保寫入可用,到 2025 年提供跨區域強一致性,DynamoDB 讓使用者依需求選擇不同的複製方式。

選型時,要衡量寫入延遲與資料遺失風險:

Zero RPO 表示故障復原時不會遺失已確認的寫入,不等於扣款、扣庫存等業務操作必然正確。應用程式仍需設計條件更新,並處理並行寫入。此外,MRSC 不支援 DynamoDB 交易 API,不能用它完成跨多筆資料的 ACID 交易。

Single-Table Design 的務實反思

由 Rick Houlihan 在 re:Invent 倡導的 單表設計(Single-Table Design) 曾風靡社群:主張將整個系統的所有資料實體(Entity)集中於一張表格。

做法是讓不同種類的資料共用 PK 與 SK 欄位,並在值中標示資料種類,例如 PK=ORG#123、SK=USER#456。這稱為 PK/SK Overloading。配合 GSI 的鍵值設計,應用程式就能用一次 Query 取得需要一起使用的資料。

Alex DeBrie 於 2020 年發布了系統性專文剖析單表設計,但也指出其代價:一旦業務查詢模式發生變更,單表設計的重構成本遠高於多表。評估是否採用單表設計時,可以從存取模式與需求變動程度判斷:


五、DevOps 實戰:選型、可觀測性與成本控制

架構選型準則:何時該用 DynamoDB?

選型時,最核心的問題是:你的資料存取模式是否已知且可窮舉?

常見的六大帳單地雷

檢查帳單時,主要留意這六處:

  1. Item 尺寸進位耗損:讀取按 4 KB、寫入按 1 KB 向上取整。避免 Item 大小剛好微幅越界:一般寫入 1.1 KB 需 2 寫入單位;強一致讀取 4.1 KB 需 2 讀取單位。
  2. 強一致與交易模式開銷:強一致讀取消耗是最終一致讀取的 2 倍;交易讀取是一般強一致讀取的 2 倍,交易寫入是一般寫入的 2 倍。估算預算時要分清比較基準。
  3. 長期高負載模式檢討:長期平均利用率超過 30% 的穩定工作負載,應從 On-demand 切換回 Provisioned 或購買 Reserved Capacity 以節省成本。
  4. Global Tables 跨區複製寫入倍數:每個目標區域皆會獨立收取一份複製寫入容量費用,三區域 Active-Active 的寫入預算需以 3 倍規劃。
  5. GSI 獨立容量計費:主表異動若需要更新 GSI,就會另外消耗索引的寫入容量。索引更新是非同步的,但費用仍需計入;佈建模式使用各 GSI 配置的 WCU,隨需模式則按索引的寫入請求計費。
  6. 儲存類別適用邊界:Standard-Infrequent Access(Standard-IA)儲存費用降低約 60%,但每次讀寫計費較高;適合資料長期累積、寫入後極少讀取的冷資料封存表格。

維運監控與總結

在 CloudWatch 中,主要監控以下幾項指標:

本地開發則可結合 DynamoDB Local(Docker 容器)測試,並使用 NoSQL Workbench 進行視覺化資料建模與存取模式驗證。

DynamoDB 常見的維運問題,可以從底層機制理解:GSI 無法強一致,因為複製是非同步的;表格容量充裕卻遭限流,可能是請求集中在單一分割區,超過其吞吐上限。

交易操作則在同一區域內協調多筆資料的讀寫,確保操作一起成功或失敗,同時增加容量消耗;MRSC 的跨區域強一致性不能替代這項保證。選型與估算成本時,需要把存取分布、一致性需求與交易範圍一起考量。