DynamoDB 怎麼存資料?分割區、一致性與計費的取捨
在 AWS 雲端架構中,Amazon DynamoDB 常被當作無伺服器(Serverless)資料庫的預設首選。AWS 認證考試與常見教材會介紹主鍵設計、容量模式與快取等規則。
例如,主鍵由 Partition Key 與 Sort Key 組成;Partition Key 的不同值要夠多(高基數,High Cardinality),才能分散存取熱點。容量模式分為佈建(Provisioned)與隨需(On-demand),讀取可透過 DAX 快取加速。
這些規則背後都有具體的分散式系統設計取捨。本文從 2007 年 Dynamo 論文談起,說明 DynamoDB 的實體分割區機制、讀取一致性與交易成本、2025 年推出的跨區域強一致性(MRSC),以及選型和計費上常見的限制。
一、演進脈絡:從分散式論文走向全託管產品
2007 年 Dynamo 論文:從購物車需求到寫入可用性
Dynamo 的起點,可追溯至 SOSP 2007 研討會上由 Giuseppe DeCandia 等人發表的里程碑論文《Dynamo: Amazon’s Highly Available Key-value Store》。論文第一節開宗明義指出,電商顧客必須能隨時把商品加入購物車:
「even if disks are failing, network routes are flapping, or data centers are being destroyed by tornados」——即使硬碟故障、網路路由劇烈抖動,或資料中心被龍捲風摧毀。
對零售時期的 Amazon 而言,顧客無法把商品加入購物車,就可能放棄購買。若儲存系統必須等待複本確認才能完成寫入,網路中斷或節點故障就可能讓操作失敗。Dynamo 的選擇是優先維持寫入可用性,允許複本暫時不一致;這裡比較的是複本間的一致性,不是 ACID 中資料約束的一致性。
論文指出,對於僅需主鍵存取的工作負載,硬套關聯式資料庫不僅效率不彰,還會限制系統的橫向擴充與可用性。
在 Dynamo 誕生前,AWS 已有兩項託管儲存服務的早期嘗試:S3 驗證了雲端物件儲存的龐大需求,但無法提供低延遲的逐筆讀寫;SimpleDB 雖具備查詢能力,卻受限於單一 Domain(其資料集合單位)10 GB 的容量硬上限。Dynamo 論文正是為了補齊「Key-Value 存取、水平擴充、延遲受控」這一關鍵缺口。
為此,論文提出 永遠可寫(Always Writeable) 的設計目標:部分節點無法連線時,透過其他可用節點接收寫入,將版本衝突留待之後處理。這是系統優先維持寫入服務的取捨,不代表每個複本節點在任何故障下都能接受寫入。
系統將衝突解決推遲至讀取階段:透過向量時鐘(Vector Clocks)偵測物件的分岔版本,交由應用層進行語意合併(例如將兩台裝置分岔的購物車合併),或退而求其次採用最後寫入者獲勝(Last-Write-Wins, LWW)。這套做法就是最終一致性(Eventual Consistency)。
這套設計靠幾種機制配合:
- 一致性雜湊(Consistent Hashing)與虛擬節點:將資料與負載分散到各節點。
- 寬鬆法定人數(Sloppy Quorum)與提示交接(Hinted Handoff):部分節點故障時,由其他節點暫代接收,之後再交回資料。
- Merkle Trees:在背景比對複本差異並修補資料(反熵同步,Anti-Entropy)時,減少需要傳送的資料量。
- Gossip 協定:讓節點互相交換狀態,偵測節點是否正常運作。
2012 年 DynamoDB:從自建軟體轉向全託管服務
AWS 為何在 2007 年的 Dynamo 之後,又於 2012 年推出 DynamoDB?一個重要原因是:內部工程師不想自己維運 Dynamo。
Amazon 技術長 Werner Vogels 於 2012 年 1 月 18 日的發表文中回顧,Dynamo 終究是一套「必須自行部署與維運的軟體」,而開發團隊對 S3 與 SimpleDB 的全託管體驗用腳投票——沒有人想在非必要時投入精力維運底層儲存。
AWS 因此得出結論:開發者需要的是 Service(全託管服務),而非 Software(自建軟體套件)。(社群偶有「DynamoDB 是因某次 S3 大當機催生」的傳言,但發表文與論文均指出,動機來自購物車的高可用性目標與全託管維運需求。)
DynamoDB 保留了分散式分割區精神,但在產品實作上進行了關鍵調整:
| 設計面向 | 2007 年 Dynamo 論文 | 2012 年 DynamoDB 服務 |
|---|---|---|
| 一致性保證 | 僅提供 Eventual,衝突交由應用層 | 讀取時可自選 Eventual 或 Strongly Consistent |
| 衝突偵測 | 將 Vector Clocks 曝露給用戶端處理 | 伺服端內部解決,API 不曝露版本時鐘 |
| 儲存硬體 | 一般機械硬碟(HDD) | 全面採用固態硬碟(SSD) |
| 寫入索引 | — | 僅於寫入時同步維護主鍵索引,以確保寫入低延遲 |
| 複本架構 | 可調式 N 複本、Sloppy Quorum | 自動同步複製至區域內至少三個可用區(AZ) |
| 查詢面向 | 純粹 Key-Value 點查 | 支援 Composite Key(PK + SK)的範圍查詢 |
DynamoDB 發表時就採用以下容量計算方式:相同讀取容量單位(RCU)下,最終一致性讀取每秒可處理的請求數,是強一致性讀取的兩倍。
二、實體儲存架構:分割區、雜湊與 Split for Heat
從 Partition Key 到實體分割區
DynamoDB 透過分割鍵(Partition Key,PK)決定資料存放的實體分割區。應用程式寫入一筆資料時,系統先對 PK 的值做雜湊運算,再依結果落在哪個數值區間,將資料放進對應的實體分割區(Physical Partition)。
每個實體分割區使用專屬的 SSD 儲存空間,並自動跨 3 個 AZ 建立同步複本。根據 AWS 資料庫架構團隊公開的資料,每個實體分區的設計極限值為:
- 1,000 WCU(Write Capacity Unit,1 WCU 可支援每秒 1 次不超過 1 KB 的一般寫入)
- 3,000 RCU(Read Capacity Unit,1 RCU 可支援每秒 1 次不超過 4 KB 的強一致讀取)
- 單一分割區儲存容量上限約 10 GB
當某個分割區的資料量增長超過 10 GB,或累積負載超過上述極限時,DynamoDB 會自動將該分割區一分為二(Partition Split),並重新劃分雜湊範圍。
剛建立的 On-demand 表格預設可承載相當於 4,000 WCU 與 12,000 RCU 的吞吐量,約相當於 4 個實體分割區的初始規模。順帶澄清:部分社群文章誤傳 2023 年單一分割區上限升至 10,000 WCU / 30,000 RCU,該數字實為官方文件中預熱吞吐量的表格層級範例,底層實體分割區基準仍為 1,000 / 3,000。
若表格採用複合主鍵(Composite Key),由 PK 與排序鍵(Sort Key,SK)共同識別一筆資料,所有相同 PK 的資料就構成一個 Item Collection(同一分割鍵的資料集合)。
同一 PK 的資料依 Sort Key 排序,這種儲存組織有利於 Query 查詢指定的 SK 範圍。不過,排序不等於保證資料佔用連續的 SSD 位址,也不能單憑這點推導查詢延遲。
次要索引(Secondary Index)提供主鍵之外的查詢方式,其鍵值設計與資料維護方式需要分開看:
- 全域次要索引(GSI):可選擇與主表不同的 PK 與 SK,讓資料依另一種查詢方式組織。GSI 的儲存與容量獨立管理,主表異動以非同步方式更新索引。
- 本地次要索引(LSI):與主表共享相同 PK,因此必須與主表共用同一個實體分割區。這導致單一 Item Collection 的總大小被硬性鎖定在 10 GB 以內(無法自動跨分割區分裂),是實務架構設計中容易踩雷的限制。
熱點分割區(Hot Partition)與兩代防禦機制
由於單一實體分割區具備 1,000 WCU / 3,000 RCU 的硬性天花板,一旦資料存取嚴重失衡,就會觸發熱點分割區(Hot Partition)瓶頸。例如以 CountryCode 作為 PK,九成流量都存取 TW。即使整張表格配置了數萬 RCU,集中在該分割區的請求依然會被限流(Throttle)。
針對熱點問題,DynamoDB 發展出兩代防禦架構:
- 第一代(設計端防禦):由工程師在資料模型著手,選擇高基數(High Cardinality)的 PK(如 UUID 或組合鍵),或在應用層實作寫入分片(Write Sharding,在熱點 PK 後附加隨機字尾
user#1001.0至user#1001.9)。 - 第二代(伺服端防禦):
- Adaptive Capacity(適應性容量):2018 年起所有表格預設啟用,自動將未使用的分割區容量動態借調給突發流量分割區,避免單一熱點拖垮整體可用性。
- Split for Heat(熱點拆分):2023 年發布的內部機制。當系統偵測到某個實體分割區長期過熱,會自動依據 Sort Key 邊界將該分割區切分為兩個實體分割區,將該 Item Collection 的流量分攤至兩組獨立硬體。
+-------------------------------------------------
| 過熱分割區(> 1000 WCU)
| +---------------------------------------------
| | PK: tenant#42 | SK: 2026-01-01 ... |
| | 2026-12-31 |
| +---------------------------------------------
+-------------------------------------------------
|
依 Sort Key 切分
v
+-------------------------------------------------
| 分割區 A(SK: 01 至 06)
| +---------------------------------------------
| | PK: tenant#42 | SK: 2026-01-01 ... |
| | 2026-06-30 |
| +---------------------------------------------
| 分割區 B(SK: 07 至 12)
| +---------------------------------------------
| | PK: tenant#42 | SK: 2026-07-01 ... |
| | 2026-12-31 |
| +---------------------------------------------
+-------------------------------------------------
Split for Heat 能否拆開同一 PK 的熱點,取決於資料是否有不同的 Sort Key。若流量完全集中在單一 PK 且沒有 SK(或同一筆 Item),系統就沒有可用的拆分邊界,無法將流量分攤到其他分割區。此時仍需在應用層採用寫入分片或快取。
三、讀寫模式與容量計費模型
讀取一致性、快取與交易操作的取捨
最終一致性與強一致性決定讀取能否看到最新寫入;DAX 用快取加速讀取;交易操作則協調多筆資料的讀寫。它們不是四個依序升級的一致性等級。
以下比較單筆資料的容量消耗:讀取以不超過 4 KB 為基準,寫入以不超過 1 KB 為基準。
| 操作或服務 | 容量消耗(單筆) | 延遲基準 | 適用範圍與限制 |
|---|---|---|---|
| 最終一致性讀取(Eventual) | 0.5 讀取單位 | 個位數毫秒 | 主表、LSI 與 GSI 的預設讀取方式 |
| 強一致性讀取(Strong) | 1 讀取單位 | 個位數毫秒 | 主表與 LSI 支援,GSI 不支援 |
| DAX 記憶體快取 | 命中快取時不消耗資料庫讀取單位 | 微秒級 | 加速最終一致性讀取,快取叢集另行計費 |
| 交易操作(Transactions) | 讀取 2 讀取單位;寫入 2 寫入單位 | 個位數毫秒 | 同一區域內最多 100 筆資料、合計 4 MB;MRSC 不支援 |
- 最終一致性讀取(Eventually Consistent Read,預設):讀取 4 KB 以內資料消耗 0.5 讀取單位。寫入確認後可能在數百毫秒至一秒內讀到舊值。
- 強一致性讀取(Strongly Consistent Read):讀取 4 KB 以內資料消耗 1 讀取單位,是最終一致讀取的兩倍。保證回傳最新成功確認的寫入資料。需注意 GSI 完全不支援強一致讀取,API 傳入
ConsistentRead=true會直接拋出ValidationException,因為 GSI 是以非同步方式複製的獨立複本。 - DAX(DynamoDB Accelerator):託管的記憶體快取叢集,將讀取延遲降至微秒(Microsecond)等級,但 DAX 僅提供最終一致性,強一致請求會自動繞過快取直達資料庫。
- 交易操作(Transactions):
TransactWriteItems與TransactGetItems提供同一帳號、同一區域內跨多個 Item 的 ACID 交易,上限為 100 筆且合計不超過 4 MB。每筆資料在準備與提交階段各讀取或寫入一次,因此交易讀取消耗是一般強一致讀取的 2 倍,交易寫入消耗是一般寫入的 2 倍。
佈建模式用 RCU/WCU 表示每秒可支援的吞吐量;隨需模式用讀取/寫入請求單位(RRU/WRU)計費。兩者都依資料大小與操作類型換算消耗。
容量計費以 4 KB(讀取)與 1 KB(寫入)為單位,不足一個單位也以一個計算。例如讀取一筆 9 KB 的 Item,會算成 3 個 4 KB 單位;下式的 ceil 代表向上取整:
- Eventual 模式:
ceil(9 / 4) * 0.5 = 1.5讀取單位 - Strong 模式:
ceil(9 / 4) * 1.0 = 3.0讀取單位
Provisioned 與 On-demand 的損益平衡點換算
DynamoDB 具備兩種計費模式:
- 佈建模式(Provisioned):固定配置 WCU 與 RCU(us-east-1 價格為 WCU 每小時每單位 $0.00065、RCU $0.00013),可搭配 Auto Scaling。
- 隨需模式(On-demand):按實際請求計費。2024 年 11 月 1 日 AWS 將 On-demand 價格下調 50% 後,現行費率為每百萬次寫入 $0.625、每百萬次讀取 $0.125。
以寫入成本計算:1 個 WCU 若連續滿載運作 1 小時(每秒 1 次,共 3,600 次 1 KB 寫入),換算成每百萬次寫入成本約為 $0.18。對比 On-demand 的每百萬次 $0.625:
也就是說,在 100% 滿載利用率下,On-demand 成本約為 Provisioned 的 3.5 倍。佈建容量即使沒有用滿,仍需支付配置的容量費用;隨需模式則按實際請求計費。因此,當平均使用量約占佈建容量的 29%(1 / 3.46)時,兩者的寫入費用大致相等。
若工作負載的平均利用率低於 29%(例如流量尖峰劇烈、夜間完全無流量),On-demand 更加便宜且免去容量排程風險;若負載平穩且長期利用率超過 30%,採用 Provisioned 搭配 Auto Scaling 或 Reserved Capacity 可節省大量開銷。
針對大型行銷活動,AWS 於 2024 年推出了 預熱吞吐量(Warm Throughput) 功能,允許工程師在活動前 48 至 72 小時直接指定預期吞吐量,促使後端分割區預先分裂就位,省去傳統預熱需手動拉高容量又調降的繁瑣操作。
四、進階架構演進:Streams、Global Tables 與 Single-Table 論戰
Streams 與事件驅動架構
DynamoDB Streams 以近即時(Near-real-time)的方式依序記錄資料異動,保留 24 小時。四種檢視分別記錄主鍵(KEYS_ONLY)、修改後的資料(NEW_IMAGE)、修改前的資料(OLD_IMAGE),或修改前後的資料(NEW_AND_OLD_IMAGES)。
Streams 常與 AWS Lambda 搭配,用來建立事件驅動架構。例如訂單狀態更新為 SHIPPED 時,Streams 記錄這次異動;Lambda 服務讀取紀錄並呼叫函式,由函式執行通知傳送、資料倉儲同步或統計更新。Streams 提供異動紀錄,後續業務邏輯由消費端執行。
此外,Streams 也可用於跨表投影:依主表的異動更新另一張表格,讓那張表格專門服務特定查詢。若 24 小時的日誌重播週期不足,可啟用 Kinesis Data Streams 整合,最長可將保留期延長至 365 天。
Global Tables:從非同步 LWW 到 2025 年 MRSC
多區域複製架構經歷了三個重要演進階段:
- 2017 年(v1):初代 Global Tables,支援多區域 Active-Active 寫入,底層採用非同步複製。
- 2019 年(v2):轉換為複本群組架構,跨區域非同步複製採 Last-Write-Wins(LWW) 依時間戳解決衝突。優點是寫入延遲低(各地區各自確認),但遭遇區域性災難時,尚未複製的資料可能遺失,範圍可達數秒。復原點目標(RPO)表示故障時可容忍遺失多長時間內的資料;此處 RPO > 0,代表無法保證完全不丟資料。
- 2025 年 6 月 GA(MRSC):多區域強一致性(Multi-Region Strong Consistency)。寫入請求必須同步複製並取得遠端區域確認後才算完成,提供 Zero RPO 與跨區域強一致讀取。
+-------------------------------------------------
| 多區域複製架構演進
|
| MREC:多區域最終一致性
| +---------------------------------------------
| | Region A(用戶端) Region B(複本)
| | 1. 寫入成功
| | |-- 非同步複製 ------> 2. 複製完成
| | (低延遲、LWW、風險:RPO > 0)
| +---------------------------------------------
|
| MRSC:多區域強一致性(2025 GA)
| +---------------------------------------------
| | Region A(用戶端) Region B(複本)
| | 1. 寫入請求
| | |-- 同步複製 --------> 2. 接收
| | |<-- B 區域確認 ------
| | 3. 寫入確認
| | (Zero RPO、同步延遲、可重試衝突)
| +---------------------------------------------
+-------------------------------------------------
官方現將兩種模式並列為 MREC(非同步 LWW) 與 MRSC(同步強一致)。從 2007 年論文優先確保寫入可用,到 2025 年提供跨區域強一致性,DynamoDB 讓使用者依需求選擇不同的複製方式。
選型時,要衡量寫入延遲與資料遺失風險:
- 怕慢選 MREC:讀多寫少、要求全球極致低延遲,可容忍區域故障時的微量資料遺失。
- 怕丟選 MRSC:需要跨區域讀取最新資料,且故障切換不能遺失已成功確認的寫入。代價是寫入必須等待遠端區域確認,增加延遲;並行(Concurrent)寫入同一筆資料時,也可能收到可重試的衝突錯誤。
Zero RPO 表示故障復原時不會遺失已確認的寫入,不等於扣款、扣庫存等業務操作必然正確。應用程式仍需設計條件更新,並處理並行寫入。此外,MRSC 不支援 DynamoDB 交易 API,不能用它完成跨多筆資料的 ACID 交易。
Single-Table Design 的務實反思
由 Rick Houlihan 在 re:Invent 倡導的 單表設計(Single-Table Design) 曾風靡社群:主張將整個系統的所有資料實體(Entity)集中於一張表格。
做法是讓不同種類的資料共用 PK 與 SK 欄位,並在值中標示資料種類,例如 PK=ORG#123、SK=USER#456。這稱為 PK/SK Overloading。配合 GSI 的鍵值設計,應用程式就能用一次 Query 取得需要一起使用的資料。
Alex DeBrie 於 2020 年發布了系統性專文剖析單表設計,但也指出其代價:一旦業務查詢模式發生變更,單表設計的重構成本遠高於多表。評估是否採用單表設計時,可以從存取模式與需求變動程度判斷:
- 適合情境:存取模式高度已知、結構固定、對延遲與規模有極致要求的系統(如遊戲存檔、購物車、IoT 遙測)。
- 不適合情境:需求探索中的新創專案、報表查詢多變的業務、或資料天然具備高度關聯性——此時可採用多表設計(Multi-Table)或選用 Amazon RDS,避免為單表設計增加不必要的建模與重構成本。
五、DevOps 實戰:選型、可觀測性與成本控制
架構選型準則:何時該用 DynamoDB?
選型時,最核心的問題是:你的資料存取模式是否已知且可窮舉?
- 存取模式已知且固定(以主鍵精確點查或範圍查詢) DynamoDB(提供個位數毫秒延遲與水平擴充能力)。
- 存取模式多變或未知(需 Ad-hoc SQL、多表 JOIN、外部索引鍵約束與複雜報表) Amazon RDS / Aurora。
- 全 Serverless 架構(Lambda + API Gateway)或需要多區域 Active-Active 時,DynamoDB 可減少自行維運資料庫與複製機制的負擔。
常見的六大帳單地雷
檢查帳單時,主要留意這六處:
- Item 尺寸進位耗損:讀取按 4 KB、寫入按 1 KB 向上取整。避免 Item 大小剛好微幅越界:一般寫入 1.1 KB 需 2 寫入單位;強一致讀取 4.1 KB 需 2 讀取單位。
- 強一致與交易模式開銷:強一致讀取消耗是最終一致讀取的 2 倍;交易讀取是一般強一致讀取的 2 倍,交易寫入是一般寫入的 2 倍。估算預算時要分清比較基準。
- 長期高負載模式檢討:長期平均利用率超過 30% 的穩定工作負載,應從 On-demand 切換回 Provisioned 或購買 Reserved Capacity 以節省成本。
- Global Tables 跨區複製寫入倍數:每個目標區域皆會獨立收取一份複製寫入容量費用,三區域 Active-Active 的寫入預算需以 3 倍規劃。
- GSI 獨立容量計費:主表異動若需要更新 GSI,就會另外消耗索引的寫入容量。索引更新是非同步的,但費用仍需計入;佈建模式使用各 GSI 配置的 WCU,隨需模式則按索引的寫入請求計費。
- 儲存類別適用邊界:Standard-Infrequent Access(Standard-IA)儲存費用降低約 60%,但每次讀寫計費較高;適合資料長期累積、寫入後極少讀取的冷資料封存表格。
維運監控與總結
在 CloudWatch 中,主要監控以下幾項指標:
ThrottledRequests、ReadThrottleEvents、WriteThrottleEvents:監控分割區或表格是否遭受限流。ConsumedReadCapacityUnits與ConsumedWriteCapacityUnits:在佈建模式下,與對應的ProvisionedReadCapacityUnits、ProvisionedWriteCapacityUnits比較,觀察整體容量利用率。SuccessfulRequestLatency:追蹤點查與查詢的毫秒延遲基準。
本地開發則可結合 DynamoDB Local(Docker 容器)測試,並使用 NoSQL Workbench 進行視覺化資料建模與存取模式驗證。
DynamoDB 常見的維運問題,可以從底層機制理解:GSI 無法強一致,因為複製是非同步的;表格容量充裕卻遭限流,可能是請求集中在單一分割區,超過其吞吐上限。
交易操作則在同一區域內協調多筆資料的讀寫,確保操作一起成功或失敗,同時增加容量消耗;MRSC 的跨區域強一致性不能替代這項保證。選型與估算成本時,需要把存取分布、一致性需求與交易範圍一起考量。