為什麼大叢集的 Service 請求會變慢?iptables 與 IPVS 核心對比
在 Kubernetes 叢集裡呼叫 Service 的 ClusterIP 時,常會遇到一個違反直覺的現象:在預設的 iptables 模式下,這個虛擬 IP 沒有綁在節點的任何網路卡上、用 ping(ICMP)完全沒有回應,但發往指定連接埠的 TCP/UDP 請求卻能準確送達後端 Pod。
當叢集規模在數百個 Service 以內時,預設的 iptables 模式幾乎讓人感覺不到存在。然而一旦擴充到數千至上萬個 Service,節點 CPU 用量便會突然飆高、新 Pod 啟動後遲遲收不到流量,甚至出現隨機的連線逾時。
自 Kubernetes 1.2 將預設模式由早期的 userspace 代理模式改為 iptables 後,kube-proxy 就不再親自轉送封包(不經手資料平面);它只負責在控制平面監聽 API Server 的 Service 與 EndpointSlice 變更,並將轉送規則寫入 Linux 核心。
因此在大型叢集中,轉送效能取決於 Linux 核心網路堆疊的三個環節:封包經過哪些 Netfilter Hook、核心用 陣列還是 雜湊表比對規則,以及新增一個 Pod 時核心需要鎖住整張表重寫還是局部更新單筆紀錄。
一、封包進核心後走了哪條路:Netfilter 五大 Hook 與 conntrack
在 Linux 核心架構中,我們日常操作的 iptables 防火牆分成上下兩層:
- Netfilter:位於 Linux 核心空間的封包處理框架。它在網路堆疊的關鍵路徑上設置了 5 個掛載點(Hook Points),允許核心模組註冊回呼函式(Callback)來檢查、修改或丟棄封包。
- iptables:位於使用者空間(Userspace)的命令列設定工具,透過
getsockopt/setsockopt系統呼叫或 Netlink 介面,將規則編譯並注入核心的 Netfilter 表中。
Netfilter 的五個 Hook 點與路由決策
當網路封包進入 Linux 核心時,會依路由結果走過 Netfilter 定義的 5 個檢查點:
Netfilter 五個 Hook 點與封包流向
網路卡 NIC 接收封包
|
v
+-----------------------------------
| 1. NF_INET_PRE_ROUTING
| 進路由前:執行 DNAT 改寫目標 IP
+-----------------------------------
|
v
路由決策(查詢核心 FIB 路由表)
|
+--> [分支 A:目的 IP 為本機位址]
| |
| v
| +-------------------------------
| | 2. NF_INET_LOCAL_IN
| | 進本機前:IPVS 在此攔截轉送
| +-------------------------------
| |
| v
| 本機行程處理(產生對外封包)
| |
| v
| +-------------------------------
| | 4. NF_INET_LOCAL_OUT
| | 本機發出:路由查詢與過濾
| +-------------------------------
| |
| +---> 匯入 NF_INET_POST_ROUTING
|
+--> [分支 B:目的 IP 非本機位址]
|
v
+-------------------------------
| 3. NF_INET_FORWARD
| 跨介面轉發(ip_forward = 1)
+-------------------------------
|
v
+-----------------------------------
| 5. NF_INET_POST_ROUTING
| 出網卡前:執行 SNAT / Masquerade
+-----------------------------------
|
v
網路卡 NIC 發送封包
這五個掛載點的用途分別是:
NF_INET_PRE_ROUTING(PREROUTING):封包剛由網路卡驅動接收、透過基本 IP 標頭檢查碼驗證後的第一站。此時尚未查詢路由表,最適合執行目的地網路位址轉換(DNAT),例如將目標ClusterIP改寫為實際的 Pod IP。NF_INET_LOCAL_IN(INPUT):經核心路由表(FIB,轉送資訊庫)判定目的 IP 為本機所屬位址後觸發,通過後才交給本機使用者行程(如 Nginx 或 Python Socket)。後文介紹的 IPVS 模式會將ClusterIP綁上本機虛擬網路卡,藉此把流量引導至這個檢查點攔截。NF_INET_FORWARD(FORWARD):路由決策判定目的 IP 不是本機,且系統開啟核心轉送(net.ipv4.ip_forward = 1)時觸發,負責將封包轉往其他介面或下一跳節點。NF_INET_LOCAL_OUT(OUTPUT):本機行程產生的對外封包,在發出後進行第一次路由查詢時觸發。NF_INET_POST_ROUTING(POSTROUTING):封包完成最終路由決策、即將從實體或虛擬網路卡傳送出去之前觸發,是執行來源網路位址轉換(SNAT/Masquerade)的位置。
同一個 Hook 點上的規則會依功能分進四張表。各 Hook 掛載的表不同,以四張表皆會經過的 OUTPUT 為例,優先順序由高至低為:raw(標記 NOTRACK 跳過連線追蹤)→ mangle(修改 TTL、TOS 或打上核心標記 MARK)→ nat(位址轉換)→ filter(預設表,執行 ACCEPT、DROP、REJECT 存取控制)。
conntrack:為什麼只有第一個封包會走 nat 表?
在 iptables 架構下,只有每條連線的第一個封包(如 TCP SYN)會完整走訪 nat 表;後續封包之所以不必重複查表,靠的是 Netfilter 的 conntrack(連線追蹤)模組。
當首個封包(如 TCP SYN)進入核心時,conntrack 會從 L3/L4 標頭提取五元組(協定、來源/目的 IP、來源/目的連接埠)並標為 NEW。接著封包走訪 nat 表選出後端 Pod 完成 DNAT,核心隨即將改寫前後的對應關係,存入記憶體裡的雙向雜湊表,每筆紀錄包含兩個方向(Tuple):
- ORIGINAL Tuple:記錄改寫前的去程方向(如
Client IP:Port -> Service VIP:Port)。 - REPLY Tuple:記錄 DNAT 改寫後、預期後端 Pod 回傳的方向(如
Pod IP:Port -> Client IP:Port)。
當後端 Pod 回傳確認封包(如 SYN-ACK)時,核心比對中 REPLY Tuple,便將連線狀態轉為 ESTABLISHED,並自動把來源位址從 Pod IP 改回 Service VIP 再傳給客戶端。一旦進入 ESTABLISHED,後續往返封包都直接查 conntrack 雜湊表完成去程與回程的位址改寫,不再走訪 nat 表。
這也解釋了為什麼 iptables 的 規則掃描壓力,會集中在新連線建立(首個 SYN 封包)的瞬間——長連線一旦建立就能靠 conntrack 快速通關,但高並行(Concurrency)短連線卻會讓每個新連線都重新走完一次長鏈。
WARNING
短連線風暴與 conntrack 滿載封包遺失:conntrack 必須在核心記憶體中維護所有活動連線(無論底層採 iptables 或 IPVS 模式皆然)。若短時間爆發大量短連線,使追蹤數量超過系統上限(net.netfilter.nf_conntrack_max),核心將直接丟棄需要新建追蹤條目的封包,並在核心日誌報出 nf_conntrack: table full, dropping packet。
二、為什麼 iptables 在大叢集會變慢:O(N) 線性走訪與整表更新鎖
iptables 在大型 Kubernetes 叢集中的瓶頸來自兩處:資料平面的線性搜尋,以及控制平面的整表規則替換。
資料平面:連續陣列的 O(N) 比對與機率抽籤鏈
在 Linux 核心內部,iptables 的一條鏈,本質上是**連續排列的規則陣列(Array)**。當封包進入某條鏈時,核心比對引擎必須從第 1 條規則開始逐一檢查 IP、連接埠、協定與網路卡介面。
若條件不相符,計數器就跳到下一條繼續比對,直到命中規則並執行目標動作(如 ACCEPT、DROP、MARK 或跳轉子鏈 JUMP)。這代表 iptables 的比對時間複雜度為嚴格的 , 即鏈內的規則總數。
在 Kubernetes 的 iptables 模式下,無論是從外部網路卡流入節點的流量(進入 PREROUTING),或是本機行程與本地 Pod 發出呼叫 Service 的流量(進入 OUTPUT),kube-proxy 都會在入口將其導向自訂的 KUBE-SERVICES 鏈,並透過三層結構完成轉送:
- PREROUTING / OUTPUT
- KUBE-SERVICES(總入口鏈)比對目標 ClusterIP:Port(線性走訪)
- KUBE-SVC-XXXXX(單一 Service 子鏈)
-
- 規則 1:隨機機率 1/3 (0.33333)KUBE-SEP-AAAADNAT 至 Pod A
- 規則 2:剩餘流量的 1/2 (0.50000)KUBE-SEP-BBBBDNAT 至 Pod B
- 規則 3:剩餘流量的 1/1 (1.00000)KUBE-SEP-CCCCDNAT 至 Pod C
KUBE-SERVICES:所有發往ClusterIP流量的總入口,封包在此逐條比對屬於哪一個 Service。KUBE-SVC-*:對應單一 Service 的子鏈,負責將流量分發給後端 Pod。KUBE-SEP-*(Service Endpoint):對應具體的後端 Pod IP,在此執行 DNAT。
因為 iptables 沒有內建負載平衡演算法,kube-proxy 在 KUBE-SVC-* 鏈中利用 -m statistic --mode random --probability P 模擬隨機分流。
若後端有 3 個 Pod,第 1 條規則以 的機率跳往 Pod A;沒抽中時,第 2 條在剩餘流量中以 跳往 Pod B;最後一條則以機率 直接跳往 Pod C。
小叢集裡規則不多,但當叢集有數千個 Service、且單一服務掛載上百個 Pod 時,KUBE-SERVICES 與 KUBE-SVC-* 就會串接成數萬條規則的長鏈,讓每個新連線的 SYN 封包都得承受沉重的線性掃描開銷。
控制平面:整表複製、寫回與 xtables_lock
另一道瓶頸出在 iptables 的規則更新機制。iptables 不支援單獨針對一條規則做原子性的增刪;當 kube-proxy 因 Pod 重啟或擴縮容而需要修改一條規則時,必須走完五個步驟:
- 取得使用者空間全域互斥鎖(
xtables_lock,預設為/run/xtables.lock)。 - 將該表在核心中的全部規則完整複製到使用者空間。
- 在使用者空間修改規則陣列。
- 透過
iptables-restore以單次系統呼叫,將整份新規則陣列寫回核心並替換舊表(核心在此期間持有該協定家族的 table mutex 排他鎖)。 - 釋放使用者空間全域互斥鎖。
當叢集頻繁觸發自動擴縮容(HPA)或滾動更新時,這種「整表複製+全域鎖+整表替換」的機制會讓鎖長期處於爭搶狀態,拖慢整個節點的規則同步與網路回應。
三、IPVS 如何破局:O(1) 雜湊表、LOCAL_IN 攔截與局部更新
不同於通用型篩選器 iptables,IPVS(IP Virtual Server)(源自 LVS 專案,自 Linux 2.4.23 / 2.6.0 起併入主線核心)是專為 Layer 4(傳輸層)負載平衡設計的核心子系統,專門將發往虛擬服務位址(VIP:Port)的 TCP/UDP 流量,排程給後端真實伺服器(Real Servers,RIP:Port)。
雜湊表 O(1) 查詢與原生排程演算法
IPVS 在核心內部捨棄了線性陣列,改用大型雜湊表(Hash Table)儲存狀態:
- 服務雜湊表(Service Hash Table):以
(VIP, Protocol, Port)作為雜湊鍵(Key)。無論節點上定義了 10 個還是 100,000 個 Service,IPVS 都只需一次雜湊計算就能確認目標 VIP 是否存在,查詢時間複雜度為嚴格的 。 - 連線追蹤表(IPVS Connection Table):針對已建立的連線,IPVS 以客戶端五元組為鍵維護專屬連線狀態,查詢同樣為 。
規則更新上,IPVS 支援透過 Netlink API 直接對單一虛擬服務或後端 Real Server 進行單筆新增與刪除,搭配 RCU 讀取與核心細粒度鎖,不再需要完整複製並替換整張規則表。
此外,IPVS 在核心層原生提供超過 8 種 L4 排程演算法,包含輪詢(rr)、加權輪詢(wrr)、最小連線(lc)、預設的加權最小連線(wlc),以及依來源或目的 IP 雜湊的 sh(可實現 Session Sticky)與 dh,不必再靠隨機機率規則模擬負載分配。
為什麼 IPVS 掛在 LOCAL_IN?kube-ipvs0 與 ipset 的協作
雖然 IPVS 是獨立的負載平衡模組,但它依然借用 Netfilter Hook 來攔截封包——只是它註冊在 NF_INET_LOCAL_IN,而非一般處理 DNAT 的 PREROUTING。
為什麼會選在 LOCAL_IN?這源於 IPVS(源自 Linux Virtual Server,LVS)的歷史架構:它原本是為獨立負載平衡專用機所設計,在傳統實體機架構下,虛擬 IP(VIP)原本就綁定在該主機的實體網路卡上,核心自然會把發往 VIP 的流量判定為本地接收,送進 LOCAL_IN 交由 IPVS 排程。
然而在 Kubernetes 叢集中,IPVS 被分散部署到了每一台 Worker 節點上,而 ClusterIP 根本不是節點本身的實體 IP。
為了沿用 IPVS 的 LOCAL_IN 攔截架構,kube-proxy 必須想辦法「騙過」Linux 核心,讓核心路由把目標 ClusterIP 判定為本機所屬位址;否則封包通過 PREROUTING 查路由後,會直接被送進 FORWARD 鏈或丟棄。
同時,IPVS 專注於 L4 的 VIP 到 Real Server 分發,不具備通用防火牆的標記與複雜過濾能力。當流量涉及跨節點 NodePort 或 Pod 連回自身(Hairpin NAT)時,若不透過 SNAT 改寫來源 IP,後端 Pod 便會繞過原轉送路徑直接回傳,導致發起端因回包來源 IP 與請求位址不符而重置連線。
IPVS 無法獨立處理這些邊界條件,因此依然需要通用防火牆 iptables 提前在 PREROUTING 打上標記、並在 POST_ROUTING 執行偽裝。
為此,kube-proxy 在 IPVS 模式下結合了 dummy 虛擬網路卡(kube-ipvs0) 與 ipset 兩項機制:
- 封包抵達節點(目標:ClusterIP 10.96.0.10:80)
- 1. NF_INET_PRE_ROUTINGiptables 透過 ipset O(1) 比對連接埠;視需要打上 KUBE-MARK-MASQ 標記
- 2. 核心路由決策(查詢 FIB 表)發現 10.96.0.10 綁在 kube-ipvs0 網卡;判定為本機位址,送往 LOCAL_IN
- 3. NF_INET_LOCAL_IN(IPVS 於交付本機行程前攔截)中途攔截:阻止封包交給本機使用者行程;O(1) 查詢 Service 雜湊表與連線表;依排程演算法(如 wlc / rr)選出 Pod;改寫目標 IP:Port,直接轉向推入出站路徑
- 4. NF_INET_POST_ROUTING依標記執行 SNAT(Masquerade);透過 CNI 網路送往後端 Pod
1. dummy 網路卡 kube-ipvs0 觸發本地路由:不同於 iptables 模式只寫規則而不綁定 IP,kube-proxy 在 IPVS 模式下會在節點建立一張名為 kube-ipvs0 的虛擬 dummy 網路卡,並將叢集內所有的 Service ClusterIP 以 /32 位址綁定到這張網路卡上:
$ ip addr show kube-ipvs0
7: kube-ipvs0: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN group default
inet 10.96.0.1/32 scope global kube-ipvs0
inet 10.96.0.10/32 scope global kube-ipvs0
inet 10.108.45.123/32 scope global kube-ipvs0
NOTE
為什麼 kube-ipvs0 處於 DOWN 狀態仍能正常運作?
dummy 網路卡純粹是用來向核心 FIB 本地路由表登記 IP 的「虛擬錨點」,不參與實體訊號收發。只要介面上設定了 IP,核心路由查詢就會判定該 IP 屬於本機位址,進而將封包送往 LOCAL_IN,因此網路卡維持 state DOWN 完全屬於預期行為。
當核心路由模組查詢 FIB 表時,發現 ClusterIP 屬於本機介面位址,便將封包送往 LOCAL_IN。在標準 Linux 流程中,進入 LOCAL_IN 的封包終點應是交給本地行程(若無對應 Socket 則回應 RST)。
但 IPVS 在此註冊了 priority 99 的核心回呼——落在 filter 過濾之後、封包交付本機行程之前——在抵達應用層前直接中途攔截,完成雜湊查詢與標頭改寫後,跳過本地處理直接推往出站的 NF_INET_POST_ROUTING 送出。
雖然 IPVS 另支援僅改寫 MAC 的直接路由(DR)與 IP 隧道(TUN)模式,但因 Pod 常跨節點與跨子網分佈,kube-proxy 預設採用雙向皆經節點轉換的 NAT 模式。
2. ipset 維持 規則過濾:針對仍需 iptables 處理的 SNAT 標記與 NodePort 過濾,kube-proxy 引入了 Netfilter 的伴生擴充 ipset,將成千上萬個 IP、CIDR 或連接埠打包進核心雜湊集合(Hash Set)。iptables 只需單一條規則就能完成比對:
iptables -t nat -A PREROUTING -m set --match-set KUBE-NODE-PORT-TCP dst -j KUBE-MARK-MASQ
透過 --match-set 查詢雜湊集合的時間複雜度同樣是 ,避免了 iptables 輔助規則隨 Service 數量再度膨脹。
四、iptables 與 IPVS 核心設計與效能基準對照
把兩者的核心設計放在一起對照,效能差距在服務數量破千後會明顯拉開:
| 比較面向 | iptables 模式 | IPVS 模式(搭配 ipset) |
|---|---|---|
| 核心定位 | 通用型封包篩選器與防火牆 | 專用型 Layer 4 傳輸層負載平衡器 |
| 封包攔截點 | PREROUTING/OUTPUT 直接比對改寫 | kube-ipvs0 觸發本地路由,於 LOCAL_IN 攔截 |
| 查詢結構與複雜度 | 連續陣列線性走訪, 隨規則數衰退 | 核心雜湊表與 ipset 集合, 維持水平 |
| 規則更新與鎖機制 | 整表複製並寫回,爭搶全域 xtables_lock | 透過 Netlink API 局部更新單項,RCU 讀取+細粒度鎖 |
| 排程演算法 | 僅靠 statistic 模組以條件機率隨機分流 | 原生支援 rr、wrr、lc、wlc、sh 等 8 種以上 |
| 大叢集穩定臨界點 | 約 1,000 至 5,000 個 Service 開始出現顯著延遲 | 華為 2016 年實測 50,000 個 Service 時仍維持約 9 ms 回應 |
根據華為與 Tigera 等團隊針對不同 Service 規模所做的基準測試,兩者的效能曲線分成三個階段:
- Service 數量少於 1,000 個:兩者的封包轉送延遲皆在微秒()等級,CPU 開銷差距同樣微乎其微;在規則極少時,
iptables甚至微幅領先。 - Service 數量達 10,000 個(資料平面延遲):在 Kubernetes 中,每個 Service 除了基本分流鏈外,還包含入口比對、NodePort 處理與 Masquerade 標記等輔助規則;華為的實測中,平均單一 Service 會展開為約 8 條規則,5,000 個 Service 就累積出約 4 萬條規則。封包轉送延遲從 1 個 Service 時的約 575 微秒上升到 10,000 個 Service 時的約 1 毫秒,50,000 個 Service 時最高接近 7 毫秒,節點 CPU 用量隨之明顯上升(Tigera 實測
iptables約增加 35% 核心 CPU 用量,IPVS 僅約 8%);反觀 IPVS 直接雜湊命中,延遲曲線幾乎維持水平直線。 - Service 數量達 10,000 個(控制平面同步耗時):華為 2016 年的大規模測試中,2 萬個 Service 的叢集新增規則時,
iptables的同步耗時長達 5 小時,IPVS 透過 Netlink 新增單一 Real Server 則在 100 微秒內完成;2017 年的後續測試中,5,000 個 Service(約 4 萬條規則)新增一條規則仍需 11 分鐘。Kubernetes 自 1.28 起iptables模式已改為只同步實際變更的規則來緩解此成本,但官方文件仍提醒:在數萬個 Pod 與 Service 的叢集中,規則更新可能耗時甚久。
在節點上印證核心狀態與查修方向
在生產環境查修大叢集轉送延遲或連線異常時,可順著上述核心機制直接檢視節點狀態:
# 1. iptables 模式:查看 KUBE-SERVICES 規則與封包命中計數器是否增長
sudo iptables -t nat -nvL KUBE-SERVICES --line-numbers
# 2. IPVS 模式:檢視 Virtual Server / Real Server 對應表與連線統計(-n 避免 DNS 反解造成延遲)
sudo ipvsadm -ln --stats
# 3. ipset 集合:確認 NodePort 或 ClusterIP 成員是否已寫入核心雜湊集合
sudo ipset list KUBE-NODE-PORT-TCP
# 4. conntrack 水位:檢查目前追蹤數與系統上限,查修 table full 封包遺失
cat /proc/sys/net/netfilter/nf_conntrack_count
cat /proc/sys/net/netfilter/nf_conntrack_max
五、為什麼 IPVS 走向棄用:nftables 與 eBPF 的接棒
既然 IPVS 在大叢集下解決了 線性搜尋與整表鎖的痛點,為什麼 Kubernetes 社群卻在 v1.35 正式將 IPVS 模式標記為棄用(Deprecated,規劃於 v1.40 預設關閉、v1.43 移除)?
關鍵原因在於語意模型的斷裂。IPVS 是為傳統 L4 負載平衡設計的核心模組,其 API 無法原生表達 Kubernetes 日益豐富的 Service 語意(如 externalTrafficPolicy: Local、來源 IP 過濾、拓撲感知路由等)。
這導致 kube-proxy 在 IPVS 模式下仍不得不混用 iptables 與 ipset 處理邊界條件,兩套系統疊加帶來高昂的維護成本,並衍生複雜的連線狀態臭蟲。目前社群主要轉向兩條演進路線:
nftables模式:需要 Linux Kernel 5.13+,在單一框架內原生提供 Set 與 Map(verdict map) 資料結構。它不必混用兩套子系統就能達成近乎 的集合查表與原子式局部更新,兼顧效能與完整 Service 語意。- eBPF 與 Cilium:前述方案都依附於 Netfilter 框架,封包必須走過完整的 TCP/IP 協定堆疊與 Hook 點。而 Cilium 等 eBPF 方案直接掛載在核心佇列排程層 TC(Traffic Control)或網路卡驅動層 XDP(eXpress Data Path)——在封包進入 Netfilter 的
PREROUTINGHook 之前,就直接截獲封包並透過 BPF Map 以 完成 VIP 轉送,使封包完全繞過 Netfilter 堆疊,提供近乎線速(Line-rate)的吞吐量。
| 資料平面方案 | 核心攔截位置 | 查詢與更新機制 | 架構取捨與目前定位 |
|---|---|---|---|
iptables | Netfilter PREROUTING/OUTPUT | 連續陣列 ;xtables_lock 全表覆寫 | 大叢集線性延遲與更新延遲;中小型叢集傳統預設 |
IPVS + ipset | Netfilter LOCAL_IN+kube-ipvs0 | 核心雜湊表 ;Netlink 局部更新 | 無法獨立表達完整 Service 語意,需混用 iptables;v1.35 起標記棄用 |
nftables | Netfilter 原生表格與映射 | Verdict Map/Set 近乎 ;原子局部更新 | 單一框架支援完整 Service 語意;官方推薦取代 iptables 與 IPVS 的內建方案 |
eBPF(如 Cilium) | TC/網路卡驅動層 XDP | BPF Map ;直接改寫 Socket/封包 | 繞過整個 Netfilter 堆疊,提供近乎線速(Line-rate)吞吐量 |
從 iptables 到 IPVS,再到今日的 nftables 與 eBPF,背後演進的主線始終如一:把搜尋複雜度從 壓到 、把整表重寫改為局部更新,並讓封包在核心裡走更短的路。