為什麼大叢集的 Service 請求會變慢?iptables 與 IPVS 核心對比

在 Kubernetes 叢集裡呼叫 Service 的 ClusterIP 時,常會遇到一個違反直覺的現象:在預設的 iptables 模式下,這個虛擬 IP 沒有綁在節點的任何網路卡上、用 ping(ICMP)完全沒有回應,但發往指定連接埠的 TCP/UDP 請求卻能準確送達後端 Pod。

當叢集規模在數百個 Service 以內時,預設的 iptables 模式幾乎讓人感覺不到存在。然而一旦擴充到數千至上萬個 Service,節點 CPU 用量便會突然飆高、新 Pod 啟動後遲遲收不到流量,甚至出現隨機的連線逾時。

自 Kubernetes 1.2 將預設模式由早期的 userspace 代理模式改為 iptables 後,kube-proxy 就不再親自轉送封包(不經手資料平面);它只負責在控制平面監聽 API Server 的 Service 與 EndpointSlice 變更,並將轉送規則寫入 Linux 核心。

因此在大型叢集中,轉送效能取決於 Linux 核心網路堆疊的三個環節:封包經過哪些 Netfilter Hook、核心用 O(N)O(N) 陣列還是 O(1)O(1) 雜湊表比對規則,以及新增一個 Pod 時核心需要鎖住整張表重寫還是局部更新單筆紀錄。


一、封包進核心後走了哪條路:Netfilter 五大 Hook 與 conntrack

在 Linux 核心架構中,我們日常操作的 iptables 防火牆分成上下兩層:

Netfilter 的五個 Hook 點與路由決策

當網路封包進入 Linux 核心時,會依路由結果走過 Netfilter 定義的 5 個檢查點:

 Netfilter 五個 Hook 點與封包流向

 網路卡 NIC 接收封包
    |
    v
 +-----------------------------------
 | 1. NF_INET_PRE_ROUTING
 |    進路由前:執行 DNAT 改寫目標 IP
 +-----------------------------------
    |
    v
 路由決策(查詢核心 FIB 路由表)
    |
    +--> [分支 A:目的 IP 為本機位址]
    |       |
    |       v
    |    +-------------------------------
    |    | 2. NF_INET_LOCAL_IN
    |    |    進本機前:IPVS 在此攔截轉送
    |    +-------------------------------
    |       |
    |       v
    |    本機行程處理(產生對外封包)
    |       |
    |       v
    |    +-------------------------------
    |    | 4. NF_INET_LOCAL_OUT
    |    |    本機發出:路由查詢與過濾
    |    +-------------------------------
    |       |
    |       +---> 匯入 NF_INET_POST_ROUTING
    |
    +--> [分支 B:目的 IP 非本機位址]
            |
            v
         +-------------------------------
         | 3. NF_INET_FORWARD
         |    跨介面轉發(ip_forward = 1)
         +-------------------------------
            |
            v
 +-----------------------------------
 | 5. NF_INET_POST_ROUTING
 |    出網卡前:執行 SNAT / Masquerade
 +-----------------------------------
    |
    v
 網路卡 NIC 發送封包

這五個掛載點的用途分別是:

  1. NF_INET_PRE_ROUTING(PREROUTING):封包剛由網路卡驅動接收、透過基本 IP 標頭檢查碼驗證後的第一站。此時尚未查詢路由表,最適合執行目的地網路位址轉換(DNAT),例如將目標 ClusterIP 改寫為實際的 Pod IP。
  2. NF_INET_LOCAL_IN(INPUT):經核心路由表(FIB,轉送資訊庫)判定目的 IP 為本機所屬位址後觸發,通過後才交給本機使用者行程(如 Nginx 或 Python Socket)。後文介紹的 IPVS 模式會將 ClusterIP 綁上本機虛擬網路卡,藉此把流量引導至這個檢查點攔截。
  3. NF_INET_FORWARD(FORWARD):路由決策判定目的 IP 不是本機,且系統開啟核心轉送(net.ipv4.ip_forward = 1)時觸發,負責將封包轉往其他介面或下一跳節點。
  4. NF_INET_LOCAL_OUT(OUTPUT):本機行程產生的對外封包,在發出後進行第一次路由查詢時觸發。
  5. NF_INET_POST_ROUTING(POSTROUTING):封包完成最終路由決策、即將從實體或虛擬網路卡傳送出去之前觸發,是執行來源網路位址轉換(SNAT/Masquerade)的位置。

同一個 Hook 點上的規則會依功能分進四張表。各 Hook 掛載的表不同,以四張表皆會經過的 OUTPUT 為例,優先順序由高至低為:raw(標記 NOTRACK 跳過連線追蹤)→ mangle(修改 TTL、TOS 或打上核心標記 MARK)→ nat(位址轉換)→ filter(預設表,執行 ACCEPT、DROP、REJECT 存取控制)。

conntrack:為什麼只有第一個封包會走 nat 表?

在 iptables 架構下,只有每條連線的第一個封包(如 TCP SYN)會完整走訪 nat 表;後續封包之所以不必重複查表,靠的是 Netfilter 的 conntrack(連線追蹤)模組。

當首個封包(如 TCP SYN)進入核心時,conntrack 會從 L3/L4 標頭提取五元組(協定、來源/目的 IP、來源/目的連接埠)並標為 NEW。接著封包走訪 nat 表選出後端 Pod 完成 DNAT,核心隨即將改寫前後的對應關係,存入記憶體裡的雙向雜湊表,每筆紀錄包含兩個方向(Tuple):

當後端 Pod 回傳確認封包(如 SYN-ACK)時,核心比對中 REPLY Tuple,便將連線狀態轉為 ESTABLISHED,並自動把來源位址從 Pod IP 改回 Service VIP 再傳給客戶端。一旦進入 ESTABLISHED,後續往返封包都直接查 conntrack 雜湊表完成去程與回程的位址改寫,不再走訪 nat 表。

這也解釋了為什麼 iptables 的 O(N)O(N) 規則掃描壓力,會集中在新連線建立(首個 SYN 封包)的瞬間——長連線一旦建立就能靠 conntrack 快速通關,但高並行(Concurrency)短連線卻會讓每個新連線都重新走完一次長鏈。

WARNING

短連線風暴與 conntrack 滿載封包遺失:conntrack 必須在核心記憶體中維護所有活動連線(無論底層採 iptables 或 IPVS 模式皆然)。若短時間爆發大量短連線,使追蹤數量超過系統上限(net.netfilter.nf_conntrack_max),核心將直接丟棄需要新建追蹤條目的封包,並在核心日誌報出 nf_conntrack: table full, dropping packet。


二、為什麼 iptables 在大叢集會變慢:O(N) 線性走訪與整表更新鎖

iptables 在大型 Kubernetes 叢集中的瓶頸來自兩處:資料平面的線性搜尋,以及控制平面的整表規則替換。

資料平面:連續陣列的 O(N) 比對與機率抽籤鏈

在 Linux 核心內部,iptables 的一條鏈,本質上是**連續排列的規則陣列(Array)**。當封包進入某條鏈時,核心比對引擎必須從第 1 條規則開始逐一檢查 IP、連接埠、協定與網路卡介面。

若條件不相符,計數器就跳到下一條繼續比對,直到命中規則並執行目標動作(如 ACCEPT、DROP、MARK 或跳轉子鏈 JUMP)。這代表 iptables 的比對時間複雜度為嚴格的 O(N)O(N),NN 即鏈內的規則總數。

在 Kubernetes 的 iptables 模式下,無論是從外部網路卡流入節點的流量(進入 PREROUTING),或是本機行程與本地 Pod 發出呼叫 Service 的流量(進入 OUTPUT),kube-proxy 都會在入口將其導向自訂的 KUBE-SERVICES 鏈,並透過三層結構完成轉送:

  1. PREROUTING / OUTPUT
  2. KUBE-SERVICES(總入口鏈)比對目標 ClusterIP:Port(線性走訪)
  3. KUBE-SVC-XXXXX(單一 Service 子鏈)
    1. 規則 1:隨機機率 1/3 (0.33333)KUBE-SEP-AAAADNAT 至 Pod A
    1. 規則 2:剩餘流量的 1/2 (0.50000)KUBE-SEP-BBBBDNAT 至 Pod B
    1. 規則 3:剩餘流量的 1/1 (1.00000)KUBE-SEP-CCCCDNAT 至 Pod C
  1. KUBE-SERVICES:所有發往 ClusterIP 流量的總入口,封包在此逐條比對屬於哪一個 Service。
  2. KUBE-SVC-*:對應單一 Service 的子鏈,負責將流量分發給後端 Pod。
  3. KUBE-SEP-*(Service Endpoint):對應具體的後端 Pod IP,在此執行 DNAT。

因為 iptables 沒有內建負載平衡演算法,kube-proxy 在 KUBE-SVC-* 鏈中利用 -m statistic --mode random --probability P 模擬隨機分流。

若後端有 3 個 Pod,第 1 條規則以 1/3≈0.33333{1/3 \approx 0.33333} 的機率跳往 Pod A;沒抽中時,第 2 條在剩餘流量中以 1/2=0.5{1/2 = 0.5} 跳往 Pod B;最後一條則以機率 1.01.0 直接跳往 Pod C。

小叢集裡規則不多,但當叢集有數千個 Service、且單一服務掛載上百個 Pod 時,KUBE-SERVICES 與 KUBE-SVC-* 就會串接成數萬條規則的長鏈,讓每個新連線的 SYN 封包都得承受沉重的線性掃描開銷。

控制平面:整表複製、寫回與 xtables_lock

另一道瓶頸出在 iptables 的規則更新機制。iptables 不支援單獨針對一條規則做原子性的增刪;當 kube-proxy 因 Pod 重啟或擴縮容而需要修改一條規則時,必須走完五個步驟:

  1. 取得使用者空間全域互斥鎖(xtables_lock,預設為 /run/xtables.lock)。
  2. 將該表在核心中的全部規則完整複製到使用者空間。
  3. 在使用者空間修改規則陣列。
  4. 透過 iptables-restore 以單次系統呼叫,將整份新規則陣列寫回核心並替換舊表(核心在此期間持有該協定家族的 table mutex 排他鎖)。
  5. 釋放使用者空間全域互斥鎖。

當叢集頻繁觸發自動擴縮容(HPA)或滾動更新時,這種「整表複製+全域鎖+整表替換」的機制會讓鎖長期處於爭搶狀態,拖慢整個節點的規則同步與網路回應。


三、IPVS 如何破局:O(1) 雜湊表、LOCAL_IN 攔截與局部更新

不同於通用型篩選器 iptables,IPVS(IP Virtual Server)(源自 LVS 專案,自 Linux 2.4.23 / 2.6.0 起併入主線核心)是專為 Layer 4(傳輸層)負載平衡設計的核心子系統,專門將發往虛擬服務位址(VIP:Port)的 TCP/UDP 流量,排程給後端真實伺服器(Real Servers,RIP:Port)。

雜湊表 O(1) 查詢與原生排程演算法

IPVS 在核心內部捨棄了線性陣列,改用大型雜湊表(Hash Table)儲存狀態:

規則更新上,IPVS 支援透過 Netlink API 直接對單一虛擬服務或後端 Real Server 進行單筆新增與刪除,搭配 RCU 讀取與核心細粒度鎖,不再需要完整複製並替換整張規則表。

此外,IPVS 在核心層原生提供超過 8 種 L4 排程演算法,包含輪詢(rr)、加權輪詢(wrr)、最小連線(lc)、預設的加權最小連線(wlc),以及依來源或目的 IP 雜湊的 sh(可實現 Session Sticky)與 dh,不必再靠隨機機率規則模擬負載分配。

為什麼 IPVS 掛在 LOCAL_IN?kube-ipvs0 與 ipset 的協作

雖然 IPVS 是獨立的負載平衡模組,但它依然借用 Netfilter Hook 來攔截封包——只是它註冊在 NF_INET_LOCAL_IN,而非一般處理 DNAT 的 PREROUTING。

為什麼會選在 LOCAL_IN?這源於 IPVS(源自 Linux Virtual Server,LVS)的歷史架構:它原本是為獨立負載平衡專用機所設計,在傳統實體機架構下,虛擬 IP(VIP)原本就綁定在該主機的實體網路卡上,核心自然會把發往 VIP 的流量判定為本地接收,送進 LOCAL_IN 交由 IPVS 排程。

然而在 Kubernetes 叢集中,IPVS 被分散部署到了每一台 Worker 節點上,而 ClusterIP 根本不是節點本身的實體 IP。

為了沿用 IPVS 的 LOCAL_IN 攔截架構,kube-proxy 必須想辦法「騙過」Linux 核心,讓核心路由把目標 ClusterIP 判定為本機所屬位址;否則封包通過 PREROUTING 查路由後,會直接被送進 FORWARD 鏈或丟棄。

同時,IPVS 專注於 L4 的 VIP 到 Real Server 分發,不具備通用防火牆的標記與複雜過濾能力。當流量涉及跨節點 NodePort 或 Pod 連回自身(Hairpin NAT)時,若不透過 SNAT 改寫來源 IP,後端 Pod 便會繞過原轉送路徑直接回傳,導致發起端因回包來源 IP 與請求位址不符而重置連線。

IPVS 無法獨立處理這些邊界條件,因此依然需要通用防火牆 iptables 提前在 PREROUTING 打上標記、並在 POST_ROUTING 執行偽裝。

為此,kube-proxy 在 IPVS 模式下結合了 dummy 虛擬網路卡(kube-ipvs0) 與 ipset 兩項機制:

  1. 封包抵達節點(目標:ClusterIP 10.96.0.10:80)
  2. 1. NF_INET_PRE_ROUTINGiptables 透過 ipset O(1) 比對連接埠;視需要打上 KUBE-MARK-MASQ 標記
  3. 2. 核心路由決策(查詢 FIB 表)發現 10.96.0.10 綁在 kube-ipvs0 網卡;判定為本機位址,送往 LOCAL_IN
  4. 3. NF_INET_LOCAL_IN(IPVS 於交付本機行程前攔截)中途攔截:阻止封包交給本機使用者行程;O(1) 查詢 Service 雜湊表與連線表;依排程演算法(如 wlc / rr)選出 Pod;改寫目標 IP:Port,直接轉向推入出站路徑
  5. 4. NF_INET_POST_ROUTING依標記執行 SNAT(Masquerade);透過 CNI 網路送往後端 Pod

1. dummy 網路卡 kube-ipvs0 觸發本地路由:不同於 iptables 模式只寫規則而不綁定 IP,kube-proxy 在 IPVS 模式下會在節點建立一張名為 kube-ipvs0 的虛擬 dummy 網路卡,並將叢集內所有的 Service ClusterIP 以 /32 位址綁定到這張網路卡上:

$ ip addr show kube-ipvs0
7: kube-ipvs0: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN group default
    inet 10.96.0.1/32 scope global kube-ipvs0
    inet 10.96.0.10/32 scope global kube-ipvs0
    inet 10.108.45.123/32 scope global kube-ipvs0

NOTE

為什麼 kube-ipvs0 處於 DOWN 狀態仍能正常運作? dummy 網路卡純粹是用來向核心 FIB 本地路由表登記 IP 的「虛擬錨點」,不參與實體訊號收發。只要介面上設定了 IP,核心路由查詢就會判定該 IP 屬於本機位址,進而將封包送往 LOCAL_IN,因此網路卡維持 state DOWN 完全屬於預期行為。

當核心路由模組查詢 FIB 表時,發現 ClusterIP 屬於本機介面位址,便將封包送往 LOCAL_IN。在標準 Linux 流程中,進入 LOCAL_IN 的封包終點應是交給本地行程(若無對應 Socket 則回應 RST)。

但 IPVS 在此註冊了 priority 99 的核心回呼——落在 filter 過濾之後、封包交付本機行程之前——在抵達應用層前直接中途攔截,完成雜湊查詢與標頭改寫後,跳過本地處理直接推往出站的 NF_INET_POST_ROUTING 送出。

雖然 IPVS 另支援僅改寫 MAC 的直接路由(DR)與 IP 隧道(TUN)模式,但因 Pod 常跨節點與跨子網分佈,kube-proxy 預設採用雙向皆經節點轉換的 NAT 模式。

2. ipset 維持 O(1)O(1) 規則過濾:針對仍需 iptables 處理的 SNAT 標記與 NodePort 過濾,kube-proxy 引入了 Netfilter 的伴生擴充 ipset,將成千上萬個 IP、CIDR 或連接埠打包進核心雜湊集合(Hash Set)。iptables 只需單一條規則就能完成比對:

iptables -t nat -A PREROUTING -m set --match-set KUBE-NODE-PORT-TCP dst -j KUBE-MARK-MASQ

透過 --match-set 查詢雜湊集合的時間複雜度同樣是 O(1)O(1),避免了 iptables 輔助規則隨 Service 數量再度膨脹。


四、iptables 與 IPVS 核心設計與效能基準對照

把兩者的核心設計放在一起對照,效能差距在服務數量破千後會明顯拉開:

比較面向iptables 模式IPVS 模式(搭配 ipset)
核心定位通用型封包篩選器與防火牆專用型 Layer 4 傳輸層負載平衡器
封包攔截點PREROUTING/OUTPUT 直接比對改寫kube-ipvs0 觸發本地路由,於 LOCAL_IN 攔截
查詢結構與複雜度連續陣列線性走訪,O(N)O(N) 隨規則數衰退核心雜湊表與 ipset 集合,O(1)O(1) 維持水平
規則更新與鎖機制整表複製並寫回,爭搶全域 xtables_lock透過 Netlink API 局部更新單項,RCU 讀取+細粒度鎖
排程演算法僅靠 statistic 模組以條件機率隨機分流原生支援 rr、wrr、lc、wlc、sh 等 8 種以上
大叢集穩定臨界點約 1,000 至 5,000 個 Service 開始出現顯著延遲華為 2016 年實測 50,000 個 Service 時仍維持約 9 ms 回應

根據華為與 Tigera 等團隊針對不同 Service 規模所做的基準測試,兩者的效能曲線分成三個階段:

在節點上印證核心狀態與查修方向

在生產環境查修大叢集轉送延遲或連線異常時,可順著上述核心機制直接檢視節點狀態:

# 1. iptables 模式:查看 KUBE-SERVICES 規則與封包命中計數器是否增長
sudo iptables -t nat -nvL KUBE-SERVICES --line-numbers

# 2. IPVS 模式:檢視 Virtual Server / Real Server 對應表與連線統計(-n 避免 DNS 反解造成延遲)
sudo ipvsadm -ln --stats

# 3. ipset 集合:確認 NodePort 或 ClusterIP 成員是否已寫入核心雜湊集合
sudo ipset list KUBE-NODE-PORT-TCP

# 4. conntrack 水位:檢查目前追蹤數與系統上限,查修 table full 封包遺失
cat /proc/sys/net/netfilter/nf_conntrack_count
cat /proc/sys/net/netfilter/nf_conntrack_max

五、為什麼 IPVS 走向棄用:nftables 與 eBPF 的接棒

既然 IPVS 在大叢集下解決了 O(N)O(N) 線性搜尋與整表鎖的痛點,為什麼 Kubernetes 社群卻在 v1.35 正式將 IPVS 模式標記為棄用(Deprecated,規劃於 v1.40 預設關閉、v1.43 移除)?

關鍵原因在於語意模型的斷裂。IPVS 是為傳統 L4 負載平衡設計的核心模組,其 API 無法原生表達 Kubernetes 日益豐富的 Service 語意(如 externalTrafficPolicy: Local、來源 IP 過濾、拓撲感知路由等)。

這導致 kube-proxy 在 IPVS 模式下仍不得不混用 iptables 與 ipset 處理邊界條件,兩套系統疊加帶來高昂的維護成本,並衍生複雜的連線狀態臭蟲。目前社群主要轉向兩條演進路線:

  1. nftables 模式:需要 Linux Kernel 5.13+,在單一框架內原生提供 Set 與 Map(verdict map) 資料結構。它不必混用兩套子系統就能達成近乎 O(1)O(1) 的集合查表與原子式局部更新,兼顧效能與完整 Service 語意。
  2. eBPF 與 Cilium:前述方案都依附於 Netfilter 框架,封包必須走過完整的 TCP/IP 協定堆疊與 Hook 點。而 Cilium 等 eBPF 方案直接掛載在核心佇列排程層 TC(Traffic Control)或網路卡驅動層 XDP(eXpress Data Path)——在封包進入 Netfilter 的 PREROUTING Hook 之前,就直接截獲封包並透過 BPF Map 以 O(1)O(1) 完成 VIP 轉送,使封包完全繞過 Netfilter 堆疊,提供近乎線速(Line-rate)的吞吐量。
資料平面方案核心攔截位置查詢與更新機制架構取捨與目前定位
iptablesNetfilter PREROUTING/OUTPUT連續陣列 O(N)O(N);xtables_lock 全表覆寫大叢集線性延遲與更新延遲;中小型叢集傳統預設
IPVS + ipsetNetfilter LOCAL_IN+kube-ipvs0核心雜湊表 O(1)O(1);Netlink 局部更新無法獨立表達完整 Service 語意,需混用 iptables;v1.35 起標記棄用
nftablesNetfilter 原生表格與映射Verdict Map/Set 近乎 O(1)O(1);原子局部更新單一框架支援完整 Service 語意;官方推薦取代 iptables 與 IPVS 的內建方案
eBPF(如 Cilium)TC/網路卡驅動層 XDPBPF Map O(1)O(1);直接改寫 Socket/封包繞過整個 Netfilter 堆疊,提供近乎線速(Line-rate)吞吐量

從 iptables 到 IPVS,再到今日的 nftables 與 eBPF,背後演進的主線始終如一:把搜尋複雜度從 O(N)O(N) 壓到 O(1)O(1)、把整表重寫改為局部更新,並讓封包在核心裡走更短的路。