kube-proxy 工作原理(下):封包怎麼走、代理模式與除錯思路
在上篇中,我們梳理了 Kubernetes Service 的控制鏈:Service 物件宣告入口、EndpointSlice controller 保存後端清單、kube-proxy 在各節點同步轉送規則,最後由 Linux 核心完成封包傳遞。
NOTE
本文接著切入資料平面(Data Plane)。我們將以具體 IP 拓撲追蹤封包在經過 DNAT(目的地位址轉換)、SNAT(來源位址轉換)與 conntrack(連線追蹤)時的位址變化;分析 iptables、IPVS 與 nftables 在 2026 年的定位演進;最後整理出四階段查修工具箱與常見故障案例。
2026 年代理模式演進:從 IPVS 棄用到 nftables
截至 Kubernetes v1.37,Linux 節點上的 kube-proxy 官方實作支援三種運作模式:iptables、IPVS 與 nftables。(註:Windows 節點使用專屬的 kernelspace 模式,本文聚焦於 Linux 網路環境。)
+---------------------------------------------------------+
| kube-proxy Modes |
+---------------------------------------------------------+
| iptables : Default, battle-tested, linear rule cost |
| IPVS : Deprecated since v1.35, slated for removal |
| nftables : Modern alternative, set-based, fast updates |
+---------------------------------------------------------+
各模式在底層機制與生命週期上的定位如下:
| 模式 | 核心寫入目標 | 處理位置 | 目前定位(v1.37) | 技術特性與限制 |
|---|---|---|---|---|
| iptables | netfilter 規則鏈 | Linux 核心 | 現行建議預設 | 成熟穩定;超大規模下規則鏈過長,整體刷新成本較高 |
| IPVS | Virtual / Real Server | Linux 核心 | 已棄用(Deprecated) | 無法原生表達完整 Service 語意,仍需依賴 iptables |
| nftables | Table、Set 與 Map | Linux 核心 | 官方推薦新方向 | 依賴 Kernel 5.13+;採局部更新與集合查詢,規則更新成本隨當次變更量而定 |
為什麼 nftables 逐漸取代 IPVS?
早期社群引進 IPVS 是為了解決 iptables 在數萬條規則下需逐條比對(線性走訪)的效能瓶頸。然而,Kubernetes Service 的語意日益豐富(包含 externalTrafficPolicy: Local、特定來源 IP 範圍過濾、拓撲感知路由等),IPVS API 無法自然表達所有條件,實務上仍須混用 iptables 規則鏈。
nftables 則原生支援 Set 與 Map 資料結構(詳見 KEP-3866 設計提案),能在單一規則內完成高效檢索,並支援原子式的局部更新(Incremental Updates):kube-proxy 只需下發當次變更的端點,無須重寫整份規則集,更新過程中也不會出現規則只套用到一半的空檔。
NOTE
根據官方 IPVS 棄用規劃,IPVS 模式自 Kubernetes v1.35 起已被正式標記為棄用,社群規劃於 v1.40 預設關閉、v1.43 正式移除。新建叢集不應再依循舊文件選用 IPVS,而應維持 iptables 或評估遷移至 nftables。
核心路徑追蹤:封包在各情境如何轉換
範例拓撲環境設定
為了讓位址轉換過程具體可見,後續所有封包追蹤章節均沿用以下網路設定:
| 角色 | 實體或虛擬位址 | 備註 |
|---|---|---|
| 外部 Client | 198.51.100.30 | 叢集外部測試來源 |
| Node A | 192.0.2.10 | 節點 A 主機 IP |
| Node B | 192.0.2.11 | 節點 B 主機 IP |
| Client Pod | 10.244.1.10 | 位於 Node A 上的發起端 Pod |
| API Pod A | 10.244.1.20:8080 | 位於 Node A 的後端實例 |
| API Pod B | 10.244.2.20:8080 | 位於 Node B 的後端實例 |
| Service ClusterIP | 10.96.0.50:80 | api Service 虛擬 IP |
| Service NodePort | 30080 | api Service 節點埠號 |
對應的 Service 宣告 YAML:
apiVersion: v1
kind: Service
metadata:
name: api
spec:
type: NodePort
selector:
app: api
ports:
- port: 80
targetPort: 8080
nodePort: 30080
路徑一:ClusterIP 存取跨節點 Pod
當 Client Pod 發起對 Service 的連線時,請求首先送往本地 Node A 的網路堆疊:
- Client Pod: 10.244.1.10
- dst: 10.96.0.50:80Node A Netfilter / Data Plane1. Match ClusterIP 10.96.0.50:80;2. Select backend Pod B (10.244.2.20:8080);3. Execute DNAT (dst -> 10.244.2.20:8080);4. Record connection tuple into conntrack table
- src: 10.244.1.10, dst: 10.244.2.20:8080(CNI Routing / Overlay)Node B / API Pod B: 10.244.2.20:8080
- 去程 DNAT:Node A 核心網路層命中 ClusterIP 規則,選定 API Pod B 作為後端,將目的端改寫為
10.244.2.20:8080。來源端維持10.244.1.10不變(不進行 SNAT)。 - CNI 轉送:由底層 CNI 透過 Overlay 或直接路由將封包跨節點送達 Node B 上的 Pod B。
- 回程反向轉換:Pod B 將回應封包送回
10.244.1.10。封包抵達 Node A 時,Linux conntrack(連線追蹤表)識別出對應連線,自動將來源 IP 從10.244.2.20:8080反向轉回10.96.0.50:80。Client Pod 全程只認知自己在與 Service 通訊。
路徑二:NodePort 預設模式(Cluster 政策)
當外部客戶端存取 Node A 的 NodePort 30080,且資料平面選取位於 Node B 的 Pod B 時:
- External Client: 198.51.100.30
- dst: 192.0.2.10:30080Node A Netfilter / Data Plane1. DNAT: dst 192.0.2.10:30080 -> 10.244.2.20:8080;2. SNAT (MASQUERADE): src -> 192.0.2.10
- src: 192.0.2.10, dst: 10.244.2.20:8080Node B / API Pod B
在 externalTrafficPolicy: Cluster(預設值)下,根據官方 Using Source IP 指南說明,Node A 為了確保回程封包能沿原路徑返回、正確還原 NAT 前的位址,必須執行 SNAT 將來源 IP 替換為 Node A 自己的節點 IP。
- 優點:外部流量能均勻分發給全叢集的所有 Pod。
- 代價:後端 Pod B 無法看見真實的 Client IP(看到的來源皆為 Node A 位址),且增加了一次額外的跨節點網路跳躍(Hop)。
路徑三:保留來源 IP(Local 政策)
若將設定調整為 externalTrafficPolicy: Local:
spec:
externalTrafficPolicy: Local
轉送行為將限定於節點內部:
+---------------------------------------------------------+
| externalTrafficPolicy: Local Routing |
+---------------------------------------------------------+
| Traffic to Node A (with local Pod A) |
| -> DNAT only (dst -> 10.244.1.20:8080) |
| -> Preserves Client IP (src remains 198.51.100.30) |
+---------------------------------------------------------+
| Traffic to Node without local Pod |
| -> Packet is DROPPED (No cross-node forwarding) |
+---------------------------------------------------------+
Node A 僅會將流量導向本機的 API Pod A,完全不進行 SNAT,因此 API Pod A 能取得客戶端真實 IP 198.51.100.30。
WARNING
若外部流量打到「沒有執行該 Service Pod」的節點,kube-proxy 不會代為轉送,而是直接丟棄封包。為此,當搭配雲端負載平衡器(type: LoadBalancer)時,Kubernetes 會自動為此類 Service 分配 healthCheckNodePort;kube-proxy 僅在節點上有本機 ready Pod 時回應 HTTP 200,讓雲端負載平衡器將無本地 Pod 的節點自後端清單剔除。
路徑四:Hairpin 流量(Pod 經 Service 存取自身)
當 API Pod A(10.244.1.20)呼叫自己的 Service ClusterIP(10.96.0.50:80),而負載平衡演算法又恰好選取 API Pod A 自己時,稱為 Hairpin 流量(髮夾彎流量)。
[API Pod A: 10.244.1.20]
|
| (dst: 10.96.0.50:80)
v
[veth / Bridge / Netfilter]
|
| DNAT dst -> 10.244.1.20:8080
| SNAT src -> Bridge / Masq IP
|
v
[API Pod A: 10.244.1.20] (src: Masq, dst: 8080)
封包離開 Pod A 的 network namespace 抵達主機網橋或 veth 介面後,經 DNAT 改寫為自身 IP。此時若未對來源進行 SNAT,Pod A 將收到「來源為自己、目的亦為自己」的封包,Linux 核心常因路由或 TCP 狀態驗證直接將其丟棄。
為使 Hairpin 流量正常往返,kubelet 網路參數與 CNI 需啟用 hairpin mode(如 hairpin-veth 或 promiscuous-bridge),確保封包能從同一個虛擬介面正確發回並完成連線追蹤。
流量控制矩陣:Policy、Preference 與 Affinity
Kubernetes 提供多個面向的流量分配欄位,適用於不同情境:
+---------------------------------------------------------+
| Traffic Control Mechanisms |
+---------------------------------------------------------+
| Local Policy : Hard filter. Local endpoints only, |
| or drop |
| Distribution : Soft preference. Prefer same node/zone |
| Affinity : L4 state stickiness. Same client |
| IP to pod |
+---------------------------------------------------------+
| 機制名稱 | 核心行為 | 當無本機/同區 Pod 時 | 典型使用情境 |
|---|---|---|---|
internalTrafficPolicy: Local | 叢集內部連線僅限本機 Pod | 連線失敗,不轉送給遠端 | 改善延遲、減少跨節點流量 |
externalTrafficPolicy: Local | 外部存取僅限本機 Pod | 丟棄封包,不轉送給遠端 | 保存 Client IP、避免跨節點第二跳 |
trafficDistribution | 優先選取同節點或同可用區 Pod | 自動回退至同區或全叢集其他 Pod | 兼顧可用性與跨 AZ 傳輸成本 |
sessionAffinity: ClientIP | 一定時間內將同來源 IP 導向同 Pod | 重新選取可用 Pod | 需維持 L4 狀態的傳統應用 |
conntrack 與長連線的真實運作
Kubernetes Service 的虛擬 IP 與位址轉換高度依賴 Linux Netfilter 連線追蹤機制(conntrack)維護連線狀態,這也是許多應用層負載不均與連線異常的常見原因。
TCP 交握與狀態快取
對於 TCP 協定而言,只有第一個 SYN 封包會走完整條 Service 規則鏈,由負載平衡演算法挑選後端。一旦選定,核心會在 conntrack table 建立五元組狀態(Protocol、Src IP、Src Port、Dst IP、Dst Port)。
後續屬於同一連線的所有封包,直接依據 conntrack 狀態快速執行 NAT 轉換,不再重新計算負載平衡。
Connection Timeline:
1. [Client] --- SYN ---> [Node Netfilter]
(Triggers LB selection -> Pod A)
2. [Client] --- ACK / Data ---> [Node Netfilter]
(Follows conntrack -> Pod A)
3. [Client] --- Subsequent Requests
on same TCP connection ---> [Pod A only]
這導致兩類常見現象:
- HTTP/2 與 gRPC 長連線:多個請求共享少數 TCP 連線,同一條連線上的請求會長期落在同一個 Pod,流量集中時容易使該實例過載。
- 滾動更新後的殘留流量:即便 EndpointSlice 已移除舊 Pod,只要既有 TCP 連線未中斷,後續請求仍會沿這條舊連線持續送往舊 Pod,直到逾時或應用程式主動關閉連線。
UDP 的特殊處置
UDP 是無連線協定,核心沒有 SYN/FIN 交握可供辨識。conntrack 透過偽連線逾時計時器(Timeout Window),把每組 UDP 流量當成一條暫時存在的連線來看待,藉此維持 NAT 對應關係。在計時器歸零前,相同來源埠號的 UDP 封包仍會送往同一個後端 Pod。
由外而內的查修思路
排除 Service 故障時,應由外而內依循官方推薦的 Debug Service 查修流程,透過以下七道決策關卡逐步驗證假設:
+--------------------------------------------------
| Service 排查流程:由外而內的七道關卡
|
| 1. DNS 檢查:CoreDNS 能解析服務名稱嗎?
| 2. 規格檢查:ClusterIP、Port 與 targetPort 正確嗎?
| 3. 端點檢查:EndpointSlice 有 ready 的 Pod 嗎?
| 4. 直連 Pod:客戶端連得到 Pod IP:targetPort 嗎?
| 5. 節點範圍:故障是否集中在特定節點?
| 6. 平面檢查:看 kube-proxy 日誌與核心規則表
| 7. 封包追蹤:用 tcpdump 找出消失的那一跳
+--------------------------------------------------
結構化除錯工具箱:四階段檢驗指令
上述 7 步查修邏輯可歸納為四個具體的驗證階段,由 API 控制平面逐層下探至核心封包層:
階段一:控制平面與端點狀態核對(對應步驟 1–3)
在懷疑網路資料平面之前,先確認 API 宣告與端點是否正確就位:
-
檢查 Service 規格與埠號定義:
kubectl -n <namespace> get service <service-name> -o yaml確認
clusterIP、ports(port與targetPort)以及流量政策欄位。 -
檢視 EndpointSlice 實體狀態:
kubectl -n <namespace> get endpointslice -l kubernetes.io/service-name=<service-name> -o yaml依據官方 EndpointSlice 標籤規範,確認端點清單中是否存在
ready: true的 Pod IP 與埠號。 -
核對標籤選擇器(Selector)命中範圍:
kubectl -n <namespace> get pods -l '<selector-key>=<selector-value>' -o wide確認實際標籤符合的 Pod 數量、所在節點及其運作狀態。
階段二:隔離驗證與分段探測(對應步驟 4–5)
從除錯 Pod 內執行分段測試,定位故障層級:
# 測試 1: DNS 解析層
kubectl -n <namespace> exec <debug-pod> -- nslookup <service-name>.<namespace>.svc.cluster.local
# 測試 2: Service 虛擬 IP 層
kubectl -n <namespace> exec <debug-pod> -- wget -S -T 3 -O- http://<cluster-ip>:<port>/healthz
# 測試 3: 後端實體 Pod IP 層(繞過 Service)
kubectl -n <namespace> exec <debug-pod> -- wget -S -T 3 -O- http://<pod-ip>:<target-port>/healthz
- 若測試 1 失敗但測試 2 成功:問題出在 CoreDNS 或
/etc/resolv.conf。 - 若測試 2 失敗但測試 3 成功:問題出在 Service 資料平面(kube-proxy 轉送規則)。
- 若測試 3 亦失敗:問題出在後端應用監聽、CNI 路由或 NetworkPolicy。
階段三:kube-proxy 實例與節點轉送規則(對應步驟 6)
確認問題落在資料平面後,檢查節點上的同步狀態與核心規則:
-
檢視 kube-proxy DaemonSet 與 Pod 分布:
kubectl -n kube-system get daemonset,pods -l k8s-app=kube-proxy -o wide -
檢視模式設定與同步日誌:
# 查看模式與參數設定 kubectl -n kube-system get configmap kube-proxy -o jsonpath='{.data.config\.conf}' # 調閱異常節點的同步日誌 kubectl -n kube-system logs <kube-proxy-pod-name> --since=30m --prefix -
檢查 Linux 節點上的轉送規則集:
# iptables 模式(註:KUBE-* 規則鏈為內部實作,非穩定 API,請勿於自動化工具中直接耦合) sudo iptables-save -t nat | rg 'KUBE-SVC-|KUBE-SEP-' # nftables 模式 sudo nft list ruleset | rg -A 10 'kube-proxy' # IPVS 模式(僅供舊環境參考) sudo ipvsadm -Ln
階段四:核心連線追蹤與封包擷取驗證(對應步驟 7)
當規則看似正常卻仍無法通訊時,深入核心連線表與網路卡封包擷取:
-
檢查系統 conntrack 表水位:
sudo conntrack -S sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_max觀察
drop或insert_failed計數器是否持續攀升——兩者上升都代表核心無法為新連線確認寫入追蹤記錄:drop持續上升通常對應連線表滿載(核心會記錄table full, dropping packet),insert_failed則多為五元組衝突(clash)或競爭條件所致,不一定是表滿載。 -
透過 tcpdump 驗證去程與回程的位址轉換:
sudo tcpdump -ni any 'host <cluster-ip> or host <pod-ip>' -nn -v驗證去程封包是否完成 DNAT,以及回程封包是否順利返回並還原位址。
常見故障案例解析
案例一:Service 存在,但 EndpointSlice 為空
- 現象:DNS 解析正常,但連線 ClusterIP 遭遇 Timeout;檢查 EndpointSlice 發現無任何端點。
- 根本原因:Service 的
spec.selector與 Pod 的標籤存在微小差異(如拼寫錯誤、環境標籤不同),或 Pod 的 Readiness Probe 尚未通過。 - 常見誤判:此時重啟 kube-proxy 無濟於事,因為控制平面本來就沒有就緒端點,kube-proxy 依規則不轉送流量完全是符合預期的正常行為。
案例二:本機 Pod 連線正常,跨節點存取失敗
- 現象:與 Client 同節點的 Pod 存取順暢,但一旦負載平衡分配至其他節點的 Pod 便告逾時。直連該遠端 Pod IP 亦無法連通。
- 根本原因:底層 CNI Overlay 網路中斷、節點間安全群組(Security Group)阻擋了跨節點 VXLAN/Geneve 協定,或實體網路卡 MTU 設定不一致導致巨大封包被丟棄。
案例三:啟用 Local 政策後外部流量偶發遺失
- 現象:設定
externalTrafficPolicy: Local後,部分節點的 NodePort 運作正常,其餘節點卻連線逾時。 - 根本原因:此為預期設計行為。無本地 Pod 實例的節點會直接捨棄外部連線。應檢查外部雲端負載平衡器是否正確設定 HealthCheck NodePort。
案例四:滾動更新後舊版本仍持續接收流量
- 現象:Deployment 已完成更新,舊 Pod 已進入 Terminating 狀態,但監控日誌顯示仍有部分請求送往舊 Pod,甚至伴隨連線 Reset。
- 根本原因:
- 長連線重用:Client 端採用 HTTP/2 或 gRPC 長連線,conntrack 持續沿用舊連線狀態轉送;
- 分散式同步延遲:Pod 終止與 EndpointSlice 廣播至所有節點之間存在時間差;
- 未實作 Graceful Shutdown:Pod 尚未把既有請求處理完畢、也未完成排空(drain),就被強制終止。
總結:查修思路速查表
最後整理六種常見異常的判斷對照:
| 觀察結果 | 最優先懷疑層級 | 下一步佐證動作 |
|---|---|---|
| Service 名稱解析失敗 | CoreDNS 或 Pod DNS 設定 | nslookup 測試、檢查 Pod /etc/resolv.conf |
| EndpointSlice 端點為空 | 標籤選擇器或 Readiness 狀態 | 比對 Pod Label 與探針檢查結果 |
| 直連 Pod IP 亦不通 | 應用監聽、CNI 路由、NetworkPolicy | 檢查應用程式監聽埠號與節點間防火牆 |
| 直連 Pod 成功,但 ClusterIP 失敗 | 節點資料平面規則 | 檢查 kube-proxy 同步日誌與節點 NAT 規則 |
| NodePort 僅部分節點成功 | externalTrafficPolicy: Local | 確認節點上是否有本機 Pod,檢視 LB 健康檢查 |
| 更新後舊 Pod 仍有流量 | conntrack 狀態與連線重用 | 檢查客戶端連線池設定與 Graceful Shutdown |