kube-proxy 工作原理(下):封包怎麼走、代理模式與除錯思路

在上篇中,我們梳理了 Kubernetes Service 的控制鏈:Service 物件宣告入口、EndpointSlice controller 保存後端清單、kube-proxy 在各節點同步轉送規則,最後由 Linux 核心完成封包傳遞。

本文接著切入資料平面(Data Plane)。我們將以具體 IP 拓撲追蹤封包在經過 DNAT(目的地位址轉換)、SNAT(來源位址轉換)與 conntrack(連線追蹤)時的位址變化;分析 iptables、IPVS 與 nftables 在 2026 年的定位演進;最後整理出四階段查修工具箱與常見故障案例。


2026 年代理模式演進:從 IPVS 棄用到 nftables

截至 Kubernetes v1.37,Linux 節點上的 kube-proxy 官方實作支援三種運作模式:iptables、IPVS 與 nftables。(註:Windows 節點使用專屬的 kernelspace 模式,本文聚焦於 Linux 網路環境。)

 +---------------------------------------------------------+
 | kube-proxy Modes                                        |
 +---------------------------------------------------------+
 | iptables : Default, battle-tested, linear rule cost     |
 | IPVS     : Deprecated since v1.35, slated for removal   |
 | nftables : Modern alternative, set-based, fast updates  |
 +---------------------------------------------------------+

各模式在底層機制與生命週期上的定位如下:

模式核心寫入目標處理位置目前定位(v1.37)技術特性與限制
iptablesnetfilter 規則鏈Linux 核心現行建議預設成熟穩定;超大規模下規則鏈過長,整體刷新成本較高
IPVSVirtual / Real ServerLinux 核心已棄用(Deprecated)無法原生表達完整 Service 語意,仍需依賴 iptables
nftablesTable、Set 與 MapLinux 核心官方推薦新方向依賴 Kernel 5.13+;採局部更新與集合查詢,規則更新成本隨當次變更量而定

為什麼 nftables 逐漸取代 IPVS?

早期社群引進 IPVS 是為了解決 iptables 在數萬條規則下需逐條比對(線性走訪)的效能瓶頸。然而,Kubernetes Service 的語意日益豐富(包含 externalTrafficPolicy: Local、特定來源 IP 範圍過濾、拓撲感知路由等),IPVS API 無法自然表達所有條件,實務上仍須混用 iptables 規則鏈。

nftables 則原生支援 Set 與 Map 資料結構(詳見 KEP-3866 設計提案),能在單一規則內完成高效檢索,並支援原子式的局部更新(Incremental Updates):kube-proxy 只需下發當次變更的端點,無須重寫整份規則集,更新過程中也不會出現規則只套用到一半的空檔。

NOTE

根據官方 IPVS 棄用規劃,IPVS 模式自 Kubernetes v1.35 起已被正式標記為棄用,社群規劃於 v1.40 預設關閉、v1.43 正式移除。新建叢集不應再依循舊文件選用 IPVS,而應維持 iptables 或評估遷移至 nftables。


核心路徑追蹤:封包在各情境如何轉換

範例拓撲環境設定

為了讓位址轉換過程具體可見,後續所有封包追蹤章節均沿用以下網路設定:

角色實體或虛擬位址備註
外部 Client198.51.100.30叢集外部測試來源
Node A192.0.2.10節點 A 主機 IP
Node B192.0.2.11節點 B 主機 IP
Client Pod10.244.1.10位於 Node A 上的發起端 Pod
API Pod A10.244.1.20:8080位於 Node A 的後端實例
API Pod B10.244.2.20:8080位於 Node B 的後端實例
Service ClusterIP10.96.0.50:80api Service 虛擬 IP
Service NodePort30080api Service 節點埠號

對應的 Service 宣告 YAML:

apiVersion: v1
kind: Service
metadata:
  name: api
spec:
  type: NodePort
  selector:
    app: api
  ports:
    - port: 80
      targetPort: 8080
      nodePort: 30080

路徑一:ClusterIP 存取跨節點 Pod

當 Client Pod 發起對 Service 的連線時,請求首先送往本地 Node A 的網路堆疊:

  1. Client Pod: 10.244.1.10
  2. dst: 10.96.0.50:80Node A Netfilter / Data Plane1. Match ClusterIP 10.96.0.50:80;2. Select backend Pod B (10.244.2.20:8080);3. Execute DNAT (dst -> 10.244.2.20:8080);4. Record connection tuple into conntrack table
  3. src: 10.244.1.10, dst: 10.244.2.20:8080(CNI Routing / Overlay)Node B / API Pod B: 10.244.2.20:8080
  1. 去程 DNAT:Node A 核心網路層命中 ClusterIP 規則,選定 API Pod B 作為後端,將目的端改寫為 10.244.2.20:8080。來源端維持 10.244.1.10 不變(不進行 SNAT)。
  2. CNI 轉送:由底層 CNI 透過 Overlay 或直接路由將封包跨節點送達 Node B 上的 Pod B。
  3. 回程反向轉換:Pod B 將回應封包送回 10.244.1.10。封包抵達 Node A 時,Linux conntrack(連線追蹤表)識別出對應連線,自動將來源 IP 從 10.244.2.20:8080 反向轉回 10.96.0.50:80。Client Pod 全程只認知自己在與 Service 通訊。

路徑二:NodePort 預設模式(Cluster 政策)

當外部客戶端存取 Node A 的 NodePort 30080,且資料平面選取位於 Node B 的 Pod B 時:

  1. External Client: 198.51.100.30
  2. dst: 192.0.2.10:30080Node A Netfilter / Data Plane1. DNAT: dst 192.0.2.10:30080 -> 10.244.2.20:8080;2. SNAT (MASQUERADE): src -> 192.0.2.10
  3. src: 192.0.2.10, dst: 10.244.2.20:8080Node B / API Pod B

在 externalTrafficPolicy: Cluster(預設值)下,根據官方 Using Source IP 指南說明,Node A 為了確保回程封包能沿原路徑返回、正確還原 NAT 前的位址,必須執行 SNAT 將來源 IP 替換為 Node A 自己的節點 IP。

路徑三:保留來源 IP(Local 政策)

若將設定調整為 externalTrafficPolicy: Local:

spec:
  externalTrafficPolicy: Local

轉送行為將限定於節點內部:

 +---------------------------------------------------------+
 | externalTrafficPolicy: Local Routing                    |
 +---------------------------------------------------------+
 | Traffic to Node A (with local Pod A)                    |
 |  -> DNAT only (dst -> 10.244.1.20:8080)                 |
 |  -> Preserves Client IP (src remains 198.51.100.30)     |
 +---------------------------------------------------------+
 | Traffic to Node without local Pod                       |
 |  -> Packet is DROPPED (No cross-node forwarding)        |
 +---------------------------------------------------------+

Node A 僅會將流量導向本機的 API Pod A,完全不進行 SNAT,因此 API Pod A 能取得客戶端真實 IP 198.51.100.30。

WARNING

若外部流量打到「沒有執行該 Service Pod」的節點,kube-proxy 不會代為轉送,而是直接丟棄封包。為此,當搭配雲端負載平衡器(type: LoadBalancer)時,Kubernetes 會自動為此類 Service 分配 healthCheckNodePort;kube-proxy 僅在節點上有本機 ready Pod 時回應 HTTP 200,讓雲端負載平衡器將無本地 Pod 的節點自後端清單剔除。

路徑四:Hairpin 流量(Pod 經 Service 存取自身)

當 API Pod A(10.244.1.20)呼叫自己的 Service ClusterIP(10.96.0.50:80),而負載平衡演算法又恰好選取 API Pod A 自己時,稱為 Hairpin 流量(髮夾彎流量)。

 [API Pod A: 10.244.1.20]
        |
        | (dst: 10.96.0.50:80)
        v
 [veth / Bridge / Netfilter]
        |
        | DNAT dst -> 10.244.1.20:8080
        | SNAT src -> Bridge / Masq IP
        |
        v
 [API Pod A: 10.244.1.20]  (src: Masq, dst: 8080)

封包離開 Pod A 的 network namespace 抵達主機網橋或 veth 介面後,經 DNAT 改寫為自身 IP。此時若未對來源進行 SNAT,Pod A 將收到「來源為自己、目的亦為自己」的封包,Linux 核心常因路由或 TCP 狀態驗證直接將其丟棄。

為使 Hairpin 流量正常往返,kubelet 網路參數與 CNI 需啟用 hairpin mode(如 hairpin-veth 或 promiscuous-bridge),確保封包能從同一個虛擬介面正確發回並完成連線追蹤。


流量控制矩陣:Policy、Preference 與 Affinity

Kubernetes 提供多個面向的流量分配欄位,適用於不同情境:

 +---------------------------------------------------------+
 | Traffic Control Mechanisms                              |
 +---------------------------------------------------------+
 | Local Policy  : Hard filter. Local endpoints only,      |
 |                 or drop                                 |
 | Distribution  : Soft preference. Prefer same node/zone  |
 | Affinity      : L4 state stickiness. Same client        |
 |                 IP to pod                               |
 +---------------------------------------------------------+
機制名稱核心行為當無本機/同區 Pod 時典型使用情境
internalTrafficPolicy: Local叢集內部連線僅限本機 Pod連線失敗,不轉送給遠端改善延遲、減少跨節點流量
externalTrafficPolicy: Local外部存取僅限本機 Pod丟棄封包,不轉送給遠端保存 Client IP、避免跨節點第二跳
trafficDistribution優先選取同節點或同可用區 Pod自動回退至同區或全叢集其他 Pod兼顧可用性與跨 AZ 傳輸成本
sessionAffinity: ClientIP一定時間內將同來源 IP 導向同 Pod重新選取可用 Pod需維持 L4 狀態的傳統應用

conntrack 與長連線的真實運作

Kubernetes Service 的虛擬 IP 與位址轉換高度依賴 Linux Netfilter 連線追蹤機制(conntrack)維護連線狀態,這也是許多應用層負載不均與連線異常的常見原因。

TCP 交握與狀態快取

對於 TCP 協定而言,只有第一個 SYN 封包會走完整條 Service 規則鏈,由負載平衡演算法挑選後端。一旦選定,核心會在 conntrack table 建立五元組狀態(Protocol、Src IP、Src Port、Dst IP、Dst Port)。

後續屬於同一連線的所有封包,直接依據 conntrack 狀態快速執行 NAT 轉換,不再重新計算負載平衡。

 Connection Timeline:
 1. [Client] --- SYN ---> [Node Netfilter]
    (Triggers LB selection -> Pod A)
 2. [Client] --- ACK / Data ---> [Node Netfilter]
    (Follows conntrack -> Pod A)
 3. [Client] --- Subsequent Requests
    on same TCP connection ---> [Pod A only]

這導致兩類常見現象:

  1. HTTP/2 與 gRPC 長連線:多個請求共享少數 TCP 連線,同一條連線上的請求會長期落在同一個 Pod,流量集中時容易使該實例過載。
  2. 滾動更新後的殘留流量:即便 EndpointSlice 已移除舊 Pod,只要既有 TCP 連線未中斷,後續請求仍會沿這條舊連線持續送往舊 Pod,直到逾時或應用程式主動關閉連線。

UDP 的特殊處置

UDP 是無連線協定,核心沒有 SYN/FIN 交握可供辨識。conntrack 透過偽連線逾時計時器(Timeout Window),把每組 UDP 流量當成一條暫時存在的連線來看待,藉此維持 NAT 對應關係。在計時器歸零前,相同來源埠號的 UDP 封包仍會送往同一個後端 Pod。


由外而內的查修思路

排除 Service 故障時,應由外而內依循官方推薦的 Debug Service 查修流程,透過以下七道決策關卡逐步驗證假設:

 +--------------------------------------------------
 | Service 排查流程:由外而內的七道關卡
 |
 | 1. DNS 檢查:CoreDNS 能解析服務名稱嗎?
 | 2. 規格檢查:ClusterIP、Port 與 targetPort 正確嗎?
 | 3. 端點檢查:EndpointSlice 有 ready 的 Pod 嗎?
 | 4. 直連 Pod:客戶端連得到 Pod IP:targetPort 嗎?
 | 5. 節點範圍:故障是否集中在特定節點?
 | 6. 平面檢查:看 kube-proxy 日誌與核心規則表
 | 7. 封包追蹤:用 tcpdump 找出消失的那一跳
 +--------------------------------------------------

結構化除錯工具箱:四階段檢驗指令

上述 7 步查修邏輯可歸納為四個具體的驗證階段,由 API 控制平面逐層下探至核心封包層:

階段一:控制平面與端點狀態核對(對應步驟 1–3)

在懷疑網路資料平面之前,先確認 API 宣告與端點是否正確就位:

  1. 檢查 Service 規格與埠號定義:

    kubectl -n <namespace> get service <service-name> -o yaml

    確認 clusterIP、ports(port 與 targetPort)以及流量政策欄位。

  2. 檢視 EndpointSlice 實體狀態:

    kubectl -n <namespace> get endpointslice -l kubernetes.io/service-name=<service-name> -o yaml

    依據官方 EndpointSlice 標籤規範,確認端點清單中是否存在 ready: true 的 Pod IP 與埠號。

  3. 核對標籤選擇器(Selector)命中範圍:

    kubectl -n <namespace> get pods -l '<selector-key>=<selector-value>' -o wide

    確認實際標籤符合的 Pod 數量、所在節點及其運作狀態。

階段二:隔離驗證與分段探測(對應步驟 4–5)

從除錯 Pod 內執行分段測試,定位故障層級:

# 測試 1: DNS 解析層
kubectl -n <namespace> exec <debug-pod> -- nslookup <service-name>.<namespace>.svc.cluster.local

# 測試 2: Service 虛擬 IP 層
kubectl -n <namespace> exec <debug-pod> -- wget -S -T 3 -O- http://<cluster-ip>:<port>/healthz

# 測試 3: 後端實體 Pod IP 層(繞過 Service)
kubectl -n <namespace> exec <debug-pod> -- wget -S -T 3 -O- http://<pod-ip>:<target-port>/healthz

階段三:kube-proxy 實例與節點轉送規則(對應步驟 6)

確認問題落在資料平面後,檢查節點上的同步狀態與核心規則:

  1. 檢視 kube-proxy DaemonSet 與 Pod 分布:

    kubectl -n kube-system get daemonset,pods -l k8s-app=kube-proxy -o wide
  2. 檢視模式設定與同步日誌:

    # 查看模式與參數設定
    kubectl -n kube-system get configmap kube-proxy -o jsonpath='{.data.config\.conf}'
    
    # 調閱異常節點的同步日誌
    kubectl -n kube-system logs <kube-proxy-pod-name> --since=30m --prefix
  3. 檢查 Linux 節點上的轉送規則集:

    # iptables 模式(註:KUBE-* 規則鏈為內部實作,非穩定 API,請勿於自動化工具中直接耦合)
    sudo iptables-save -t nat | rg 'KUBE-SVC-|KUBE-SEP-'
    
    # nftables 模式
    sudo nft list ruleset | rg -A 10 'kube-proxy'
    
    # IPVS 模式(僅供舊環境參考)
    sudo ipvsadm -Ln

階段四:核心連線追蹤與封包擷取驗證(對應步驟 7)

當規則看似正常卻仍無法通訊時,深入核心連線表與網路卡封包擷取:

  1. 檢查系統 conntrack 表水位:

    sudo conntrack -S
    sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_max

    觀察 drop 或 insert_failed 計數器是否持續攀升——兩者上升都代表核心無法為新連線確認寫入追蹤記錄:drop 持續上升通常對應連線表滿載(核心會記錄 table full, dropping packet),insert_failed 則多為五元組衝突(clash)或競爭條件所致,不一定是表滿載。

  2. 透過 tcpdump 驗證去程與回程的位址轉換:

    sudo tcpdump -ni any 'host <cluster-ip> or host <pod-ip>' -nn -v

    驗證去程封包是否完成 DNAT,以及回程封包是否順利返回並還原位址。


常見故障案例解析

案例一:Service 存在,但 EndpointSlice 為空

案例二:本機 Pod 連線正常,跨節點存取失敗

案例三:啟用 Local 政策後外部流量偶發遺失

案例四:滾動更新後舊版本仍持續接收流量


總結:查修思路速查表

最後整理六種常見異常的判斷對照:

觀察結果最優先懷疑層級下一步佐證動作
Service 名稱解析失敗CoreDNS 或 Pod DNS 設定nslookup 測試、檢查 Pod /etc/resolv.conf
EndpointSlice 端點為空標籤選擇器或 Readiness 狀態比對 Pod Label 與探針檢查結果
直連 Pod IP 亦不通應用監聽、CNI 路由、NetworkPolicy檢查應用程式監聽埠號與節點間防火牆
直連 Pod 成功,但 ClusterIP 失敗節點資料平面規則檢查 kube-proxy 同步日誌與節點 NAT 規則
NodePort 僅部分節點成功externalTrafficPolicy: Local確認節點上是否有本機 Pod,檢視 LB 健康檢查
更新後舊 Pod 仍有流量conntrack 狀態與連線重用檢查客戶端連線池設定與 Graceful Shutdown