kube-proxy 工作原理(上):它不是代理伺服器,而是規則同步者

「kube-proxy」這個名字常帶來直覺上的誤導:許多人以為它是一支常駐在節點上的 Proxy 程式,像 Nginx 或 Envoy 一樣在 User Space 接收封包再轉送出去。

事實上,kube-proxy 本身不轉送任何應用封包。

它的本質是節點上的 Service 規則控制器:在背景監看 Kubernetes API,將宣告式的 Service 與 EndpointSlice 轉換為 Linux 核心(iptables、nftables 或 IPVS)的轉送規則。真正逐封包執行過濾、負載選擇與目的地網路位址轉換(DNAT)的,多半是 Linux 核心本身的網路堆疊。


核心定位:四層轉送規則的同步者

如果用一句話定義 kube-proxy 的角色:

kube-proxy 把 Kubernetes Service 宣告的穩定虛擬入口,落實為各節點皆能執行的四層流量轉送規則。

這項定位包含四個核心特質:


為什麼需要 Service 與虛擬 IP?

在 Kubernetes 中,Pod 具備暫態性(Ephemeral)。無論是 Deployment 滾動更新、節點故障轉移或自動水平擴充,Pod 的重建都會伴隨新的 Pod IP。

若讓前端客戶端直接快取後端 Pod IP 清單,所有客戶端都必須自行實作健康檢查、快取失效、負載平衡演算法,並處理端點清單更新時的競爭條件。Service 機制將這兩件事拆開:

  1. Client Pod
  2. Send to Service ClusterIP: stable virtual IPService ClusterIP
  3. Kernel DNATSelected Backend PodDynamic Pod IP
  1. 客戶端面對穩定的虛擬入口:透過固定的 Service DNS 名稱與 ClusterIP 進行通訊。
  2. 控制平面動態維護後端集合:由控制平面的 EndpointSlice Controller(下節詳述)即時追蹤健康且就緒的 Pod 清單。

註:若需要繞過虛擬 IP 代理(如 Headless Service clusterIP: None),CoreDNS 會直接回傳所有後端 Pod IP,將負載平衡交由客戶端自行負責。


五大網路元件的協同運作

Kubernetes 內部的服務存取,由控制平面控制器、本機 Daemon 與 Linux 核心緊密分工完成:

  1. ServiceVIP definition
  2. EndpointSlice Controller reconciles selectorEndpointSliceReady endpoint IPs & ports
  3. Watch APIkube-proxyNode Daemon
  4. Write rulesLinux Kernel Datapathiptables / IPVS / nftables
  1. Client Pod
  2. Send to VIP:PortLinux Kernel Datapath
  3. Kernel DNAT to Pod IP & route via CNIBackend Pod

1. Service:宣告入口與意圖

當開發者建立一個 Service 時,Kubernetes API Server 會分配一個 ClusterIP(例如 10.96.0.50)。此物件僅在 etcd 中記錄意圖:「發往 10.96.0.50:80 的連線,應路由給帶有標籤 app: api 的後端容器。」

2. EndpointSlice:追蹤目前可用後端

控制平面的 EndpointSlice Controller 會追蹤符合 Selector 的 Pod,將其 IP、Port、所屬節點與就緒狀態(Ready、Serving、Terminating)整理為 EndpointSlice 物件(解決了早期單一 Endpoints 物件在大型叢集下的效能與更新廣播瓶頸)。

EndpointSlice 是 kube-proxy 決定轉送目標時的事實來源(Source of Truth)。若 Pod 尚未通過 Readiness Probe,其位址就不會被列入可用的轉送端點。

3. kube-proxy:持續對帳的規則控制器

各節點上的 kube-proxy 會透過 Watch 機制,監聽 API Server 中的 Service 與 EndpointSlice 變更。其內部以 Control Loop 形式運作:一旦偵測到異動,便累積變更並觸發本地同步,將核心轉送規則調整至最新期望狀態。

4. Linux 核心資料平面:執行逐封包轉送

kube-proxy 寫入規則後,封包在進入作業系統核心網路堆疊時被即時攔截。核心依照規則挑選合適的後端端點,執行 DNAT 將目的位址由 ClusterIP 改寫為 Pod IP,整個過程全在核心空間完成,無需切換回使用者空間的應用程式。

5. CNI 與 Pod 網路:底層封包傳遞

當核心完成 DNAT 轉換後,封包的目的地已變更為實際的 Pod IP。此時由 CNI 外掛所建立的底層網路拓撲接手,負責跨節點或同節點將封包實體傳遞給目標 Pod。


控制平面與資料平面的解耦優勢

把「控制平面(宣告狀態)」與「資料平面(封包執行)」分開,主要有三個好處:


常見心智盲點與關鍵觀念澄清

在理解與查修 Kubernetes 服務網路時,常見以下三個心智盲點:

盲點一:kube-proxy 發生重啟,Service 連線會立刻全面中斷?

不會。 核心轉送規則是寫入 Linux Kernel 記憶體中的資料結構,獨立於 kube-proxy 的 Process 生命週期。

當 kube-proxy 程序重啟或暫時離線時,已設定的轉送規則通常依然生效,既有 Service 的連線仍可正常通行;主要的影響是:這段期間規則不會隨現況更新——Pod 新增、刪除或就緒狀態變更時,節點無法即時同步最新端點清單,期間建立的 Service 也暫時不會取得轉送規則。

盲點二:每個 HTTP 請求都會在後端 Pod 之間均勻負載?

不一定。 kube-proxy 是第四層(L4)傳輸層機制。Linux 核心的 conntrack(連線追蹤)模組只會在收到第一個 TCP SYN 封包時執行端點負載選擇與 DNAT,一旦連線狀態建立,後續的所有封包都會直接沿用同一筆 NAT 映射。

因此,若應用程式採用 HTTP/2、gRPC,或使用連線保持(Keep-Alive)與連線池(Connection Pool),大量 HTTP Request 會共用同一條既有的 TCP 連線,這些請求也就全部落在同一個 Pod。

若需要依據 HTTP 標頭、Path 做逐請求(Per-Request)負載平衡,應仰賴第七層的 Ingress Controller 或 Gateway API。

盲點三:叢集一定要運作 kube-proxy 才能使用 Service 虛擬 IP?

不一定。 kube-proxy 是 Kubernetes 預設的 Service 轉送規則同步元件。

若叢集採用具備 eBPF 能力的現代 CNI(例如 Cilium 的 kube-proxy-replacement),CNI 會直接在 Linux 核心掛載 eBPF:socket 層 cgroup hook 完成 ClusterIP 位址轉換,DNAT 由 TC 層處理,XDP 屬選用加速層。在此架構下,即使完全停用 kube-proxy,Service 與 EndpointSlice 的功能通常仍正常運作。


下篇會進到 Linux 核心資料平面,用具體 IP 拓撲追蹤 iptables、nftables 與 IPVS 的轉送差異,以及 NodePort/LoadBalancer 帶來的 SNAT 與跨節點封包流向。