Kubernetes 怎麼做多租戶隔離?從內部團隊到外部客戶的架構選擇
在探討 Kubernetes 多租戶時,最讓人困惑的,是同一個詞在不同語境下指涉不同的對象。社群討論裡,「每位客戶擁有一個子網域」的 SaaS 租戶與 Kubernetes 官方談的「多租戶」,常被混用同一個詞。
這兩者在系統架構中究竟是不是同一件事?
為了釐清邊界,我們先設定一個具體的電商 SaaS 情境 GoodShop:使用者在平台註冊後即可建立專屬商店(如 acme.goodshop.example),規模達上萬家客戶。
GoodShop 的工程團隊共有 30 人,分為負責叢集維運的平台組、掌管購物車與金流的結帳組(checkout),以及負責報表分析的報表組(analytics),三組共用同一個生產 Kubernetes 叢集。
+------------------------------------------------------
| Kubernetes Cluster
|
| +--------------------+ +--------------------+
| | checkout ns | | analytics ns |
| | (Internal Team) | | (Internal Team) |
| +--------------------+ +--------------------+
|
| +------------------------------------------------
| | Shared Storefront Service (Pool Model)
| | 處理 10,000+ 個客戶子網域
| +------------------------------------------------
+------------------------------------------------------
這個情境故意並置了兩種「租戶」:對內,結帳組與報表組是共用叢集的內部團隊;對外,上萬個客戶商店是 SaaS 的外部租戶。
Kubernetes 官方文件所討論的多租戶幾乎全指內部團隊共用;而上萬客戶子網域的資料隔離,責任大部分不在 Kubernetes 身上。
一、官方語境:沒有 Tenant 物件,只有信任邊界
Kubernetes 官方多租戶文件在一開頭就打破了許多人的直覺:Kubernetes API 核心中並不存在名為 Tenant 的原生資源物件。
While Kubernetes does not have first-class concepts of end users or tenants, it provides several features to help manage different tenancy requirements.
在官方語境中,「多租戶」是一把涵蓋各種共用情境的保護傘,專門處理叢集共用時伴隨的三大課題:安全性(Security)、資源公平性(Fairness)以及吵鬧鄰居管理(Managing noisy neighbors)。
+------------------------------------------------------+
| Tenancy Models (Official Blog) |
| |
| 1. Namespaces as a Service |
| Shared CP + Shared Nodes |
| 2. Control Planes as a Service (Virtual Cluster) |
| Dedicated CP + Shared Nodes |
| 3. Clusters as a Service |
| Dedicated Everything |
+------------------------------------------------------+
官方文件以 Soft 與 Hard 描述兩種隔離層級,其判準不在技術實作,而在使用者之間的「信任關係」:
- Soft Multi-tenancy:適用於同企業內部的不同團隊(如結帳組與報表組)。彼此具備基本信任,首要防範的是誤操作、設定覆蓋與資源互相擠壓。
- Hard Multi-tenancy:適用於彼此互不信任的多個獨立實體(如外部競爭客戶)。必須嚴防惡意攻擊、橫向滲透與跨租戶資料竊取。
官方部落格在 2021 年發布的架構指南中,歸納了三種共用模型:命名空間即服務(Namespaces as a Service)、控制平面即服務(Control planes as a Service,租戶取得專屬的虛擬叢集、共用工作節點)與叢集即服務(Clusters as a Service)。
在最常見的命名空間模型中,團隊隔離的基本配備是「命名空間五件套」:Namespace 本身、RBAC 權限、ResourceQuota/LimitRange 資源配額、NetworkPolicy 網路策略,以及 Pod Security Admission(PSA)安全基準。
二、隔離原語盤點:namespace 只是起點
命名空間五件套解決了單一 namespace 內的權限與資源邊界。但若要防範穿透與逃逸,防禦視野必須一路下沉至節點排程與 Linux 核心層。
+------------------------------------------------------+
| Defense-in-Depth Layers |
| |
| [API Plane] RBAC, Pod Security Admission (PSA) |
| [Scope/Admin] Namespace, ResourceQuota, LimitRange |
| [L3/L4 Network] NetworkPolicy (CNI-dependent) |
| [Compute/Host] Node Isolation (Taint/Toleration) |
| [Kernel/Sys] Sandbox (gVisor/Kata), UserNS |
+------------------------------------------------------+
1. namespace:行政分組而非安全邊界
官方將 namespace 定位為組織內部團隊或專案的資源劃分工具。它劃分了 API 物件名稱的範圍,並作為各類政策的作用域。
但 namespace 無法約束叢集級資源(如 CRD、StorageClass、Webhook 設定)。若某一團隊擁有修改 ValidatingWebhookConfiguration 的權限,就能攔截並影響全叢集的請求。
2. RBAC:僅約束打到 API Server 的請求
RBAC 透過 Role 與 RoleBinding 限制團隊在特定 namespace 內的 API 操作動詞與資源對象。
但官方 RBAC 安全指南特別提醒「命名空間內部的邊界是薄弱的」,且 RBAC 僅在 API server 內生效,完全管不到容器間的網路連線、節點上的實體行程與 Linux 核心呼叫。
3. ResourceQuota 與 LimitRange:抑制吵鬧鄰居
ResourceQuota 限制整個 namespace 的運算資源總和,當申請超額時 control plane 會直接回傳 HTTP 403 Forbidden;LimitRange 則設定單一 Pod 的資源上下限與預設值。
其盲點在於無法限制網路頻寬與 I/O 消耗,且 LimitRange 僅在 Pod 建立階段檢查,對運作中的工作負載不具追溯約束力。
4. NetworkPolicy:純白名單機制,需主動關門
在未設定 NetworkPolicy 的 namespace 中,所有 Pod 之間的 Ingress 與 Egress 流量預設皆為完全暢通。
Kubernetes 原生 NetworkPolicy 採用純白名單(Allow-list)模型:建立隔離的第一步,是宣告一條 Default Deny 空規則,讓 Pod 之間預設全部隔離,再逐一加入白名單放行。
需要特別注意:NetworkPolicy 必須由 CNI(Container Network Interface,容器網路介面)外掛程式實作。底層網路不支援時,宣告的物件將無聲失效。此外它僅運作於 L3/L4(IP 位址與 TCP/UDP 連接埠),沒有獨立顯式的 Deny 語意(無法指定封鎖特定 IP),也無法直接按 Service 名稱過濾。
5. Pod Security Admission:工作負載的安全基準
自 Kubernetes 1.25 起正式取代舊版的 Pod Security Policy(PSP)並進入 Stable,Pod Security Admission 透過 namespace label 套用 privileged、baseline 與 restricted 三種等級,並支援 enforce、audit、warn 三種模式。
將內部團隊 namespace 設為 restricted enforce,就能直接擋下使用特權容器或掛載主機路徑(hostPath)的 Pod。
6. 節點隔離:控制平面依然共用
透過 Taint、Toleration 與節點親和性,可將特定團隊的工作負載排程至專屬實體節點上。
但官方警告指出:節點分開後,kubelet 與 API server 仍是共用的。具備高階技術的攻擊者若取得節點憑證權限,依然可能在叢集內橫向移動。
7. 核心與主機隔離:Sandbox Runtime 與 User Namespaces
針對不可信程式碼,透過 RuntimeClass 引進 gVisor(使用者空間核心攔截系統呼叫)或 Kata Containers(輕量級硬體虛擬化),在容器層級提供逼近虛擬機器的核心防護。
而在主機防禦層面,Linux User Namespaces 機制(KEP-127)將容器內的 root 使用者映射為主機上的非特權使用者,降低容器逃逸對實體節點的破壞力。
NOTE
| 隔離原語 | 隔離範圍 | 防護盲點與限制 |
|---|---|---|
| Namespace | 物件名稱範圍與各類政策作用域 | 叢集級物件(CRD、Webhook) |
| RBAC | API Server 操作請求 | Pod 網路可達性、節點行程與核心層 |
| ResourceQuota | CPU 與記憶體總量限制 | 網路頻寬消耗;運作中 Pod 不追溯 |
| NetworkPolicy | Pod 間 L3/L4 網路流量(白名單) | L7 應用語意;需 CNI 實作;無顯式 Deny 規則 |
| PSA | Pod 安全上下文(特權、主機路徑) | 網路與資源;僅建立時驗證 |
| 節點隔離 | 實體工作負載落點 | 控制平面(kubelet / API)仍共用 |
| Sandbox / UserNS | 系統呼叫與 UID 映射(防逃逸) | 運算額外負載或環境相容需求(Linux 6.3+) |
三、客戶子網域的旅程:Kubernetes 只送到門口
當外部客戶造訪 acme.goodshop.example 時,這條請求是如何進入叢集並精準呈現 Acme 商店資料的?
- Client Request (*.goodshop.example)
- Cloud DNSWildcard DNS Record
- Load Balancer
- Ingress ControllerWildcard TLS / Host Match
- storefront-app Service
- storefront Pods
-
- Extract "acme" from Host Header
- Query Acme's data from DB Shard
在標準架構中,DNS 將 *.goodshop.example 指向負載平衡器,Ingress Controller 藉由單一萬用字元憑證與 Host 規則接收流量,並路由至後端的 storefront-app Service(Gateway API 的 HTTPRoute 亦支援類似的字尾匹配)。
NOTE
這裡的核心事實是:Kubernetes 只負責 L7 路由,完全不知道租戶的存在。
對 Ingress 而言,acme.goodshop.example 與 blob.goodshop.example 是同一條規則、同一個 Service,最終抵達的也多半是同一批 Pod。
應用程式從 HTTP Host header 擷取出 acme 字串,轉換為內部租戶識別碼後,再向資料庫查詢對應資料。
資料隔離靠的是應用程式邏輯與資料庫分片,而非叢集層級的 namespace 或 RBAC。
四、「一客戶一 namespace」的規模代價與生態帳
如果試圖將外部客戶直接映射至 Kubernetes namespace,讓每個客戶獨享一個 namespace,這筆架構帳該如何計算?
+------------------------------------------------------+
| Tenancy Architecture Spectrum |
| |
| [Pool Model] [Bridge Model] [Silo Model] |
| Shared Pods & DB Shared App + Namespace / |
| (10k+ Merchants) Dedicated DB vCluster / VPC |
| ------------------> ---------------> -------------> |
| Low Cost / Dense High Isolation |
+------------------------------------------------------+
在 SaaS 架構頻譜中,租戶隔離通常呈現三種主要形態:
| 架構模型 | 運算層資源 | 資料層隔離 | 成本與適用情境 |
|---|---|---|---|
| Pool(共用模式) | 共用 Pod 與微服務 | 資料庫水平分片(Shard) | 成本極低,適合大量長尾客戶(如 GoodShop、Shopify) |
| Bridge(混合模式) | 共用前端與無狀態服務 | 每位租戶專屬資料庫執行個體 | 兼顧開發效率與資料隔離,適合注重合規的中型企業 |
| Silo(專屬模式) | 獨立 Namespace 或專屬 vcluster | 獨立資料庫與基礎設施 | 成本最高,適合願付高額費用的大型企業或內部團隊 |
從 Kubernetes 規模極限來看(參考官方大型叢集指引與 sig-scalability 測試門檻):
- 單一叢集官方測試的命名空間數量上限為 10,000 個。
- 單一叢集的物件總量(Event 除外)建議控制在 150,000 以內。
- etcd 預設後端儲存上限為 2 GiB(建議上限至多調至 8 GiB)。
若對上萬客戶採取 Silo 模式的「一客戶一 namespace」,每個租戶 namespace 都要備妥一整套隔離設定(Role、RoleBinding、Quota、LimitRange、NetworkPolicy、PSA),再加上工作負載(Deployment、Service、Ingress、ConfigMap、Secret、Pod),單一客戶即產生 15 至 20 個 API 物件。
以單一客戶 15 至 20 個物件估算,上萬客戶會產生約 150,000 至 200,000 個 API 物件,觸及甚至突破官方測試基準,並對 etcd 儲存與 API server 的 List/Watch 造成可觀壓力。
NOTE
在業界實務中,以 Shopify 為例:它服務上百萬商家,其多租戶架構核心落在資料庫層水平分片與共用應用叢集;Kubernetes 僅負責大規模微服務的彈性排程,而非為每個商家劃分 namespace。
+------------------------------------------------------
| Multi-tenancy Community Tooling
|
| - Capsule (CNCF)
| 聚合多個 Namespaces(CRD)
| - vcluster (vCluster Labs)
| Virtual API Server in Pod
+------------------------------------------------------
社群開源的多租戶工具,主要解決哪些問題?
- 內部多團隊管理(Capsule):當內部團隊與微服務專案眾多時,原生五件套維運過於繁瑣,Capsule 透過 Tenant CRD 統一管理並自動繼承多個 namespace 的政策。
- 外部專屬大客戶(vcluster):針對少數付費要求最高隔離的企業客戶,在 Pod 內部運作獨立的虛擬 API server,提供近乎完整的 API 隔離,同時兼顧節點共用的經濟性。
五、架構收斂判準:GoodShop 該怎麼選
綜合信任邊界、規模極限與維運成本,多租戶架構的選擇可歸納為三大判準:
決策樹:
內部團隊(soft)或外部客戶(hard)?
|
+-- Internal Teams --> Namespaced 5-piece Toolkit
|
+-- External Customers
|
+-- High Volume (10k+) --> Pool (Shared Store)
|
+-- Enterprise --> Silo (vcluster/VPC)
- 判準一:先問信任邊界,再選技術層級。內部團隊採用 Soft 隔離,以 namespace 搭配五件套即可防止誤操作;外部互不信任的客戶若要走硬隔離,應採用虛擬叢集或實體獨立叢集,而非單純仰賴原生 namespace。
- 判準二:租戶規模決定 Silo 與 Pool 的落點。Silo 模型的成本隨租戶數線性增加,Pool 模型則享有規模經濟。大量長尾客戶走 Pool 共用模式,少數高單價企業客戶才提供專屬 Silo 部署。
- 判準三:K8s 原語管「公平」,應用與資料層管「信任」。ResourceQuota 與 NetworkPolicy 負責資源分配與網路連通性;惡意滲透與資料防護則需由應用層認證、查詢過濾與資料庫分片承擔。
回到 GoodShop 的架構設計:對內,平台組為結帳組與報表組建立各自的 namespace,並落實 RBAC、配額、PSA restricted,以及預設拒絕所有流量(Default Deny)的 NetworkPolicy。
對外,上萬家商店採用 Pool 模型,透過萬用字元 Ingress 接入共用的 storefront 服務,並在資料層按商家分片;針對極少數大型企業客戶,則以付費專屬方案提供 vcluster 或獨立叢集。
釐清這兩層邊界,才能在 Kubernetes 基礎設施與 SaaS 業務架構之間取得最佳平衡。