Kubernetes 怎麼做多租戶隔離?從內部團隊到外部客戶的架構選擇

在探討 Kubernetes 多租戶時,最讓人困惑的,是同一個詞在不同語境下指涉不同的對象。社群討論裡,「每位客戶擁有一個子網域」的 SaaS 租戶與 Kubernetes 官方談的「多租戶」,常被混用同一個詞。

這兩者在系統架構中究竟是不是同一件事?

為了釐清邊界,我們先設定一個具體的電商 SaaS 情境 GoodShop:使用者在平台註冊後即可建立專屬商店(如 acme.goodshop.example),規模達上萬家客戶。

GoodShop 的工程團隊共有 30 人,分為負責叢集維運的平台組、掌管購物車與金流的結帳組(checkout),以及負責報表分析的報表組(analytics),三組共用同一個生產 Kubernetes 叢集。

 +------------------------------------------------------
 | Kubernetes Cluster
 |
 |  +--------------------+      +--------------------+
 |  | checkout ns        |      | analytics ns       |
 |  | (Internal Team)    |      | (Internal Team)    |
 |  +--------------------+      +--------------------+
 |
 |  +------------------------------------------------
 |  | Shared Storefront Service (Pool Model)
 |  | 處理 10,000+ 個客戶子網域
 |  +------------------------------------------------
 +------------------------------------------------------

這個情境故意並置了兩種「租戶」:對內,結帳組與報表組是共用叢集的內部團隊;對外,上萬個客戶商店是 SaaS 的外部租戶。

Kubernetes 官方文件所討論的多租戶幾乎全指內部團隊共用;而上萬客戶子網域的資料隔離,責任大部分不在 Kubernetes 身上。


一、官方語境:沒有 Tenant 物件,只有信任邊界

Kubernetes 官方多租戶文件在一開頭就打破了許多人的直覺:Kubernetes API 核心中並不存在名為 Tenant 的原生資源物件。

While Kubernetes does not have first-class concepts of end users or tenants, it provides several features to help manage different tenancy requirements.

在官方語境中,「多租戶」是一把涵蓋各種共用情境的保護傘,專門處理叢集共用時伴隨的三大課題:安全性(Security)、資源公平性(Fairness)以及吵鬧鄰居管理(Managing noisy neighbors)。

 +------------------------------------------------------+
 | Tenancy Models (Official Blog)                       |
 |                                                      |
 |  1. Namespaces as a Service                          |
 |     Shared CP + Shared Nodes                         |
 |  2. Control Planes as a Service (Virtual Cluster)    |
 |     Dedicated CP + Shared Nodes                      |
 |  3. Clusters as a Service                            |
 |     Dedicated Everything                             |
 +------------------------------------------------------+

官方文件以 Soft 與 Hard 描述兩種隔離層級,其判準不在技術實作,而在使用者之間的「信任關係」:

官方部落格在 2021 年發布的架構指南中,歸納了三種共用模型:命名空間即服務(Namespaces as a Service)、控制平面即服務(Control planes as a Service,租戶取得專屬的虛擬叢集、共用工作節點)與叢集即服務(Clusters as a Service)。

在最常見的命名空間模型中,團隊隔離的基本配備是「命名空間五件套」:Namespace 本身、RBAC 權限、ResourceQuota/LimitRange 資源配額、NetworkPolicy 網路策略,以及 Pod Security Admission(PSA)安全基準。


二、隔離原語盤點:namespace 只是起點

命名空間五件套解決了單一 namespace 內的權限與資源邊界。但若要防範穿透與逃逸,防禦視野必須一路下沉至節點排程與 Linux 核心層。

 +------------------------------------------------------+
 | Defense-in-Depth Layers                              |
 |                                                      |
 | [API Plane]     RBAC, Pod Security Admission (PSA)   |
 | [Scope/Admin]   Namespace, ResourceQuota, LimitRange |
 | [L3/L4 Network] NetworkPolicy (CNI-dependent)        |
 | [Compute/Host]  Node Isolation (Taint/Toleration)    |
 | [Kernel/Sys]    Sandbox (gVisor/Kata), UserNS        |
 +------------------------------------------------------+

1. namespace:行政分組而非安全邊界

官方將 namespace 定位為組織內部團隊或專案的資源劃分工具。它劃分了 API 物件名稱的範圍,並作為各類政策的作用域。

但 namespace 無法約束叢集級資源(如 CRD、StorageClass、Webhook 設定)。若某一團隊擁有修改 ValidatingWebhookConfiguration 的權限,就能攔截並影響全叢集的請求。

2. RBAC:僅約束打到 API Server 的請求

RBAC 透過 Role 與 RoleBinding 限制團隊在特定 namespace 內的 API 操作動詞與資源對象。

但官方 RBAC 安全指南特別提醒「命名空間內部的邊界是薄弱的」,且 RBAC 僅在 API server 內生效,完全管不到容器間的網路連線、節點上的實體行程與 Linux 核心呼叫。

3. ResourceQuota 與 LimitRange:抑制吵鬧鄰居

ResourceQuota 限制整個 namespace 的運算資源總和,當申請超額時 control plane 會直接回傳 HTTP 403 Forbidden;LimitRange 則設定單一 Pod 的資源上下限與預設值。

其盲點在於無法限制網路頻寬與 I/O 消耗,且 LimitRange 僅在 Pod 建立階段檢查,對運作中的工作負載不具追溯約束力。

4. NetworkPolicy:純白名單機制,需主動關門

在未設定 NetworkPolicy 的 namespace 中,所有 Pod 之間的 Ingress 與 Egress 流量預設皆為完全暢通。

Kubernetes 原生 NetworkPolicy 採用純白名單(Allow-list)模型:建立隔離的第一步,是宣告一條 Default Deny 空規則,讓 Pod 之間預設全部隔離,再逐一加入白名單放行。

需要特別注意:NetworkPolicy 必須由 CNI(Container Network Interface,容器網路介面)外掛程式實作。底層網路不支援時,宣告的物件將無聲失效。此外它僅運作於 L3/L4(IP 位址與 TCP/UDP 連接埠),沒有獨立顯式的 Deny 語意(無法指定封鎖特定 IP),也無法直接按 Service 名稱過濾。

5. Pod Security Admission:工作負載的安全基準

自 Kubernetes 1.25 起正式取代舊版的 Pod Security Policy(PSP)並進入 Stable,Pod Security Admission 透過 namespace label 套用 privileged、baseline 與 restricted 三種等級,並支援 enforce、audit、warn 三種模式。

將內部團隊 namespace 設為 restricted enforce,就能直接擋下使用特權容器或掛載主機路徑(hostPath)的 Pod。

6. 節點隔離:控制平面依然共用

透過 Taint、Toleration 與節點親和性,可將特定團隊的工作負載排程至專屬實體節點上。

但官方警告指出:節點分開後,kubelet 與 API server 仍是共用的。具備高階技術的攻擊者若取得節點憑證權限,依然可能在叢集內橫向移動。

7. 核心與主機隔離:Sandbox Runtime 與 User Namespaces

針對不可信程式碼,透過 RuntimeClass 引進 gVisor(使用者空間核心攔截系統呼叫)或 Kata Containers(輕量級硬體虛擬化),在容器層級提供逼近虛擬機器的核心防護。

而在主機防禦層面,Linux User Namespaces 機制(KEP-127)將容器內的 root 使用者映射為主機上的非特權使用者,降低容器逃逸對實體節點的破壞力。

隔離原語隔離範圍防護盲點與限制
Namespace物件名稱範圍與各類政策作用域叢集級物件(CRD、Webhook)
RBACAPI Server 操作請求Pod 網路可達性、節點行程與核心層
ResourceQuotaCPU 與記憶體總量限制網路頻寬消耗;運作中 Pod 不追溯
NetworkPolicyPod 間 L3/L4 網路流量(白名單)L7 應用語意;需 CNI 實作;無顯式 Deny 規則
PSAPod 安全上下文(特權、主機路徑)網路與資源;僅建立時驗證
節點隔離實體工作負載落點控制平面(kubelet / API)仍共用
Sandbox / UserNS系統呼叫與 UID 映射(防逃逸)運算額外負載或環境相容需求(Linux 6.3+)

三、客戶子網域的旅程:Kubernetes 只送到門口

當外部客戶造訪 acme.goodshop.example 時,這條請求是如何進入叢集並精準呈現 Acme 商店資料的?

  1. Client Request (*.goodshop.example)
  2. Cloud DNSWildcard DNS Record
  3. Load Balancer
  4. Ingress ControllerWildcard TLS / Host Match
  5. storefront-app Service
  6. storefront Pods
    1. Extract "acme" from Host Header
    1. Query Acme's data from DB Shard

在標準架構中,DNS 將 *.goodshop.example 指向負載平衡器,Ingress Controller 藉由單一萬用字元憑證與 Host 規則接收流量,並路由至後端的 storefront-app Service(Gateway API 的 HTTPRoute 亦支援類似的字尾匹配)。

這裡的核心事實是:Kubernetes 只負責 L7 路由,完全不知道租戶的存在。

對 Ingress 而言,acme.goodshop.example 與 blob.goodshop.example 是同一條規則、同一個 Service,最終抵達的也多半是同一批 Pod。

應用程式從 HTTP Host header 擷取出 acme 字串,轉換為內部租戶識別碼後,再向資料庫查詢對應資料。

資料隔離靠的是應用程式邏輯與資料庫分片,而非叢集層級的 namespace 或 RBAC。


四、「一客戶一 namespace」的規模代價與生態帳

如果試圖將外部客戶直接映射至 Kubernetes namespace,讓每個客戶獨享一個 namespace,這筆架構帳該如何計算?

 +------------------------------------------------------+
 | Tenancy Architecture Spectrum                        |
 |                                                      |
 |  [Pool Model]        [Bridge Model]   [Silo Model]   |
 |  Shared Pods & DB    Shared App +     Namespace /    |
 |  (10k+ Merchants)    Dedicated DB     vCluster / VPC |
 |  ------------------> ---------------> -------------> |
 |  Low Cost / Dense                     High Isolation |
 +------------------------------------------------------+

在 SaaS 架構頻譜中,租戶隔離通常呈現三種主要形態:

架構模型運算層資源資料層隔離成本與適用情境
Pool(共用模式)共用 Pod 與微服務資料庫水平分片(Shard)成本極低,適合大量長尾客戶(如 GoodShop、Shopify)
Bridge(混合模式)共用前端與無狀態服務每位租戶專屬資料庫執行個體兼顧開發效率與資料隔離,適合注重合規的中型企業
Silo(專屬模式)獨立 Namespace 或專屬 vcluster獨立資料庫與基礎設施成本最高,適合願付高額費用的大型企業或內部團隊

從 Kubernetes 規模極限來看(參考官方大型叢集指引與 sig-scalability 測試門檻):

若對上萬客戶採取 Silo 模式的「一客戶一 namespace」,每個租戶 namespace 都要備妥一整套隔離設定(Role、RoleBinding、Quota、LimitRange、NetworkPolicy、PSA),再加上工作負載(Deployment、Service、Ingress、ConfigMap、Secret、Pod),單一客戶即產生 15 至 20 個 API 物件。

以單一客戶 15 至 20 個物件估算,上萬客戶會產生約 150,000 至 200,000 個 API 物件,觸及甚至突破官方測試基準,並對 etcd 儲存與 API server 的 List/Watch 造成可觀壓力。

在業界實務中,以 Shopify 為例:它服務上百萬商家,其多租戶架構核心落在資料庫層水平分片與共用應用叢集;Kubernetes 僅負責大規模微服務的彈性排程,而非為每個商家劃分 namespace。

 +------------------------------------------------------
 | Multi-tenancy Community Tooling
 |
 |  - Capsule (CNCF)
 |    聚合多個 Namespaces(CRD)
 |  - vcluster (vCluster Labs)
 |    Virtual API Server in Pod
 +------------------------------------------------------

社群開源的多租戶工具,主要解決哪些問題?


五、架構收斂判準:GoodShop 該怎麼選

綜合信任邊界、規模極限與維運成本,多租戶架構的選擇可歸納為三大判準:

 決策樹:
 內部團隊(soft)或外部客戶(hard)?
   |
   +-- Internal Teams  --> Namespaced 5-piece Toolkit
   |
   +-- External Customers
         |
         +-- High Volume (10k+) --> Pool (Shared Store)
         |
         +-- Enterprise         --> Silo (vcluster/VPC)
  1. 判準一:先問信任邊界,再選技術層級。內部團隊採用 Soft 隔離,以 namespace 搭配五件套即可防止誤操作;外部互不信任的客戶若要走硬隔離,應採用虛擬叢集或實體獨立叢集,而非單純仰賴原生 namespace。
  2. 判準二:租戶規模決定 Silo 與 Pool 的落點。Silo 模型的成本隨租戶數線性增加,Pool 模型則享有規模經濟。大量長尾客戶走 Pool 共用模式,少數高單價企業客戶才提供專屬 Silo 部署。
  3. 判準三:K8s 原語管「公平」,應用與資料層管「信任」。ResourceQuota 與 NetworkPolicy 負責資源分配與網路連通性;惡意滲透與資料防護則需由應用層認證、查詢過濾與資料庫分片承擔。

回到 GoodShop 的架構設計:對內,平台組為結帳組與報表組建立各自的 namespace,並落實 RBAC、配額、PSA restricted,以及預設拒絕所有流量(Default Deny)的 NetworkPolicy。

對外,上萬家商店採用 Pool 模型,透過萬用字元 Ingress 接入共用的 storefront 服務,並在資料層按商家分片;針對極少數大型企業客戶,則以付費專屬方案提供 vcluster 或獨立叢集。

釐清這兩層邊界,才能在 Kubernetes 基礎設施與 SaaS 業務架構之間取得最佳平衡。