Container Runtime 入門(下):實戰篇

在 Part 1 原理篇中,我們建立了三個關鍵觀念:容器是受 namespaces 與 cgroups 限制的普通 Linux process、Runtime 拆分為高階(containerd)與低階(runc),以及 Kubernetes 透過 CRI 與 Runtime 溝通。

如果說原理篇回答「它是什麼」,實戰篇則聚焦維運核心問題:「出事時怎麼查,平日要怎麼正確設定?」

本文整理了雲原生工程師在生產環境中最常遭遇的六大實戰主題:

  1. cgroup v2 與 cgroup driver 統一機制:為什麼 K8s 1.35 預設拒絕 v1?為什麼 driver 不一致會讓節點不穩定?
  2. K8s 資源限制如何落到 Linux 核心:limits 如何變成 memory.max 與 cpu.max?OOMKilled 與 CPU throttling 的底層真相。
  3. 節點故障排除實戰:當節點沒有 Docker 指令時,如何用 crictl 與 journalctl 精準定位 ImagePullBackOff 與 CrashLoop。
  4. containerd 核心設定實務:避開 containerd 1.x 與 2.x 的設定語法斷層,搞定 SystemdCgroup、私有 Registry 與 pause 映像。
  5. runc 逃逸漏洞與 RuntimeClass 沙盒隔離:從 CVE-2019-5736 到 Leaky Vessels 的安全教訓,以及如何設定 gVisor 與 Kata Containers。
  6. macOS 容器的本質:為什麼 Mac 上的容器一定跑在虛擬機器裡?解析 I/O 緩慢與跨架構模擬的架構根源。

cgroup v2 與 cgroup driver 統一機制

cgroup v2 已成為現代 Kubernetes 的硬性標準

cgroups(Control Groups)負責限制 process 的資源額度。近年主流 Linux 發行版多半已從 v1 改為預設採用 cgroup v2:

面向cgroup v1cgroup v2
目錄結構每種資源(CPU、Memory 等)各自獨立一棵樹所有資源共用單一階層樹狀結構
記憶體計算各子系統分開計算,漏算 kernel memory、網路 buffer 等統一計算,完整計入 page cache 回寫等延遲用量
壓力指標無原生統一指標提供 PSI(Pressure Stall Information,工作因等不到 CPU、記憶體或 I/O 而停滯的時間占比)精準反映資源瓶頸
Kubernetes 狀態1.31 進入維護模式,1.35 起正式 deprecated1.25 起正式 GA

最重要的版本分水嶺是:從 Kubernetes 1.35 開始,kubelet 預設拒絕在 cgroup v1 節點上啟動。

雖然目前可在 kubelet 設定檔中將 failCgroupV1 設為 false 來暫時略過檢查,但這只是過渡手段,v1 支援終將依 deprecation 政策移除。要完整啟用 cgroup v2,環境必須滿足四項條件:

檢查節點所屬世代只需一行指令:

stat -fc %T /sys/fs/cgroup/
# 輸出 cgroup2fs 代表 cgroup v2
# 輸出 tmpfs     代表 cgroup v1

cgroup driver 的核心爭議:誰才是資源帳本的唯一管理者?

kubelet 與 container runtime 都需要操作 cgroup,其操作途徑稱為 cgroup driver:

在以 systemd 作為 init system 的 Linux 系統中,systemd 本身就是頂層的 cgroup 總管,負責為每個 systemd unit 配置 cgroup。若此時 kubelet 與 runtime 又以 cgroupfs 直接寫入檔案,同一台機器上就會存在「兩位管理者各自記帳」的衝突。

Kubernetes 官方文件指出,這種節點在資源吃緊時會變得不穩定。因此,Kubernetes 官方在 Container Runtimes 規範中明確要求:systemd 系統一律採用 systemd driver,cgroup v2 也必須使用 systemd driver。

driver 設定不一致的代價

在傳統手動設定或舊版 Kubernetes 中,kubelet 採用 systemd 而 containerd 採用 cgroupfs(或反之)時,官方文件記載了兩大症狀:

  1. 節點不穩定:在資源負載升高時,kubelet 的驅逐邏輯與 runtime 資源限制互相衝突。
  2. 重啟不一定能修復的 Sandbox 異常:在運作中的節點上切換 driver,重建舊有 Pod 的 sandbox 時可能出錯。官方建議的做法是以正確設定重新建立節點,而非就地修改。

此外,社群中常見的回報是:控制平面的 static Pod(如 etcd、kube-apiserver)週期性異常重啟。

這是因為 kubelet 本身作為 systemd unit 運作,預期 static Pod 掛在 systemd 管理的 cgroup 階層下;若 containerd 以 cgroupfs 建立了另一套路徑,kubelet 便無法確認這些 process 的健康狀態,誤把它們當成失去回應而反覆重啟。

追查到最後,往往正是因為 containerd 設定檔中的 SystemdCgroup 仍維持預設的 false。

KubeletCgroupDriverFromCRI:自動對齊 driver

為了避免手動設定不一致,Kubernetes 推出了 KubeletCgroupDriverFromCRI 功能:

這項機制改變了查修焦點:在搭配 containerd 2.x 的新版節點上,決定權在 containerd 設定檔中的 SystemdCgroup。即便 kubelet 自動對齊,若 containerd 本身設錯為 false,整個節點依然會退回不建議的 cgroupfs 模式。


K8s 資源限制如何落到 Linux 核心

從 YAML 到 kernel 的翻譯之路

當我們在 Pod 定義中寫下資源設定:

resources:
  requests:
    cpu: 250m
    memory: 128Mi
  limits:
    cpu: 500m
    memory: 256Mi

這些限制並非由 Kubernetes 親自執行,而是沿著呼叫鏈逐層傳遞到 Linux 核心:

  1. Pod YAML
  2. CRI: CreateContainercontainerd
  3. OCI: config.jsonrunc
  4. 寫入虛擬檔案系統/sys/fs/cgroup/...
  5. Linux Kernel 執行強制限制

在 cgroup v2 節點上,各欄位對應的底層核心 cgroup v2 檔案如下:

YAML 欄位cgroup v2 檔案核心實際行為
limits.memory: 256Mimemory.max = 268435456硬性上限,記憶體耗盡且無法回收時觸發 OOM Killer 強制終止(kill)process
requests.memory: 128Mi供排程器決策供 Kubernetes 計算節點容量配置,不對應單一核心硬性限制
limits.cpu: 500mcpu.max = 50000 100000以 100ms 為週期,該容器最多只能使用 50ms CPU 時間,超額則暫停
requests.cpu: 250mcpu.weightCPU 競爭時的相對權重比例,非絕對上限

記憶體耗盡:OOMKilled 與 Exit Code 137

記憶體是無法「延後給予」的剛性資源。一旦容器使用的記憶體達到 memory.max 且無法透過 page cache 回收釋放,Linux 核心偵測到記憶體壓力時便會傳送 SIGKILL 終止 process。

透過 kubectl describe pod 觀察到的典型狀態:

 Last State:     Terminated
   Reason:       OOMKilled
   Exit Code:    137
 Restart Count:  3

Exit Code 137 即為 128 + 9(訊號 9 為 SIGKILL)。在此有兩個實務觀念必須釐清:

CPU 超額:Throttling 的隱形延遲代價

與記憶體不同,CPU 是可以延後給予的彈性資源。當容器消耗的 CPU 超過 cpu.max 時,核心不會終止程式,而是實施 Throttling(節流),將 process 凍結至下一個時間週期。

Linux CFS(Completely Fair Scheduler,核心分配 CPU 時間的排程機制)預設以 100ms(100,000 微秒)為週期;配額 500m 代表 0.5 顆 CPU,等於在每 100ms 內最多可使用 50ms 的 CPU 運算時間。

如果一個多執行緒應用程式在 4 顆 CPU 上同時滿載運算,每過 1ms 實際上會消耗 4ms 的配額。這意味著只需 12.5ms 即可將 50ms 的配額全數耗盡,在該週期剩餘的 87.5ms 內,所有執行緒都將被核心強制暫停。

這導致了一種極具迷惑性的效能問題:監控圖表上的 CPU 使用率看似僅有 50%,但 API p99 延遲(99% 請求的回應時間均低於此門檻)卻出現數十毫秒的劇烈抖動。

實戰查修:直接讀取節點 cgroup 檔案

在 cgroup v2 節點上,可透過以下指令親眼驗證核心層級的配額狀態:

# 1. 取得容器 ID 與節點上的主機 PID
crictl ps --name <容器名稱>
crictl inspect <容器ID> | rg '"pid"'

# 2. 檢視該 PID 所屬的 cgroup 路徑
cat /proc/<PID>/cgroup
# 輸出範例:0::/kubepods.slice/kubepods-burstable.slice/kubepods-burstable-pod<uid>.slice/cri-containerd-<id>.scope

# 3. 讀取限制數值與運作指標
CG=/sys/fs/cgroup$(cut -d: -f3 /proc/<PID>/cgroup)
cat $CG/memory.max        # 顯示 268435456(即 256MiB)
cat $CG/cpu.max           # 顯示 50000 100000(即 500m)
cat $CG/memory.events     # oom_kill 大於 0 代表曾發生 OOM 事件
cat $CG/cpu.stat          # nr_throttled 與 throttled_usec 增加代表正遭受節流

路徑中的 .slice 與 .scope 代表節點採用 systemd driver;burstable 則反映該 Pod 的 QoS 分級(Kubernetes 依 requests 與 limits 設定,將 Pod 分為 Guaranteed、Burstable 與 BestEffort 三級)。


節點故障診斷實戰

節點診斷工具定位:crictl 的核心地位

在移除 dockershim 後,現代 Kubernetes 節點上已不再提供 docker CLI。維運人員必須掌握三種工具的定位差異:

  1. 維運人員 / SRE
    1. crictl透過 CRI Socket 與 containerd/CRI-O 溝通(與 kubelet 同視角)
    1. ctr直接與 containerd 內部 gRPC 溝通(底層除錯專用)
    1. nerdctl提供類似 Docker CLI 的操作體驗(本機開發與測試)

crictl(隸屬於 cri-tools 專案)是節點維運的首選工具,其版本號碼與 Kubernetes 維持同步。設定檔位於 /etc/crictl.yaml:

runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock

核心查修指令速查

指令實務用途
crictl pods列出節點上的所有 Pod Sandbox
crictl ps -a列出所有容器(務必加 -a,否則看不到剛終止的容器)
crictl logs <容器ID>讀取容器輸出(加 --previous 可讀取前一次崩潰的記錄檔)
crictl inspect <容器ID>查詢容器完整狀態,包括 host PID、Exit Code、掛載與映像 digest
crictl inspectp <PodID>查詢 Pod Sandbox 網路狀態與 IP 設定
crictl images / crictl pull驗證節點層級能否正常拉取映像
crictl info檢視 Runtime 運作狀態與 CNI 網路就緒狀態
journalctl -u containerd檢視 container runtime 系統記錄
journalctl -u kubelet檢視 kubelet 系統記錄

查修 SOP 一:Pod 停留在 ImagePullBackOff

當 Pod 無法拉取映像時,請遵循以下除錯階梯:

  1. 1. kubectl describe pod確認錯誤原因(404 Not Found / 401 Unauthorized / 連線逾時)
  2. 2. 登入節點執行 crictl pull排除 K8s 排程干擾,測試節點與 Registry 的直連能力
  3. 3. 節點拉取亦失敗檢視 journalctl -u containerd(檢查 DNS、TLS 憑證與 Proxy);檢查 /etc/containerd/certs.d/ 設定(詳見下一章)
  4. 4. 節點手動拉取成功問題鎖定在 imagePullSecrets(Pod 未正確取得認證憑證)

查修 SOP 二:Pod CrashLoopBackOff 但無應用程式記錄

當應用程式在初始化記錄框架前即崩潰,kubectl logs 常回傳空值。此時必須進到節點層級,從 Runtime 視角提取核心與 process 資訊:

  1. 鎖定終止容器:執行 crictl ps -a --name <容器名稱> 找出狀態為 Exited 的容器實體。
  2. 分析 Exit Code:執行 crictl inspect <容器ID> 檢視 exitCode 與 reason:
    • 137 + OOMKilled:記憶體超額,需調高 limits.memory。
    • 127:找不到執行檔,多為 Dockerfile 的 ENTRYPOINT 或 CMD 路徑錯誤。
    • 1:應用程式自身輸出錯誤退出。
  3. 提取原始輸出:執行 crictl logs <容器ID> 提取 process 終止前輸出的標準錯誤訊息。
  4. 檢查建立階段失敗:若 crictl ps -a 完全找不到容器,代表容器根本無法建立。請檢視 journalctl -u containerd,搜尋 failed to create 或 failed to start,常見原因包括 runc 建立 cgroup 失敗、磁碟掛載路徑不存在,或 seccomp / AppArmor 攔截了系統呼叫。

查修 SOP 三:節點狀態顯示 NotReady

當節點狀態轉為 NotReady 時,查修核心在於確認是 Runtime 還是 CNI 故障:

  1. 執行 kubectl describe node <節點>,檢查 Conditions 區段的狀態訊息。
  2. 若出現 NetworkPluginNotReady,登入節點執行 crictl info 檢查 RuntimeReady 與 NetworkReady:
    • NetworkReady: false:CNI 套件未安裝,或 /etc/cni/net.d/ 缺乏有效組態(此非 runtime 本身故障,而是 runtime 代為回報網路外掛狀態)。
    • RuntimeReady: false 或無法連線 Socket:執行 systemctl status containerd 與 journalctl -u containerd,檢查 containerd 是否因設定檔格式錯誤而崩潰。

containerd 核心設定實務

containerd 1.x 與 2.x 的設定格式斷層

containerd 2.0 進行了架構重構,設定檔規格升級為 version = 3,並將 CRI 外掛拆分為 io.containerd.cri.v1.runtime 與 io.containerd.cri.v1.images。

若直接將網路上的 1.x 設定範例貼至 2.x 環境,這些設定可能會被忽略,出現「明明改了卻沒生效」的狀況。

containerd --version                   # 確認主版本號
containerd config default | head -5    # 檢視預設設定檔的 version 宣告
containerd config dump                 # 輸出當前系統實際生效的合併設定

此外,部分 Linux 套件安裝的 containerd 會在 disabled_plugins 中預設停用 cri。官方標準流程為:以 containerd config default > /etc/containerd/config.toml 產出基準範本,再進行局部客製化,修改後務必執行 sudo systemctl restart containerd。

設定一:開啟 SystemdCgroup

在 systemd 環境中,必須明確將 runc 的 cgroup driver 切換為 systemd。

containerd 2.x(現代主流,version = 3):

version = 3

[plugins.'io.containerd.cri.v1.runtime'.containerd.runtimes.runc.options]
  SystemdCgroup = true

(註:若仍使用 containerd 1.x,該外掛路徑為 plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options。)

若節點上設定了多個基於 runc 的自訂 runtime 執行環境(詳見後文 RuntimeClass 章節),所有 handler 的 SystemdCgroup 必須保持完全一致。

設定二:私有 Registry Mirror 與自簽憑證

舊版 registry.mirrors 設定已被廢棄。新版架構改為在主設定檔指定 config_path,並在專屬目錄下為各 Registry 獨立建立 hosts.toml。

config.toml 設定(containerd 2.x):

version = 3

[plugins.'io.containerd.cri.v1.images'.registry]
  config_path = "/etc/containerd/certs.d"

(註:containerd 1.x 則設於 plugins."io.containerd.grpc.v1.cri".registry。)

建立 /etc/containerd/certs.d/docker.io/hosts.toml:

server = "https://registry-1.docker.io"

[host."https://mirror.example.internal"]
  capabilities = ["pull", "resolve"]
  ca = "/etc/containerd/certs.d/docker.io/company-ca.crt"

運作重點:

設定三:離線環境的 Sandbox(pause)映像

每個 Kubernetes Pod 均仰賴 pause 容器維繫共用的 Linux namespaces。預設情況下,該映像會嘗試從 registry.k8s.io 下載。在無外網連線的封閉網路中,若未覆寫此設定,所有 Pod 的建立均會失敗。

containerd 2.x:

version = 3

[plugins.'io.containerd.cri.v1.images'.pinned_images]
  sandbox = "registry.internal.example/pause:3.10.2"

(註:containerd 1.x 欄位名稱為 sandbox_image,位於 plugins."io.containerd.grpc.v1.cri" 之下。)

建議透過節點上的 containerd config default 確認該版本 containerd 所預期的 pause 版本,再將對應版本同步至內部私有 Registry。


runc 逃逸漏洞與 RuntimeClass 沙盒隔離

為什麼低階 Runtime 漏洞特別嚴重?

低階 runtime(如 runc)是以主機上的 root 特權身分執行,負責呼叫核心 API 將 process 送入隔離環境。在未啟用 User Namespace 的預設環境下,容器內 UID 0 與主機 UID 0 在核心眼中完全相同。

一旦 runc 出現邏輯漏洞,攻擊者就可能突破 namespace 邊界,取得主機層級的 root 權限。

  1. 容器 Process (UID 0)
  2. runc 執行實體
  3. 漏洞攻擊:突破隔離取得主機 Root主機 Linux 核心 (UID 0: root)

兩大經典逃逸案例與安全教訓

以下兩起重大 CVE 展現了共用核心容器的風險:

近年社群也持續揭露與掛載機制及 /proc 相關的逃逸漏洞(如 2025 年底的 CVE-2025-31133 等);Container Runtime 同樣是需要定期升級與修補的核心基礎設施。

多層防禦與 RuntimeClass 沙盒隔離

面對不可信任的工作負載(如多租戶環境、使用者自訂程式碼),單靠 Linux 核心共享機制防護並不夠。我們需要透過 RuntimeClass 將特定 Pod 導向具備硬體虛擬化或核心攔截能力的沙盒 runtime(如 gVisor 或 Kata Containers)。

  1. Kubernetes Pod
    1. runtimeClassName: runccontainerd-shim-runc-v2
    2. 一般共享核心容器
    1. runtimeClassName: gvisorcontainerd-shim-runsc-v1
    2. Sentry 核心攔截沙盒
    1. runtimeClassName: katacontainerd-shim-kata-v2
    2. 獨立輕量 MicroVM

RuntimeClass 三步驟設定實務

步驟一:在 containerd 中註冊 runtime handler(以 2.x 為例)

version = 3

[plugins.'io.containerd.cri.v1.runtime'.containerd.runtimes.runsc]
  runtime_type = "io.containerd.runsc.v1"

[plugins.'io.containerd.cri.v1.runtime'.containerd.runtimes.kata]
  runtime_type = "io.containerd.kata.v2"

步驟二:在叢集中建立 RuntimeClass 物件

apiVersion: node.k8s.io/v1
kind: RuntimeClass
metadata:
  name: gvisor
handler: runsc
scheduling:
  nodeSelector:
    sandbox.example.com/gvisor: "true"   # 確保僅排程至具備 gVisor 的節點

步驟三:在 Pod YAML 中宣告使用

apiVersion: v1
kind: Pod
metadata:
  name: untrusted-workload
spec:
  runtimeClassName: gvisor
  containers:
    - name: worker
      image: registry.internal.example/untrusted-job@sha256:7f83b...

實務避雷要點:


macOS 容器的本質:Linux 虛擬機器架構

為什麼 macOS 無法原生執行 Linux 容器?

許多維運與開發人員是在 Mac 上開發與本機驗證,但常遭遇「本機測試正常、推到 Kubernetes 節點卻爆出 cgroup 或 OOM 異常」的落差。

重溫 Linux 容器的定義:容器是使用 Linux namespaces 與 cgroups 機制的 Linux process。

macOS 的核心是 XNU,既不具備 namespaces,也不具備 cgroups,更無法直接解析 ELF 格式的 Linux 二進位檔。因此,在 Mac 上執行 Linux 容器的唯一途徑,就是在背景啟動一台 Linux 虛擬機器(VM)。

無論使用 Docker Desktop、OrbStack、Colima 還是 Lima,架構本質幾乎一致:

 +----------------------------------------------
 | macOS 主機 (XNU Kernel)
 |
 |   [ docker CLI / nerdctl ]
 |          |
 |          v  (Unix Socket / Port 轉送)
 |
 |   +----------------------------------+
 |   | Linux VM (Linux Kernel)          |
 |   |                                  |
 |   |   [ dockerd / containerd ]       |
 |   |               |                  |
 |   |               v                  |
 |   |   [ runc ]                       |
 |   |       |                          |
 |   |       v                          |
 |   |   [ Linux container process ]    |
 |   +----------------------------------+
 +----------------------------------------------

你在 Mac 終端機執行的所有 docker 指令,本質上都是透過 socket 轉送給 VM 內的 daemon 處理;掛載的本機目錄與對外開放的 port,也是由虛擬化工具在背後默默進行檔案同步與網路轉送。

虛擬機器架構帶給開發者的五大實務影響

理解中間隔著一台 Linux 虛擬機器之後,就能解釋 Mac 上常見的五個問題:

  1. Volume Bind Mount 效能瓶頸:跨越 VM 虛擬化邊界的檔案 I/O 開銷極大。在包含數萬個零碎檔案的專案(如前端 node_modules 或 PHP 專案)中,磁碟讀寫速度會顯著低於原生 Linux。
  2. 記憶體上限的雙重限制:容器在 Mac 上能用的記憶體,受限於「配置給 VM 的總量」。容器發生 OOMKilled,可能只是 Docker Desktop 資源配額設定過小。
  3. 跨架構 CPU 模擬代價:在 Apple Silicon(arm64)的 Mac 上執行 amd64 映像時需透過 QEMU 或 Rosetta 進行指令翻譯,CPU 密集型任務的效能會明顯下降。
  4. 主機找不到容器 Process:在 macOS 終端機執行 ps aux 無法看見容器內的 process,因為它們全部運作在那台 Linux 虛擬機器裡。若要進行 /proc 或 /sys/fs/cgroup 的觀測,必須透過 colima ssh 或 limactl shell 進入 VM 內部。
  5. 「本機可以跑、上線就壞」的環境鴻溝:Mac 本機是跑在 VM 中的 Docker 環境,線上則是 Kubernetes 節點上的 containerd + runc。兩者的 Linux 核心版本、cgroup 世代、seccomp 預設策略均存在差異,查修線上問題時切忌將本機行為直接等同於線上環境。

延伸學習

建議讀者可搭配以下官方標準與核心文件進一步深化實務技能: