操作系统内功 · 第 94 篇|CFS bandwidth control:cpu.max 与 throttling

cpu.max 里的两个数字

period 配额分发、任务消耗与 throttled 解冻的流程图

cgroup 的 cpu 控制器有两条控制路径:cpu.weight 管权重,是「软」的——大家都想跑时按比例分配,没人跟你抢时你可以跑满;cpu.max 管配额,是「硬」的——一个周期内跑够了就强制停摆,哪怕 CPU 全闲着。容器编排系统给容器设的 CPU limit 就是后者的封装:Kubernetes 里 limits.cpu: "2" 最终落到 cgroup v2 的 cpu.max 上,写作「200000 100000」。

这两个数字的含义要从内核的记账单位读起:前者是每个周期的运行时配额(单位微秒),后者是周期长度(单位微秒,默认 100000 即 100ms)。cpu.max 为 200000/100000 的直译就是:每 100 毫秒窗口里,这个 cgroup 里的所有任务合计最多消费 200 毫秒的 CPU 时间——即两个核的满负荷。注意「所有任务合计」这个限定语:配额是 cgroup 级的池子,不是每个线程各得一份;cgroup 里 20 个线程共享一个账户,谁抢到谁花,花完集体停。cgroup v1 时代这对参数拆在两个文件里(cpu.cfs_quota_us 与 cpu.cfs_period_us),v2 合并成 cpu.max 一行,机制本体未变。

Kubernetes 的换算公式值得背下来:limits.cpu 的值乘以 100000 得到配额微秒数,周期固定 100000。于是 limits.cpu 为 0.5 的容器,cpu.max 就是 50000/100000;不设 limit 时 v2 语境下配额字段写成字面量 max,即不启用带宽控制。v1 到 v2 的迁移手册也很直白:cpu.cfs_quota_us 的值进 cpu.max 的第一个字段,cpu.cfs_period_us 的值进第二个字段,语义零变化——运维视角里 v2 只是把两个文件合成一行,读账本的 cpu.stat 三个字段名里,v1 的 throttled_time(纳秒)在 v2 改名为 throttled_usec(微秒),做监控看板迁移时注意单位换算。

sequenceDiagram
    participant K as 带宽控制器(per cgroup)
    participant P as 运行时账户池
    participant C as 各 CPU 上的 cfs_rq
    participant T as cgroup 内任务

    Note over K: 每个 period 开始
    K->>P: 重新注入配额(如 200ms)
    loop 任务运行期间
        C->>P: 从池里申领一小片 runtime(约 5ms)
        P-->>C: 发放分片
        T->>C: 在分片内跑
    end
    alt 池子提前耗尽
        C->>K: 申领失败,池已空
        K->>T: 把 cfs_rq 上的任务全部摘下(throttled)
        Note over T: 整组停摆,CPU 即便空闲也不跑
        Note over K: 下一周期边界
        K->>P: 重新注入配额
        K->>T: 解冻,任务重新入队
    end

运行时账户怎么记账

内核为每个设置了配额的 cgroup 维护一个运行时账户(cfs_bandwidth 结构):记录本周期剩余 runtime、周期计时器与 throttled 状态。任务真正跑起来之前,所在 CPU 的 cfs_rq 必须从池里申领运行时;申领不是逐微秒进行,而是按片批发——内核把配额切成约 5ms 一片(可经 /proc/sys/kernel/sched_cfs_bandwidth_slice 调整的内核参数,默认 5ms)发给各 CPU,各 CPU 在自己领到的片里随便跑,跑完再领。

分片制是并发正确性与性能的折中:如果每个任务每次调度都去碰全局池,高并发下池子那把锁会成为新瓶颈;如果整周期一次性把配额平分给各 CPU,部分 CPU 跑不满时会浪费配额(没花出去的 runtime 要等周期结束才归还)。5ms 片的意义正在于此——浪费上限被钉在「每 CPU 最多 5ms」,锁竞争被摊薄到「每 5ms 一次」。这些记账全部发生在调度路径上,对任务透明;你能看到的只有 cpu.stat 里的结果数字。

配额与周期的相对大小还决定了一种容易误读的语义:并行核数的硬上限是「quota 除以 period」向下取整的并行度——quota 等于 period 的整数倍 N 时最多 N 核并行,quota 小于 period 时连单核都跑不满整周期。反过来,多个 cgroup 的配额之和超过物理核数是完全合法的(甚至常见),这正是超卖——但带宽控制不做预留,超卖的两个容器互相抢物理核时,谁先花掉自己的配额谁先受益,另一个就可能在真实瓶颈上被自己的配额雪上加霜。配额解决「不能超过多少」,预留与隔离解决「至少保证多少」,后者要靠 cpuset 或独立的资源池方案,两者别混为一谈。

throttled 现场:任务被摘下 CPU

池子提前耗尽的瞬间,调度器把该 cgroup 在所有 CPU 上的 cfs_rq 标记为 throttled,队列上的任务整体摘下——不是降速、不是加权,是整组停摆。此刻该 cgroup 的表现是:进程还活着、还在睡眠与可运行状态间切换、网络还在收发,但没有任何线程获得 CPU,即使宿主机上其他核全部空闲。这是带宽控制与权重调度最本质的分野:权重只在你争我抢时起作用,配额在你抢都不抢时也能把你按住。

停摆会持续到下一个周期边界。内核为每个 cgroup 挂一个周期计时器(hrtimer),到点时重新注入配额并解冻各 CPU 的 cfs_rq,任务重新入队,从停摆到恢复的额外等待最坏接近一个完整周期——默认配置下就是接近 100ms。cpu.stat 提供三个直接可读的观测字段:nr_periods(经历过的周期数)、nr_throttled(发生过停摆的周期数)、throttled_usec(累计停摆时长)。三行读法:nr_throttled 除以 nr_periods 得到停摆频率,throttled_usec 除以 nr_throttled 得到平均每次停多久——前者看设计问题,后者看体感严重度。

长尾延迟的解剖:100ms 的墙

现在可以正面回答一个高频面试题:容器明明限了 2 核,为什么 P99 会出现 200ms 级的毛刺?拆解一条典型链路。一个 Web 服务被限 2 核(200000/100000),某一瞬间并发突增:100ms 窗口内 10 个线程同时活跃,池子被迅速花光——第 40ms 就耗尽配额。此刻正在处理中的请求线程被当场摘下 CPU,它在停摆的 60ms 里什么都做不了;下一个周期开始它复活,但期间到达的新请求排队,这些请求的延迟叠了整整一层的停摆时长。更糟的是停摆还会打断内部协程:正在拿锁的线程被摘下,锁的等待链全部冻结,恢复后还要补一波排队。

停摆还有两个次生效应把延迟拉得更深。一是放大抖动而非平均变慢:负载平稳时池子花得精打细算,停摆集中在流量尖峰时刻,P50 几乎无感而 P99 直接翻倍——这就是限核服务延迟分布「双峰化」的机制来源。二是与内核线程的联动:停摆的是 cfs_rq 上的任务,但该 cgroup 状态的推进(比如它的周期计时器)由内核代办,业务线程与内核的协作点(每 CPU 的 kworker 转交、RCU 回收等待)在极端情况下也会感受到配额节奏——低延迟场景里这些残留路径是排查「明明没到配额还有毛刺」时最后的嫌疑人。

「限 2 核」给业务的真实承诺比想象中脆弱:它保证的是平均吞吐上限(每 100ms 最多 200ms 时间),不保证任何单次操作的延迟。100ms 的 period 是这面墙的砌块厚度——周期越长停摆越久,周期越短停摆越频繁(记账开销上升)。业界反复验证过的实践是:对延迟敏感服务,要么不设 limit 只设 weight/request(保证不硬停摆),要么把 quota 设得足够高于常态用量(只拦截真正的失控),而不是精确卡在业务均值上。

与 GC 的化学反应

配额与运行时的自我调节机制叠加,会产生 1 加 1 远大于 2 的放大效应,最著名的是 Go 的案例。Go 的 GC 靠后台 mark worker 消耗 CPU 换取堆增速控制:默认把约 25% 的核力投给 GC。当容器配额紧张时出现死循环式互动——业务线程把配额花光,GC worker 与业务线程一起被停摆,停摆期间堆继续增长,增长唤醒更多 GC 劳动,恢复后所有线程一起扑上去又把配额瞬间烧穿,nr_throttled 飙升、P99 崩塌。Uber 团队的 automaxprocs 库因此成为 Go 服务上容器的标配:启动时读 cgroup 配额把 GOMAXPROCS 收敛到配额对应的核数,避免几十个 OS 线程去抢一个 2 核的池子。JVM 的 GC 线程数同理。这类问题的排查信号非常特征化:cpu.stat 里 nr_throttled 比例高,同时 GC 频率异常上升,两者互为因果。

burst 与调参建议

较新的 5.x 内核(5.14 起)给 cpu.max 增加了第三个字段 burst:允许 cgroup 把周期内没用完的配额结转囤积,囤积量不超过 burst 值,高峰期动用存货冲过配额墙。它瞄准的正是毛刺问题——业务负载天然有突发(一次请求触发十几个协程),把瞬间高峰压成停摆代价太高,结转机制让突发用之前闲时段的余粮偿还。burst 不是免费的:囤积会鼓励「平时省着用」的策略性扭曲,调度器也要为结转账户多付记账成本;更实际的风险是多个开了 burst 的 cgroup 同时放量时,物理核数先撑不住——burst 只放宽单组上限,不改变集群层面的资源总量。配置前先确认停摆确实是突发形态(throttled_usec 集中在高峰时段)而非持续性超载,后者给再多 burst 也只是把崩溃推迟一个周期。

调参清单按场景给出。延迟敏感服务:优先取消 limit 改用 weight 与请求配额(Kubernetes 语境下就是去掉 CPU limit 保留 request);必须设 limit 的,quota 至少给到常态峰值的数倍,并把 period 缩短以降低单次停摆上限(period 支持从 1ms 到 1s 的范围,100000 是默认值)。吞吐型批处理服务:limit 按业务 SLA 设,throttled 比例稳定在个位数百分比即可接受,burst 可以省着不用。批处理与延迟敏感混部:把两者放进不同 cgroup,批处理侧用紧配额加低权重,延迟敏感侧高权重无配额——比在同一个 cgroup 里调参有效得多。观测三件套固定为 cpu.stat 的三个字段加业务 P99,缺一不可。另有一个反直觉的提醒:停摆率零也不代表健康——如果配额给得太宽,它只是没被触发的保险丝,并不能证明配置合理;评估带宽控制要看「触发时拦的是不是真失控」,而不是追求零触发。顺带一句时间线:6.6 起调度器本体换成了 EEVDF,但带宽控制这套账户与停摆机制原样保留——它不在调度类的选择逻辑里,而在调度类之上的配额层。

工程现场:一次限核毛刺的复现与验证

复现链路用 cgroup v2 手搭即可,一条 shell 完成:

cd /sys/fs/cgroup
mkdir demo && echo "+cpu" > cgroup.subtree_control
# 限 1 核:每 100ms 周期最多跑 100ms
echo "100000 100000" > demo/cpu.max
# 把负载进程放进去
echo $$ > demo/cgroup.procs
# 跑一段多线程压力后看账本
cat demo/cpu.stat

cpu.stat 里 nr_throttled 的比例就是毛刺频率的直接读数。生产集群上的等价证据链在监控体系里现成可得:cAdvisor 暴露的容器指标里就有按周期计的停摆计数与停摆时长(container_cpu_cfs_throttled_periods_total 与 container_cpu_cfs_throttled_seconds_total 这两个名字),Prometheus 查询里把停摆周期数除以周期总数就是停摆率,按容器聚合后直接做进大盘。给一个 python 探针,量化「被摘下 CPU」的体感——测调度间隙的最大值:

import time

LIMIT_NS = 50_000_000   # 单次调度间隔超过 50ms 记为毛刺
worst = 0
t = time.monotonic_ns()
for _ in range(200000):
    now = time.monotonic_ns()
    gap = now - t
    t = now
    worst = max(worst, gap)
print(f"max scheduling gap: {worst/1e6:.1f} ms")

把探针进程放进不限配额与限 2 核的 cgroup 各跑一次,后者 max gap 出现接近 100ms 的读数就是 throttled 的现场证据。生产上同样的证据链来自 kubelet 暴露的 cgroup 指标加应用侧 P99 的时间对齐:毛刺时刻与 nr_throttled 的跳变完全同相,即可定案。

一眼收束

cpu.max 的两个数字定义了「每 100ms 最多跑多久」的硬约束,配额按约 5ms 的分片批发给各 CPU,耗尽即整组停摆到下一周期——这就是容器限核的完整真相。三句话带走:limit 保证吞吐上限而不是延迟,P99 毛刺的第一嫌疑人是 throttling;查 cpu.stat 的 nr_periods、nr_throttled、throttled_usec 三个字段定案;延迟敏感服务要么去 limit 用权重,要么把 quota 留足余量,Go 服务记得 automaxprocs。配额是刀刃向内的纪律工具,用在批处理上锋利,用在延迟敏感服务上容易自伤。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?