操作系统内功 · 第 113 篇|CPU 隔离:isolcpus、nohz_full 与 rcu_nocbs

谁在你的核上跑步

CPU 隔离三层递进机制图

把一个延迟敏感的线程钉到专用核上(taskset 或 cpuset 绑核,本系列讲 cpuset 时拆过绑定语义),然后测它的抖动——你会惊讶于结果:哪怕整个核只有这一个线程在跑,每隔一段时间还是会出现几十微秒级的停顿。停顿的来源不是业务,是内核本身:每 4 毫秒一次的调度时钟中断会打断它,RCU 宽限期回调可能点名它执行,工作队列的 kworker 随时被派到这个核上,网卡中断没绑走的话 softirq 也在它头上处理。内核不是一个安静的房客,它按自己的节拍在所有核上定期打扫。

CPU 隔离是一套把这些打扫动作按层赶走的机制。它不是单一开关,而是三层递进的组合拳:第一层把核从调度器的负载均衡里摘除,让别的任务不再被摊派过来;第二层让时钟停止打扰,核上的唯一任务跑多久都不被定时打断;第三层把内核的周期性债务(RCU 回调)记账到别的核去还。三层全开之后,一个核在理想状态下接近「只有你的线程在跑」。DPDK、低延迟交易、实时音频这类场景把这三层当标配,本篇拆解每一层的机制、参数与验收方法。

flowchart TD
    A["目标:专用核上只有我的线程"] --> B["第一层:isolcpus / cpuset partition<br/>从调度器负载均衡摘除核"]
    B --> C["普通任务永远不会被<br/>摊派到这些核上"]
    C --> D["第二层:nohz_full<br/>单任务运行时停掉周期 tick"]
    D --> E["时钟中断接近消失<br/>残留每秒约一次边界 tick"]
    E --> F["第三层:rcu_nocbs<br/>RCU 回调委托给 rcuo* 内核线程"]
    F --> G["回调线程固定在<br/>housekeeping 核上执行"]
    G --> H{"验收:osnoise 追踪"}
    H --> I["残留噪声清单:<br/>未绑走的中断、TLB shootdown IPI、<br/>per-CPU kworker、看门狗"]
    I --> J["逐项封堵后<br/>抖动进入个位数微秒"]

第一层:从调度器里摘核

隔离的地基是让调度器不再把这些核当成可以随便安置任务的地方。传统手段是内核启动参数 isolcpus:isolcpus=domain,managed_irq,4-7 把 4 到 7 号核从调度域里摘除——负载均衡的候选集里没有它们,普通任务(哪怕数量爆炸)永远不会被主动调度上来。摘除的语义只针对「调度器派活」,不禁止显式绑定:你自己 taskset 过去的任务照常在隔离核上跑,这正是「专用核」的用法——进出全靠手工,内核不再代管。

现代内核给这条路提供了更灵活的替代:cgroup v2 的 cpuset 分区。给一个 cgroup 组写 cpuset.cpus.partition 为 isolated(内核较新版本支持),这组核就动态地被摘出调度域——不用改启动参数、不用重启,运行期就能划走或收回。分区机制还解决了 isolcpus 的一个老问题:隔离核集合一旦写死就不能变,而分区是可逆的。新平台优先用分区,老内核才落到 isolcpus;两者择一即可,混用反而容易把隔离语义搅乱。

分区还有一条纪律:子分区要求父分区先把状态设为 root,层层向下才能继续划 isolated——整棵 partition 树从根开始逐级授权。落地脚本里常见的失败(写 isolated 后 partition 文件回显 invalid)多半是这条纪律没满足,或者划分的核与兄弟组的 cpuset 重叠。读 partition 文件的回显内容就是排错入口,内核会把失败原因写回这个文件。

注意摘核不等于那组核空闲了——内核线程与中断仍然会去它们那里。第一层只是挡住了「调度器指派」这一条最大的噪声管道,真正的安静要靠后两层。

第二层:nohz_full,让时钟闭嘴

内核的周期时钟(tick)按固定频率在所有核上响起,驱动调度器的时间片计量、统计与各种周期工作。具体一点,tick 每响一次要做的事包括:推进调度时间片与负载统计、触发定时器到期处理、维持 RCU 的宽限期记账、刷新各种内核统计计数。对一个只想跑一个线程的核来说,这些都是打扰:每 4 毫秒一次的中断进入、退出与缓存扰动,对微秒级延迟目标来说是巨款。nohz_full=4-7 声明这组核为「adaptive tickless」:当核上只有一个可运行任务时,内核把周期 tick 停掉,任务可以不被定时打断地长跑。

顺带解释配套的 boot 参数语义。新内核趋向用统一的 housekeeping= 参数声明「干活核集合」,隔离核集合由它反推(比如 housekeeping=cpuset,rcu,timer,4-7 的反面),语义与老的三个参数等价但书写统一。无论用哪种写法,核心概念都一样:内核把「周期性工作」的执行位置绑定到 housekeeping 核集合,隔离核从所有周期性工作的目标名单里除名。理解了这个概念,后面第三层的 rcu_nocbs 就只是这个原则在 RCU 子系统上的具体应用。

第二层:nohz_full,让时钟闭嘴

内核的周期时钟(tick)按固定频率在所有核上响起,驱动调度器的时间片计量、统计与各种周期工作。对一个只想跑一个线程的核来说,tick 是纯粹的打扰:每 4 毫秒一次的中断进入、退出与缓存扰动,对微秒级延迟目标来说是巨款。nohz_full=4-7 声明这组核为「adaptive tickless」:当核上只有一个可运行任务时,内核把周期 tick 停掉,任务可以不被定时打断地长跑。

停 tick 有一个不可消除的残留:内核自己的账期仍要按节拍结——RCU 宽限期的推进、看门狗与统计的底线检查,靠每秒一两次的边界 tick 维持。所以 nohz_full 的准确语义是「把每秒 250 次的打扰压缩到接近每秒一次」,而不是零打扰;宣称完全无 tick 的理解会误导抖动预算。配套地,这类核通常同时关掉 NMI 看门狗(nmi_watchdog=0 或对该核单独关),让少得可怜的边界中断再瘦一圈。

nohz_full 依赖一个隐含前提:核上「只有一个可运行任务」。第二个任务一出现(哪怕是一个漏绑的 kworker 挪了进来),tick 立即恢复全速。这解释了为什么 nohz_full 必须与第一层隔离配合使用——没有摘核,随时会有不速之客让时钟复通,隔离形同虚设。

第三层:rcu_nocbs,把债务记到别的核

RCU 的宽限期结束后,等待回收的回调要在本地 CPU 上执行——这是每个核都背着的内核债务。回调堆积多、执行重的核会周期性被 RCU 回调打断,哪怕它正在 nohz_full 模式里安静长跑。rcu_nocbs=4-7 把这组核的 RCU 回调卸载(offload):回调不再原地执行,而是记账给专门的内核线程(rcuop/rcuos 系列),这些线程被固定在 housekeeping 核上——隔离核只留债条,还债动作全在隔壁完成。

三层叠加后的理想状态是:隔离核上没有调度器指派、没有周期时钟、没有 RCU 原地还债。但工程上还要逐项清点漏网之鱼,这就是残留干扰清单的价值所在。

残留干扰清单与封堵手段

中断是第一项。硬件中断的亲和性必须显式绑到 housekeeping 核:/proc/irq/*/smp_affinity(第 71 篇拆过掩码语义),irqbalance 这类自动化守护进程要配置排除隔离核,否则它会好心地把中断又摊回来。第二项是工作队列:unbound 工作队列的全局默认亲和性可用 /sys/devices/virtual/workqueue/cpumask 收到 housekeeping 核,per-CPU 工作队列则无法转移——隔离核被触发本地工作时,kworker 就会在那里出现,只能靠「不在隔离核上做会派活的事」来规避。第三项是 TLB shootdown:同进程其他线程在别的核上 munmap 时,IPI 会打到隔离核要求刷 TLB——这是内核为正确性必须付的账,应用侧的对应纪律是隔离线程所在的进程尽量不做频繁的地址空间变更。第四项是各类 per-CPU 内核线程(kcompactd、per-CPU 的统计工作等),多数可通过 sysctl 与配置引导到 housekeeping 核,个别只能接受。

清点这张清单有个实用的次序:先用 osnoise 抓到噪声样本,再按样本的来源特征对号入座——固定频率出现的查 tick 与看门狗,突发成簇的查工作队列与 RCU,与某进程活动强相关的查 TLB shootdown 与驱动中断。没有清单直接开调,很容易把「本来已经安静」的项反复折腾而漏掉真正的噪声源。这张清单本身也是一份内核行为学习地图:每一项背后都是一个子系统的工作方式,追完一轮,对「内核平时都在忙什么」的理解会扎实一大截。

从 cmdline 到验收

一套完整的落地命令,从启动参数到验收可以直接照抄:

# /etc/default/grub 里的 GRUB_CMDLINE_LINUX:
# isolcpus=domain,managed_irq,4-7 nohz_full=4-7 rcu_nocbs=4-7

# 重启后核对三层的生效状态
cat /sys/devices/system/cpu/isolated    # 4-7
cat /sys/devices/system/cpu/nohz_full   # 4-7
cat /sys/devices/system/cpu/cpu4/rcu_nocbs 2>/dev/null || \
  grep -E 'rcu_nocbs' /proc/cmdline

# 把任务钉进隔离核(DPDK 场景由 EAL 参数代劳)
taskset -c 4-7 ./low_latency_app

# 收尾:中断与 unbound 工作队列绑到 housekeeping 核
for irq in $(grep -v . /proc/irq/*/default_smp_affinity >/dev/null 2>&1; \
             echo /proc/irq/[0-9]*); do
    echo 0f > $irq/smp_affinity 2>/dev/null
done
echo 0f > /sys/devices/virtual/workqueue/cpumask 2>/dev/null

验收用 osnoise 追踪器——它是内核专门为「找出隔离核上的残留噪声」造的工具,把每次打断隔离核上任务的事件记录成噪声样本:

cd /sys/kernel/tracing
echo osnoise > current_tracer
echo 1 > tracing_on
sleep 10 && echo 0 > tracing_on
cat trace | head -20     # 每条噪声样本带来源与时长

运行十分钟没有 osnoise 样本(或噪声总量低于预算),才算验收通过。配套的 timerlat 追踪器则从应用视角测「定时唤醒的实际延迟」,两者结合能把残留问题精确定位到具体来源。老机器没有 osnoise 的话,cyclictest 是替代品,只是分辨率与归因能力都差一截。

工程场景两则

场景一:DPDK 数据面。 DPDK 的标准部署就是三层隔离的教科书案例:PMD 线程独占核轮询网卡(不睡、纯轮询),任何 tick 打断都是丢包风险。落地时 isolcpus 摘核、nohz_full 停钟、rcu_nocbs 卸债,再把网卡队列中断绑到控制面核,osnoise 验收清零。DPDK 文档把这些列为性能调优的前置项,顺序错了后面的优化全是空谈——隔离不干净,轮询线程被一次 50 微秒的打断就能把尾延迟打到不可接受。

场景二:交易网关的长尾治理。 某低延迟系统的 P99 稳定优秀但 P99.9 时不时冒刺,CPU 利用率却不高。用 osnoise 抓到噪声样本集中在每秒一次的 tick 边界(nohz_full 没开)与 RCU 回调窗口(rcu_nocbs 没开)——隔离只做了第一层。三层补齐后 P99.9 抖动下降了一个数量级。这个案例的通用教训是:CPU 利用率低与抖动低是两回事,利用率是均值口径,抖动是尾部口径;均值口径健康掩盖不了尾部口径的问题,隔离的验收必须用尾部指标。

收束

CPU 隔离的机制骨架三层分明:isolcpus 或 cpuset partition 把核摘出调度域,nohz_full 把周期 tick 压到每秒一两次的边界残留,rcu_nocbs 把 RCU 回调债务转移到 housekeeping 核。三层是一个整体,缺一层就漏一条噪声管道;落地的纪律是「参数三层齐配、中断与工作队列显式绑定、osnoise 十分钟清零验收」。最后提醒一句方向感:隔离是给极少数核的特权,不是给全部核的处方——一台机器上 housekeeping 核越少,剩余核的工作越重,隔离核受间接影响的概率越高。低延迟部署的正确姿势永远是「少数专用核极致安静,多数通用核正常干活」。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?