操作系统内功 · 第 96 篇|调度域与负载均衡:PELT 与 NUMA 拉扯

单核挑得好,多核放得歪

SMT/MC/NUMA 三层调度域层级与均衡箭头的架构图

调度类与 EEVDF 解决的是「一个 CPU 上谁先跑」,但一台 64 核两路服务器上还横着另一个问题:任务该落到哪个核。放错了的代价从微秒到毫秒不等——挤进同一个核的超线程排队是几十微秒,跨核迁移丢掉全部热缓存是几十微秒到几百微秒,而跨 NUMA 节点访问远端内存,每次访存延迟直接翻倍。内核用两套互补的机制回答这个问题:调度域(sched_domain)决定「在什么范围内尝试均衡」,PELT 负载信号决定「怎么判断谁忙谁闲」。这两层是所有 CPU 拉扯故事的舞台。

调度域是一棵按物理拓扑搭起来的树:最底层 SMT 域罩住同一物理核的超线程兄弟,往上是 MC 域罩住共享 LLC 缓存的核群,再往上 NUMA 域按节点距离分层(同一插槽内一层、跨插槽一层),最顶层罩全机。每个域带着一组策略标志:SMT 域上均衡偏好「先把兄弟核填匀再填别的核」,MC 域上迁移缓存亲和的代价低、可以更激进,NUMA 域上迁移要付出访存代价、动作保守得多。均衡的方向性也内嵌在域里:不同插槽间负载可能不对称(例如绑了中断的核),相关域会带上非对称打包标志,让空闲任务优先往「少数忙核」上聚拢而不是来回搬。域树按启动时的拓扑信息构建,运行期用 ls /sys/kernel/debug/sched/domains/cpu0/ 能看到某个 CPU 挂的每一层域及其标志(需要 CONFIG_SCHED_DEBUG),这是确认「这台机器内核眼中的拓扑」最直接的窗口。

均衡的两个触发点:变闲时拉一把,定时清一次账

均衡动作挂在两类时机上。第一类是新空闲均衡:CPU 上的任务跑完了、准备进入 idle 的一瞬,调度器先别睡,从最内层域往外逐层看一圈——有没有哪层域里别的核比我忙?有就顺手拉一个任务过来再睡。这是低延迟搬砖的黄金时机,因为此刻本 CPU 无事可做,搬任务的成本完全摊在空闲时间里;但拉空了也白忙,所以内核给每层域记录「上一次空手而归的次数」,连续空转的域会被主动跳过几个周期,防止 idle 边缘的无效扫描把唤醒延迟拖长。第二类是周期均衡:每个 CPU 挂着定时器,按域层级与繁忙程度伸缩的间隔(毫秒量级起步,域越高间隔越长)做一次全盘对账,把负载从重的域匀到轻的域。周期均衡不挑时机、干扰在跑的任务,所以间隔远比空闲均衡长,且单次最多搬 sched_nr_migrate 个任务(默认 32),避免一次大搬家造成缓存雪崩。

两类的共同输入是负载信号。均衡不是数任务个数,而是问「这组核总共还剩多少没被吃掉的容量」:把候选组内所有实体的负载求和,与组容量比较,得出利用率;两边利用率之差超过迁移代价才动手。迁移代价由 sched_migration_cost_ns(默认 500 微秒)参与计算——内核假设任务搬家后要花这么久重新焐热缓存,收益盖不过成本就按兵不动。这个参数还影响唤醒放置:刚睡下不久的任务唤醒时倾向留在原地(睡了不足代价时长就别折腾了),这也是「唤醒亲和」的成本依据。

flowchart TB
    A["CPU 空闲边缘<br>或周期定时器到期"] --> B{"空闲均衡?"}
    B -- 是 --> C["从 SMT 域向上逐层扫描<br>找最忙的候选组"]
    B -- 否 --> C
    C --> D["组利用率差大于迁移代价?<br>PELT 负载对比"]
    D -- 否 --> E["记录空手次数<br>本域降权跳过"]
    D -- 是 --> F["挑最重的可迁移任务<br>搬向轻核<br>单次上限 sched_nr_migrate"]
    F --> G["任务丢缓存重来<br>目标核缓存回填"]
    E --> H["结束"]
    G --> H

PELT:给负载装一个 32 毫秒的记性

均衡的判断质量取决于负载信号的质量,这个信号就是 PELT(Per-Entity Load Tracking)。设计思想:每个调度实体(任务或 cgroup)维护一个几何衰减的累加器,时间被切成约 1 毫秒一段,实体在段内跑满记满值、没跑满按比例记,每过一段历史值整体乘一个小于 1 的衰减因子,衰减快到约 32 毫秒记忆减半。效果是把「最近一段时间的忙碌程度」变成一个平滑数值:任务突然满跑,load_avg 几十毫秒爬到顶;任务突然睡死,几十毫秒滑到零。比「数可运行任务数」好得多——后者对长短任务一视同仁,且瞬时跳变会让均衡器来回抽风。

PELT 有两个孪生口径,工程上必须分清:load_avg 带权重口径,回答「这家伙按权重算占了多少份」,均衡用它对账;util_avg 纯利用率口径,回答「这家伙实际占用了多少 CPU 时间」,选频调压(第 49 篇 cpufreq)与容量判断用它。两个口径分家的典型现场是 nice 19 的低权重任务:util_avg 满格但 load_avg 很低——它确实在跑,但它「理应让路」,均衡不会为它去搬 CPU。还有一个容易踩的暗坑:PELT 累加器跟随时钟推进,队列空了衰减就暂停,这没问题;但 CPU 深度空闲后任务突然到来,util_avg 从低位爬坡需要几十毫秒,这期间选频调压看到的利用率偏低,升频滞后——低延迟场景里这段爬坡期正是「唤醒后前几毫秒跑在低频」的来源之一,江湖偏方 sysctl -w kernel.sched_util_clamp_min 相关的 uclamp 机制正是为此而生:给关键任务钳一个最低利用率,逼着频率立刻就位。

容量不对称:大小核与 EAS 的选修课

均衡逻辑默认所有核等价,但 ARM 的 big.LITTLE 与 Intel 的混合架构(P 核加 E 核)打破了这个前提:同样一毫秒的活,大核与小核的完成量不同。内核用容量(capacity)描述这个差异——每核的相对算力归一到同一标尺,均衡与放置都以「利用率是否超过该核容量」做判断,任务被放到算不动的核上会被判定为「错过拟合」(misfit),触发一次优先级高于一切的专门迁移,把它请回大核。在电量敏感的移动设备上,这套逻辑进一步演化成 EAS(能量感知调度):放置决策不再只看负载,还要查一张由设备厂商提供的能量模型表,在满足性能的前提下选能耗最低的核。EAS 有明确的启用前提——拓扑不对称、能量模型齐全、且没有对调度做过过度绑定(绑核的 cgroup 会让 EAS 失去选择权)。云与服务器场景很少直面 EAS,但混架构客户端设备上跑容器或模拟器时,「负载明明不高却很卡」的怪现象往往就是 misfit 迁移与容量判断在起作用,看 /sys/kernel/debug/sched/domains/ 里带 asym 标志的域即可确认。桌面端的混合架构服务也提醒了一件事:容量不对称机器上的负载百分比没有跨核可比性,一个核 80% 与另一个核 80% 不是一回事,监控大盘要把大小核分开聚合。

NUMA 平衡:把任务和内存拉回一处的代价

两路以上服务器上还叠着一层动态机制:自动 NUMA 平衡。动机朴素——任务在某节点分配了内存,后来被均衡搬到另一个节点,从此每次访存都跨互联链路。内核的做法是在任务调度时定期给自己挂上「NUMA 提示缺页」的标记,缺页处理路径借机统计「这页被哪个节点上的任务摸了」,攒出页与任务的亲疏关系后两头动手:要么把任务迁回内存所在节点,要么把页面迁到任务所在节点(受内存策略与压力约束)。开关是 kernel.numa_balancing,多数发行版默认开启。

代价藏在缺页里。提示缺页是真实的缺页异常:采样率与时限参数控制下,大内存进程要在相当长的时间窗内吃掉一波额外的缺页开销,把地址空间摸一遍。对多数服务这是可接受的一次性学费,但两类负载会翻车:堆极大且访问模式稳定的服务(JVM 大堆、数据库共享缓冲池),几 GB 到几百 GB 的页要被反复统计,缺页风暴期间的延迟毛刺肉眼可见,极端案例里吞吐直接腰斩;另一类是内存被多个节点共享访问的进程(跨节点线程读同一片热数据),迁过去迁回来来回拉锯,页面迁移本身的开销比省下的访存还贵。这两类的处方相同:numa_balancing=0 关掉,靠启动时的 numa 绑定(numactl)或 cgroup 的 cpuset 把任务和内存从一开始就钉在正确的一侧。NUMA 平衡是「不知道谁在哪」时的自动纠偏;一旦你知道,显式绑定永远比自动机制便宜。

迁移成本与容量信号:为什么绑核仍然有效

把三层机制叠起来看,能解释一类经典现象:服务明明核很多,P99 却随负载上升恶化。链条是——负载上升触发周期均衡,任务在核间来回搬家,每次搬家丢掉热缓存,CPU 时间片里有可观比例花在缓存回填;同时唤醒放置受迁移代价约束,睡眠短的任务被钉在忙核上排队,睡眠长的被甩到远端核,唤醒延迟分布拉宽;NUMA 平衡在背后再做页迁移,访存延迟雪上加霜。三个机制各自理性,叠出来的却可能是互相对消的抖动。这正是高密度部署的数据库、行情系统普遍选择 cpuset 绑核的原因:把一组任务钉死在一簇核上,调度域内的均衡依旧工作(域内搬搬家无所谓),跨域的大迁移与跨节点的拉扯被物理切断,抖动源头少了一半以上。

绑核之外还有两个值得记名的旋钮。其一,kernel.sched_schedstats=1 打开调度统计后 /proc/schedstat 给出每 CPU 的均衡次数与不平衡量,均衡器是否在空转一目了然;其二,perf sched record 加 perf sched latency 给出每任务的调度延迟与迁移次数分布,是「任务被谁搬走了、搬完等了多久」的端到端证据。两者配合,能在一个下午内回答「绑核到底值不值」。

工程现场:一次 NUMA 缺页风暴的定位

场景:两路服务器上一台 JVM 服务升级后吞吐掉了三成,CPU 利用率不高,但 perf record 的热点飘进了缺页与页面迁移路径。定位三步走:

# 1. 确认 NUMA 平衡在跑:看开关与缺页采样计数
cat /proc/sys/kernel/numa_balancing
numastat -p <jvm_pid>          # 各节点的命中与远端访问分布

# 2. 确认热点里有迁移与缺页:
perf record -g -p <jvm_pid> -- sleep 10
perf report | grep -E 'native_queued_spin_lock|do_numa_page|migrate'

# 3. 验证法:关掉平衡再压一轮
sysctl -w kernel.numa_balancing=0

关掉后吞吐回升,就坐实了页面在节点间被来回搬运。根治方案不是留个开关了事,而是启动时就 numactl --cpunodebind=0 --membind=0 把实例与堆钉在同一节点,NUMA 平衡从此没有活可干。另一个现场是反向的:一台低延迟网关把线程绑在 isolated 核上,但 perf sched latency 显示唤醒延迟仍偶发数百微秒——最后发现均衡器还在往这组核上试探性拉任务(isolcpus 与 cpuset 配置冲突,隔离不彻底),把 cpuset 修正后归零。这两个现场合起来就是本篇的结论:负载均衡是默认合理的自动机制,但当你比它更懂业务时,用绑定把它的自由裁量权收走。

顺手给一个观察任务迁移的小工具,采样 /proc/<pid>/stat 的当前运行核字段,把一秒钟内的换核次数数出来——数字远超预期就说明均衡器或 NUMA 平衡正在折腾这个进程:

import sys, time

pid = sys.argv[1]
path = f"/proc/{pid}/stat"
last_cpu, hops, seconds = None, 0, 3.0
deadline = time.monotonic() + seconds
while time.monotonic() < deadline:
    fields = open(path).read().rsplit(") ", 1)[1].split()
    cpu = int(fields[31])          # stat 里 processor 字段(自 0 计)
    if last_cpu is not None and cpu != last_cpu:
        hops += 1
        print(f"migration: cpu{last_cpu} -> cpu{cpu}")
    last_cpu = cpu
    time.sleep(0.002)
print(f"hops in {seconds}s: {hops}")

注意处理器字段在 stat 里的位置受进程名括号影响,示例用右括号截断后取字段,是解析 /proc 的通用小技巧。绑定前后各跑一次对比,绑核的收益就从一个模糊的体感变成了具体的换核次数差值。

收束

多核调度的另一半是放置问题:调度域按 SMT/MC/NUMA 分层圈定均衡范围,空闲均衡与周期均衡两个触发点在收益与干扰间取舍,PELT 用约 32 毫秒半衰期的几何衰减把「最近多忙」变成可比对的数字,NUMA 平衡再用缺页采样把任务与内存拉回一处。三句话带走:均衡的每次动作都在赌「迁移收益大于缓存代价」,sched_migration_cost_ns 是那杆秤的砝码;load_avg 与 util_avg 是两个口径,均衡看前者、调频看后者,别混着读;NUMA 平衡对大堆服务是双刃剑,要么显式绑定让它失业,要么为它的缺页学费买单。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?