两种卡死:soft lockup 与 hard lockup

先厘清两种容易混淆的故障形态。soft lockup 指某个 CPU 在内核态连续运行过久、不给调度器机会,但中断大体还是开着的;典型成因是某个循环写得太久(比如在超大内存上做扫描、锁内长时间自转)、或者某个内核线程被无限期压制。hard lockup 则更严重:CPU 在关着中断的状态里打转——任何定时器中断、任何网卡中断都进不来,调度彻底停摆,这个核成了对系统完全失联的黑洞。两者在监控上的共同表现是「该核利用率 100% 但系统无进展」,区别在内核能不能自救。
检测这两种卡死的组件统称 NMI watchdog。名字里的 NMI(不可屏蔽中断)只在 hard 一侧出场:soft lockup 靠普通定时器就能检测,hard lockup 必须依赖能穿透关中断状态的 NMI。理解这个机制,等于掌握了一类线上疑难故障的定位钥匙——那些「机器看起来活着但一个核永远不响应」的问题,最终都要靠 watchdog 的报告开口说话。
NMI:为什么关中断也拦不住它
要理解 hard lockup 检测,得先理解 NMI 的特殊地位。普通中断有个共同软肋:CPU 上 IF 标志清零后它们全部排队等待,关中断的死循环天然屏蔽了所有常规检测手段——你在循环里写再多检查代码,中断进不来就没人能执行。NMI 例外:它在硬件上不受 IF 标志管制,除非 CPU 正在处理另一条 NMI,否则来了就必须响应。x86 上的 NMI 有多种触发源(硬件错误、系统管理、外部信号),Linux 拿来检测卡死的是其中一种用法:把性能计数器(PMU)配置成「固定周期溢出即触发 NMI」,于是这颗 CPU 每隔固定时间就会被硬件强制打断一次,无论它此刻在什么状态。
有了这个强制打断点,检测逻辑就简单了:NMI 处理函数在每次触发时检查「这颗 CPU 的喂狗时间戳是否更新过」。时间戳由每核一个的看门狗机制负责刷新——hrtimer 周期性触发,顺路记录「我还活着」。如果 NMI 连续数次触发而时间戳纹丝不动,说明 hrtimer 已经打不进来(关中断)且没有任何前进迹象,hard lockup 定罪成立。这里的关键组合是:hrtimer 是普通中断,会被关中断屏蔽,因此它的沉默是「关中断」的证据;NMI 不会被屏蔽,因此它能在沉默时仍执行检查。两条通道一明一暗,配合得天衣无缝。
flowchart TD
A["每核 hrtimer 周期触发<br/>刷新本核喂狗时间戳"] --> B["时间戳常新<br/>一切正常"]
C["每核 perf 计数器<br/>固定周期溢出触发 NMI"] --> D{"NMI 里检查<br/>喂狗时间戳更新过吗"}
D -- "已更新" --> E["正常<br/>说明 hrtimer 还在跑"]
D -- "连续多次未更新" --> F["hard lockup<br/>关中断死循环"]
G["另一条软通道:<br/>看门狗 kthread 长时间<br/>没被调度到"] --> H{"内核态运行时长<br/>是否超过阈值"}
H -- "超过" --> I["soft lockup<br/>打印现场"]
F --> J["按配置打印或 panic<br/>配合 kdump 抓 vmcore"]
I --> J
喂狗架构的三个角色
把这套机制的参与者列清楚,读相关内核代码或排查报告时就能对号入座。角色一是每核一个的看门狗内核线程(名字含 watchdog 的 kthread),它平时睡眠,被 hrtimer 周期性唤醒后「跑几步、更新时间戳、再睡」,是 soft 检测的时间戳主人;如果这个线程长期没被调度(比如同核有更高优先级任务霸占),时间戳就停更。角色二是每核一个的 hrtimer,周期由 watchdog_thresh 派生,它既是喂狗动作的节拍器,也是「定时器打不进来」这一事实的探测器。角色三是基于 perf 计数器的 NMI 事件:把计数器配成固定周期溢出,溢出处理在 NMI 上下文里完成时间戳检查,是 hard 检测的执行者。演进史上一度用本地 APIC 定时器直接产生 NMI 做同样的活,后来统一到 perf 事件框架下——好处是与 PMU 的分配管理整合,还能与性能观测共存。三个角色各司其职,任何一环的异常模式都对应明确的故障类别,这是读懂 watchdog 报告的地图。
抓到之后:打印、panic 与 kdump
检测到卡死后的动作取决于配置,从轻到重有三档。最轻是打印:soft lockup 触发时 dmesg 会输出一行著名的报告——watchdog: BUG: soft lockup - CPU#3 stuck for 22s! [task_name:pid],后面跟着该核当前的完整调用栈,直接指认凶手在哪个函数里打转。hard lockup 的报告形式类似,标注 hard LOCKUP 字样。中间档是主动采集:sysrq 的 l 命令(echo l 写入 /proc/sysrq-trigger)会向所有核发 NMI,抓下全机每个核此刻的栈,是排查「多核互相牵连」利器。最重是 panic:把 kernel.hardlockup_panic(或旧式组合参数)打开后,hard lockup 直接触发内核崩溃流程;如果机器配置了 kdump,panic 会落入崩溃内核、抓出完整的 vmcore 内存镜像,把事发现场完整保存下来供事后用 crash 工具解剖。线上生产机器的建议组合是:hard lockup panic 加 kdump——hard lockup 本身意味着系统已经不可信,与其挣扎不如留证据重启。
相关开关集中在 /proc/sys/kernel/ 下:watchdog 是总开关(0 关闭整个检测),watchdog_thresh 控制判定阈值(默认 10,单位秒量级,soft 与 hard 两条通道的判定时长都随它放大),softlockup_panic 与 hardlockup_panic 分别控制两种 lockup 是否升级为 panic,watchdog_cpumask 可以把检测范围限制到指定核(与 CPU 隔离场景配合:被隔离出业务的核可能合法地长时间禁抢占,不想被误报)。阈值调大的典型理由是虚拟化环境:宿主过载时虚机的 CPU 时间被切走,喂狗时间戳更新变慢,容易误报——加大阈值是虚机里最常见的适应性调整。
一次 soft lockup 的完整排障记录
分享一个真实的定位过程。某大数据节点周期性报 soft lockup,CPU#11 stuck for 23s,栈顶落在内存回收相关函数上。第一步确认不是虚惊:dmesg 里该报告每次都指向同一核、同一栈,且报告期间该核上的数据面任务延迟飙高——是真问题。第二步读栈:调用链显示它在反复做 compaction(内存整理),而这个节点有个大页申请方在持续申请超大块连续内存,整理器在几百 GB 的区间里来回头碰,单次整理超过 20 秒且大部分时间关着抢占。第三步釜底抽薪:关掉那个大页申请方、给内存整理的触发面做约束(限池、限调),soft lockup 报告从此绝迹。
这个案例有三个可复用的经验。其一,soft lockup 的调用栈就是答案本身,90% 的案例读栈即可定案,不需要额外的复现。其二,「被报告的核」不一定是「作恶的核」——本例中它只是执行者,真正的触发者是另一个子系统的大页申请,读栈时要把因果链往上捋一层。其三,watchdog 报告的处理纪律是「当真但不恐慌」:它暴露的是内核态长时占核这个事实,是否致命取决于这个占核是 bug 还是设计内的慢操作,这层判断只能靠读栈与业务上下文。
另一个真实案例:hard lockup 与 kdump 定案
hard lockup 的案例更凶险。某存储网关在压测中偶发整机重启,重启前 dmesg 只来得及刷出一行 hard LOCKUP on cpu 5 与半截调用栈——注意是「半截」,hard lockup 时系统已无法保证日志完整落盘,这正是 panic 加 kdump 组合存在的理由:升级 panic 后 kdump 抓下的 vmcore 里,用 crash 工具看 CPU 5 的栈,凶手是某驱动在持自旋锁并关中断的状态下进入了一个重试循环(锁内等待一个硬件状态位翻转,而硬件此刻永远不会翻转)。关中断持锁意味着 hrtimer 进不来,perf NMI 却每两秒进来查一次岗,连续几查岗发现时间戳没动,hard lockup 判决生效。
修复本身不难:驱动把「等硬件状态」改成带退避的有限次重试、失败上抛错误。但这个案例的价值在流程侧:没有 kdump 的话,vmcore 缺失,这种「偶发且现场即毁」的故障几乎无解——每一两次复现都只有一行不完整的日志。这也是为什么强调生产机器必须把 hardlockup_panic 与 kdump 配齐:watchdog 负责宣判,kdump 负责保全证据,缺一环链条就断。
与 hung task 的分工:卡死的另一个维度
watchdog 常被拿来与 hung task 检测混为一谈,实际是两个互补的探测器。hung task 盯的是「任务卡在不可中断睡眠里超过 120 秒」(阈值可调)——典型场景是等一把没释放的锁、等 IO 回不来;此时 CPU 并不忙,任务睡在队列上,利用率可能极低。lockup 盯的正好相反:CPU 忙到停不下来、不给调度机会。一个是「睡着了叫不醒」,一个是「疯跑着停不住」;前者由 hung task 探测器报告(kernel.hung_task_panic 同样可升级为 panic),后者由 watchdog 报告。线上排查时把两者区分开,方向立刻清晰:利用率满格看 lockup 报告,利用率空转但进程 D 状态堆积看 hung task 报告。两套检测器都开着,才能覆盖「内核失去进展」的全谱系。
虚拟化与资源紧张环境的先天不足
NMI watchdog 在虚拟机里要单独说。虚机环境有两个先天限制:一是很多虚拟化平台对 NMI 的支持不完整,hard lockup 通道可能根本不可用,只剩 soft 检测;二是 vCPU 是时间片调度的产物,宿主忙时虚机的 hrtimer 可能被推迟很久,喂狗时间戳的更新节奏失真,产生「虚机里明明活着却报 lockup」的误报。应对手段都是调参而非关闭:加大 watchdog_thresh 给虚机留出时间片抖动的余量、把误报频发的核从 watchdog_cpumask 里摘除、宿主侧确认没有超卖导致的极端延迟。物理机也可以有类似问题——超长的大内存扫描、深度 C-state 唤醒慢(呼应第 70 篇)都可能让喂狗迟到,阈值与业务特征匹配是唯一原则。
# 出事前:确认两条通道开着、阈值合适
sysctl kernel.watchdog kernel.watchdog_thresh
# kernel.watchdog = 1
# kernel.watchdog_thresh = 10
# 出事中:soft lockup 报告是第一现场
dmesg -T | grep -A 30 'soft lockup'
# watchdog: BUG: soft lockup - CPU#11 stuck for 23s! [kcompactd0:78]
# 想抓全机所有核的现场(需要 NMI 通道可用)
echo l > /proc/sysrq-trigger
dmesg -T | tail -100
# 生产建议:hard lockup 升级 panic 并配合 kdump
sysctl -w kernel.hardlockup_panic=1
收束:检测器的哲学
回头看,NMI watchdog 是内核里少有的「以系统自身的僵死为假想敌」的机制,它的设计浓缩了容错系统的两条通用哲学。第一条是「检测通道必须独立于被检测对象」:用会被关中断屏蔽的通道去检测关中断死锁,等于用嫌疑人自己的证词审讯嫌疑人;NMI 与 hrtimer 的一明一暗正是独立通道思想在内核里的落地。第二条是「检测与处置分离」:发现 lockup 后做什么(打印、panic、kdump)全部可配置,因为不同环境对「系统已不可信」的判断标准不同,机制只负责忠实地报告事实。
工程侧记住三件事:watchdog_thresh 默认 10、虚机酌情加大;dmesg 的 stuck 报告带完整栈,读栈定案;hard lockup 配 panic 加 kdump 是生产标配。下一篇我们转到另一类「硬件不老实」的问题:设备发起的 DMA 直接绕过 CPU 写内存,谁来约束它——IOMMU 与 DMA 重映射的故事。
读者留言
COMMENTS 暂无还没有留言,来说第一句?