无桩内核的可观测缺口

内核静态埋了成千上万个 tracepoint,但静态点有个先天缺陷:它只能在内核开发者「预计你会感兴趣」的位置存在。线上出了问题,真正想知道的往往是「这个函数被谁调用、传了什么参数、耗时多少」——那个函数可能恰好没有 tracepoint,甚至不是导出符号。这时候需要的是动态插桩:对任意内核函数(乃至函数内偏移处)在运行时挂探针,不重启、不重编内核。kprobes 就是这个能力的地基:它把目标指令现场替换成断点,命中后执行你注册的处理函数,再把指令单步执行一遍恢复现场。bpftrace 的 kprobe: 语法、ftrace 的 kprobe 事件、perf probe,全是架在它上面的用户通道。
与第 50 篇讲过的 ftrace 静态点相比,kprobes 换来的是「全内核皆可测」的自由度,付出的是更高的单次命中成本与更少的类型安全保障。本文拆它的工作机制,也拆它的安全边界——动态改内核代码这件事,内核自己比谁都紧张。
flowchart TD
A["register_kprobe<br/>symbol_name + pre/post_handler"] --> B{"目标可插桩吗<br/>黑名单检查"}
B -- "不可(NMI 路径等)" --> C["返回 EINVAL<br/>注册失败"]
B -- "可" --> D["分配 insn 槽<br/>复制原指令并做分析<br/>入口写入断点指令"]
D --> E["CPU 执行到目标地址<br/>触发断点异常"]
E --> F["kprobe 派发:保存现场寄存器<br/>调用 pre_handler"]
F --> G["单步执行 insn 槽里的<br/>原指令副本"]
G --> H["执行 post_handler<br/>恢复寄存器与断点<br/>回到正常流程"]
I["kretprobe 注册"] --> J["入口时把返回地址<br/>换成 trampoline"]
J --> K["函数 ret 落进 trampoline<br/>执行注册的 return handler<br/>再跳回真实返回地址"]
命中全流程:断点、副本、单步、恢复
注册一个 kprobe 只需要填一个结构体:struct kprobe 里声明目标(symbol_name 加可选 offset,或者直接给地址)与两个处理函数(pre_handler、post_handler,都可为空)。register_kprobe 之后,内核做三件事。
第一件是资格审查。可插桩的范围有硬边界:内核维护一份黑名单(__start_kprobe_blacklist 区间),NMI 与异常处理路径、kprobes 自己的代码、无法安全单步的指令序列都在列——在这些位置断点本身就是灾难。注册时查黑名单,命中直接返回 EINVAL。这一步决定了「kprobes 可以测几乎所有内核函数」这句话里「几乎」的准确含义。
第二件是准备指令副本。内核从全局的 insn 槽池里拿一小块可执行内存,把目标地址那条指令复制进去,并做指令级分析:这条指令是否引用了相对地址、是否改变控制流、能否在异地执行。绝大多数指令可以原地复制;不能安全异地的,内核会做修正或拒绝优化。这个副本的存在是整个机制的关键——断点命中后不能原地把指令执行掉(断点指令占着那个位置),必须到副本上把原指令的语义补齐。
第三件才是布雷。目标地址的指令被替换成断点指令(x86 上是 int3)。从此任何一个 CPU 执行到这里都会触发断点异常,进入 kprobe 派发路径:内核先确认这次异常是自己的探针而不是别的 int3,然后保存全部寄存器现场、设置 per-CPU 的当前 kprobe 指针(防止探针互相触发造成递归),调用注册的 pre_handler。pre_handler 拿到的参数就是那套 pt_regs,可以读全部寄存器、读参数(各架构参数位置不同,x86-64 的第一个参数在 regs->di)。
接下来是单步:处理器把标志寄存器的单步位置上,执行 insn 槽里的原指令副本,执行完立刻触发单步异常回到 kprobe 框架。框架调用 post_handler(如果注册了),然后恢复寄存器、把断点重新装回、按保存的返回地址继续正常执行。从其他代码的视角看,目标函数的这条指令「正常执行了」,只是路上多了两个钩子。
每次命中的成本由三段构成:异常进入、两个 handler、单步往返——整体在微秒量级,比静态 tracepoint 贵一到两个数量级。所以 kprobes 适合「定点、低频、诊断期」的观测;想长年高频盯着一个函数,要么用优化路径(见下文),要么换静态点。
递归保护值得一提。pre_handler 本身也是内核代码,它调用的任何函数理论上都可能命中别的探针——极端情况下探针测的正是探针机制自己的函数,无限递归直接打穿栈。框架用两道闸门防这件事:per-CPU 的当前 kprobe 指针在处理期间禁止重入,探针代码本身与黑名单函数不许再被插桩。用户侧的对应纪律是:handler 里只调用打印与少量内核辅助函数,别调用会被你自己盯住的路径,否则第一个 panic 就是递归触发的。
kretprobe:返回地址的调包术
测一个函数的耗时,在入口记时间、在出口算差值,最自然的方案。但出口不好定位:函数可能从多个 return 语句退出,甚至内联了别的函数。kretprobe 的解法干脆绕开出口:注册后,每次目标函数被调用、执行到入口时,框架把栈上(x86-64 是寄存器加栈帧布局)的返回地址偷换成一个统一的 trampoline 地址。函数执行完任何一条 return,都会「返回」到 trampoline——那是一段内核提前备好的代码,它调用注册的 handler(拿到返回值寄存器),再把真实返回地址装回去,跳回去正常继续。
这个设计有个绕不开的资源问题:一个函数可以并发重入很多层(递归、多任务同时调用),每层都要一个「实例」保存真实返回地址与 handler 上下文。框架给每个 kretprobe 配一个实例池,池子大小由 maxactive 字段控制;不填时内核给个保守默认——非抢占内核 10 个,抢占内核约取 CPU 数的两倍。池子耗尽时新命中的调用记录不了返回事件,计数器 nmissed 加一:这个字段是 kretprobe 用户必须检查的账本,missed 比例高意味着「你的数据是不完整的」,而不是内核出了 bug。
还有个冷知识式的细节:因为返回地址被调包,在 kretprobe 的 handler 里打印调用栈会看到 trampoline 而不是真实调用者。需要调用方信息就得靠入口侧的 kprobe 配合,或者干脆换 bpftrace 的 kretprobe: 语法(它内部处理了这些脏活)。
现代通道:没人再手写 register_kprobe
内核模块里直接调 register_kprobe 当然还合法,但今天绝大多数使用场景都经由更友好的通道。第一条是 ftrace 的 kprobe 事件:往 tracefs 的 kprobe_events 文件写一行定义,就完成注册、参数抓取与输出格式定制:
cd /sys/kernel/tracing
# 在 do_sys_open 入口挂探针,抓第二个参数(文件名)为字符串
# ustring 表示用户态字符串,内核态字符串用 string
echo 'p:myopen do_sys_open filename=+0($arg2):ustring' > kprobe_events
echo 1 > events/kprobes/myopen/enable
cat trace_pipe | head -5
# bash-1234 [003] .... 1234.567890: myopen: (do_sys_open+0x0) filename="/etc/ld.so.cache"
echo 0 > events/kprobes/myopen/enable
echo '-:myopen' > kprobe_events # 注销
这里 $arg2 的取值由 BTF(内核类型信息)自动解析,:ustring 让框架替你处理用户态内存访问的边界。第二条通道是 bpftrace,一行完成注册、过滤、聚合:
# 按进程统计谁在调提交路径
bpftrace -e 'kprobe:blk_mq_submit_bio { @[comm] = count(); }'
# kretprobe 测函数耗时,自动算纳秒直方图
bpftrace -e 'kretprobe:tcp_sendmsg { @usecs = hist((nsecs - @start[tid])/1000); }
kprobe:tcp_sendmsg { @start[tid] = nsecs; }'
两条通道底下都是同一套 kprobes 机制,区别只是表达式语言与数据落点。排查时选哪个,取决于你要的是「十分钟定位问题」(bpftrace)还是「固化成常驻观测」(ftrace 事件)。
模块内直连:register_kprobe 的最小骨架
偶尔还是绕不开在内核模块里直接注册:需要复杂的状态机、跨多个探针关联数据,或者要把探针做成产品的一部分。这时打交道的就是 register_kprobe 本尊,内核文档的标准示例骨架如下:
#include <linux/kernel.h>
#include <linux/module.h>
#include <linux/kprobes.h>
static int handler_pre(struct kprobe *p, struct pt_regs *regs)
{
/* x86-64:第一个参数在 di,第二个在 si */
pr_info("<%s> ip = %pS, flags = 0x%lx\n",
p->symbol_name, (void *)regs->ip, regs->flags);
return 0;
}
static struct kprobe kp = {
.symbol_name = "do_sys_open", /* 也可用 .addr 指定精确地址 */
};
static int __init kp_init(void)
{
kp.pre_handler = handler_pre;
return register_kprobe(&kp);
}
static void __exit kp_exit(void)
{
unregister_kprobe(&kp);
}
module_init(kp_init);
module_exit(kp_exit);
MODULE_LICENSE("GPL");
三个细节值得留意。其一,symbol_name 指定符号后框架自己算地址,比手写地址可移植;加 offset 字段可以探到函数体内某条指令,适合盯关键分支。其二,handler 里能做的事与中断上下文相同:不能睡眠、不能碰用户态指针(除非用专门的访问函数)、打印要克制——它跑在异常路径上,慢一行代码全机买单。其三,注销必须与注册严格配对,模块卸载路径漏掉 unregister 会留下一枚打到已卸载代码的断点,第一次命中就是必死的 panic。
黑名单、优化与代价管理
kprobes 的安全设计还有一层值得知道:优化路径。断点机制每次命中都走完整的异常往返,内核在条件允许时(指令可安全异地执行、目标不在特殊区域)会把断点升级成一条相对跳转指令,直接跳到「副本指令加后处理」的优化块,绕过异常——这就是 optimized kprobe,单次成本从微秒级降到接近函数调用量级。注册时框架自动判断,用户无需干预;ftrace 事件与 bpftrace 底下也在受益。
代价管理的另一面是频率控制。给每秒百万次命中的函数挂探针,即便每次只有微秒,机器也会被打到不敢看。实操纪律是:先用低频函数(调度切换、提交路径这类)缩小范围,再对高频路径做短时采样;生产机器上长挂 kprobe 必须配套命中计数与自动摘除。另外别忘了注册是全局动作——一台机器上一个坏的探针(handler 里死循环或访存违例)会让内核 panic,所以探针代码的审查标准要按内核代码来,不能按用户态脚本来。
工程场景两则
场景一:定位「谁在改这个文件」。 某台机器上配置文件周期性被改回旧值,几个服务都有嫌疑。inotify 只告诉你文件变了,不告诉你是谁。在写入路径的 vfs_write/vfs_writev 入口挂 kprobe 事件抓文件名与 comm,几分钟内锁定是一个监控 agent 的自动回写。这类「写入方排查」是 kprobe 事件在运维里最常见的用法,成本是一次临时探针的加载与摘除。
场景二:测量慢在哪一层。 某存储服务读延迟尖刺,应用层日志只说「慢了」。用一对 kprobe/kretprobe 分别钉在块层提交函数与文件系统查找函数上,尖刺时段开启采样,对比两层耗时占比,发现大头在文件系统的块查找而非块设备——把排查范围从「整条 IO 栈」收窄到一层。这类分层计时用 bpftrace 两行就能起,是动态探针相比静态点最实用的地方。
收束
kprobes 的机制一句话说完:断点换指令、副本单步、双钩子夹击;kretprobe 靠调包返回地址测耗时,实例池与 nmissed 是它的账本。使用上记住三条纪律:黑名单与重入保护是内核替你守的门,别去试探;微秒级的命中成本决定了它适合定点诊断而非常驻高频观测;生产使用优先走 ftrace 事件与 bpftrace 的成熟通道,直接写内核模块的探针要按内核代码的标准过审。动态探针与静态 tracepoint 不是竞争关系——静态点是路灯,动态探针是手电筒,走夜路的人两样都得备。
读者留言
COMMENTS 暂无还没有留言,来说第一句?