操作系统内功 · 第 98 篇|eBPF 验证器与 CO-RE:程序加载的安检线

为什么内核敢替你跑任意代码

ELF 对象经 BTF 与 CO-RE 重定位、验证器模拟、JIT 后 attach 的流程图

eBPF 的卖点是在内核态挂进任意观测点跑自定义逻辑,但内核不可能天真地信任一段来路不明的字节码——XDP 程序崩溃就是整机崩溃。信任问题被拆成了两道工序:验证器在加载期静态证明程序安全,JIT 在加载期把字节码翻译成本机指令。验证器是这套体系真正的安检线:它不只是查语法,而是把程序从头到尾模拟执行一遍——枚举所有可能的分支路径,逐条指令推演每个寄存器的类型与取值范围,证明任何一条路径上都不存在越界读写、空指针解引用、未初始化访问与失控循环。证明通过才放行挂载,证明失败连内核的边都碰不到。这套机制决定了写 eBPF 的体验与写普通 C 完全不同:编译能过的程序加载时照样可能被拒,被拒信息里那串 R0、R1 的行话,是安检员在告诉你它的推演卡在哪一步。

加载路径从工具链说起:clang 以 -target bpf 把带 attach 语义注解的 C 代码编成 ELF 目标文件,段名约定(xdp、tracepoint/...、kprobe/...)声明挂载点;libbpf 读 ELF,解析出 map 定义、程序与 BTF 信息,经 bpf() 系统调用的 BPF_PROG_LOAD 把字节码交给内核。内核侧入口在 kernel/bpf/verifier.c 的 bpf_check:先做一轮基本清理与死代码消除,然后进入验证主循环——从第一条指令开始沿控制流图逐路径模拟,为每个可达状态维护寄存器与栈槽的「类型 + 数值区间」快照,路径汇合处做状态合并,状态重复则剪枝。验证通过后字节码交给 JIT 模块按架构生成本机指令,之后 attach 到目标点运行。权限闸门也在这一步:特权加载需要 CAP_BPF(5.8 起从 CAP_SYS_ADMIN 拆分出来的细粒度能力,与 CAP_PERFMON 配合)或旧的 CAP_SYS_ADMIN;非特权加载还要求进程带 PR_SET_NO_NEW_PRIVS 标记(第 86 篇 prctl 讲过它与 seccomp 的这层关系),且很多发行版默认把 kernel.unprivileged_bpf_disabled 设为 1 或 2,非特权加载实质关闭。

flowchart LR
    A["clang -target bpf<br>带段名注解的 C"] --> B["ELF 对象<br>maps + BTF + 重定位"]
    B --> C["libbpf 装载<br>bpf 系统调用"]
    C --> D{"验证器模拟<br>类型/边界/循环"}
    D -- 被拒 --> E["给出 R 寄存器级<br>推演日志"]
    D -- 通过 --> F["JIT 翻译本机指令"]
    F --> G["attach 到 XDP /<br>tracepoint / kprobe"]

安检的三大支柱:类型、边界、可达性

第一个支柱是类型追踪。每个寄存器在模拟里不是一个数字而是一个状态:标量、指向上下文的指针、指向 map 值的指针、栈指针、包指针等等。类型决定操作合法性——map 查找返回的指针必须先判空才能解引用,上下文指针只能按该 attach 点定义的字段布局访问,包指针必须经过边界确认才能读字节。类型之间可以收窄但不能凭空变宽:把标量硬当成指针用,或者跳过判空直接访问,安检当场叫停。helper 调用同样按签名校验,参数类型对不上直接拒绝,这杜绝了绝大多数「传错参数」类事故。

第二个支柱是边界检查,也是新手被拒的重灾区。模拟器对每个标量维护符号化的取值区间,任何内存访问的下标都会被推演:map_value 指针加一个区间未知的偏移去访问,会得到「指针与无界值做运算」类拒绝;解引用前必须有一条能证明「偏移在对象大小之内」的检查路径(if (idx < MAX) 的比较会收窄区间,检查与使用之间不能有把区间重新放大的操作)。直接读包也是同款逻辑:先调 helper 确认 data_end 再比对指针,检查之后不能中途调用会改变包布局的操作。第三个支柱是可达性与终止性:5.3 起验证器支持有界循环(循环次数能被证明有上界即可),无界循环与超长程序都会被拒——程序规模上限在 5.x 已放宽到一百万条指令,但验证时间是按路径数走的,实际工程里「验证器跑不完」比「指令数超限」更常成为天花板,写大程序要习惯把复杂逻辑拆成 tail call 链。

路径爆炸与状态剪枝:验证器的时间预算

枚举所有路径听起来是指数级的事,验证器靠两招压住复杂度。第一招是状态合并:多条路径汇合到同一条指令时,寄存器状态取「各路径约束的并」,合并后的状态与之前某处的快照等价就整枝剪掉——这条路径的后续推演已经做过。第二招是复杂度预算:验证步数有硬上限,超了就以「程序过于复杂」拒绝。这两招决定了写 eBPF 的一个反直觉经验:代码分支越多验证越贵,且分支结构比代码长度更致命——十个顺序 if 的成本远低于十层嵌套 if,因为后者让路径数成倍分裂。工程上的对策有三:把静态可判定的分支在编译期收掉(常量折叠后路径直接消失);超大逻辑用 tail call 拆成多个程序接力(每段独立验证,预算按段计);对性能敏感的快路径与诊断慢路径分开写,别让调试逻辑膨胀主路径。还有一个常见误会要澄清:验证在加载时做一次,运行期零验证开销——验证器贵的是部署时刻,不是数据面,这与动态语言的解释开销是两码事。

被拒三大高频现场与改法

第一现场:map 查找没判空。bpf_map_lookup_elem 可能返回空指针,验证器据此把寄存器标记为「值或空」二态,不判空就解引用会被拒。改法一行:判空分支里返回或跳过。第二现场:数组下标无界。典型是「map 里存一个用户给的下标,直接拿去索引本地数组」——加载期永远不知道下标范围,必须先与数组长度比较并保证比较结果参与约束。第三现场:跨路径状态合并后区间失控。检查放在分支里、使用放在分支外,合并后区间重新变宽,被拒信息会指向使用点;改法是把边界检查挪到使用点之前的主路径上,或用 helper 的显式受限版本。

一个正反对照的微型示例(XDP 统计包长的程序):

#include <linux/bpf.h>
#include <bpf/bpf_helpers.h>

struct { __uint(type, BPF_MAP_TYPE_ARRAY); __uint(max_entries, 1);
         __type(key, __u32); __type(value, __u64); } pkt_cnt SEC(".maps");

SEC("xdp")
int count(struct xdp_md *ctx)
{
    void *data     = (void *)(long)ctx->data;
    void *data_end = (void *)(long)ctx->data_end;

    if (data + sizeof(struct ethhdr) > data_end)   // 边界先行:不确认就解引用会被拒
        return XDP_PASS;

    __u32 key = 0;
    __u64 *v = bpf_map_lookup_elem(&pkt_cnt, &key);
    if (!v)                                        // 判空:不判就被拒
        return XDP_PASS;
    __sync_fetch_and_add(v, 1);
    return XDP_PASS;
}
char LICENSE[] SEC("license") = "GPL";

编译加载一气呵成,失败时 libbpf 会把验证日志逐行打出来:

clang -O2 -g -target bpf -c xdp_cnt.c -o xdp_cnt.o
bpftool prog load xdp_cnt.o /sys/fs/bpf/xdp_cnt
# 被拒时日志形如:0: (61) r1=*(u32 *)(r6+0)
# R0 invalid mem access 'map_value_or_null'  ← 忘了判空的经典现场
bpftool prog show pinned /sys/fs/bpf/xdp_cnt   # 成功后可看验证指令数与加载时间

调试被拒有个固定套路:从日志最后一行读「当场死因」(R 几号寄存器、什么类型、什么访问),再往前找它类型何时变了——验证日志是全程推演回放,几乎每次都能顺着读出因果。

BTF 与 CO-RE:一次编译,跨内核运行

eBPF 程序里最难移植的部分是对内核数据结构的访问:kprobe 里读 struct task_struct 的某个字段,字段偏移随内核版本与编译配置漂移,老办法(BCC 时代)是每台目标机现场拉内核头现场编译,运维负担巨大。BTF(BPF Type Format)改变了局面:内核把自身的类型信息(结构体布局、成员、枚举)以紧凑格式随镜像携带,/sys/kernel/btf/vmlinux 直接可读,bpftool btf dump file /sys/kernel/btf/vmlinux format c 就能导出全内核类型头文件。CO-RE(Compile Once, Run Everywhere)站在 BTF 之上:编译时 clang 记录「此处访问的是哪个类型的哪个成员」作为重定位项存进 ELF,加载时 libbpf 对照目标内核的 BTF,把字段偏移逐个改写成当前内核的真实布局——同一个二进制,5.x 与 6.x 内核通吃。代码侧对应的习惯写法是 bpf_core_read 系列 helper(显式声明「这个读取要重定位」),字段不存在或类型变化的兼容分支用编译期宏表达。要挂的内核函数被内联或改名,还可用 BTF 里带 offlined 的函数地址解析。落地的工程化包装是 bpftool 的 skeleton:bpftool gen skeleton 生成 C 头文件,把 map、程序、变量打包成结构体供用户态直接操作,loader 代码从此只有十几行。

重定位的粒度比「读字段」更细,值得点名几类常用项:字段存在性(bpf_core_type_exists 判断某结构在新内核是否还在)、字段尺寸变化、枚举值变化,甚至「某个成员在哪个祖先结构里」的偏移链重定位。写法上以 bpf_core_read 读指针链与直接解引用读本进程可见内存相区分——XDP 与 tracepoint 上下文里的数据是内核直给的(已经在当前布局下),不需要 CO-RE;kprobe 里顺着内核结构体摸排的读取才需要。分清这两类,一半的「重定位失败」就不会发生。这套机制有一个硬前提:目标内核必须开着 CONFIG_DEBUG_INFO_BTF。主流发行版近年默认开启,但大量存量与定制内核没有——BTF 缺失时 CO-RE 的内核侧重定位做不了,kprobe 类程序要么换用带 BTF 的内核,要么退回「逐内核版本编译」的老路。加载前用 bpftool feature probe 一条命令把 BTF、helper 支持等全部探明,是移植工作的第一步。

工程现场:跨版本移植与「在新内核能跑,到旧内核被拒」

场景一,一套 BPF 观测程序要覆盖机房里 4.19 与 6.1 两代内核。经验路径:把对内核结构体的访问全部收敛到 CO-RE 读取,attach 点只选跨版本稳定的 tracepoint 而少用 kprobe 直挂内部函数;4.19 上验证器还不认的部分写法(如有界循环、某些 helper)用 __has_builtin 与 libbpf 的版本探测拆成两条代码路径。测试纪律只有一条:最低版本内核才是验收环境,在新内核上通过毫无意义——验证器与 helper 都是向前宽松向后严格的,老内核才是约束的来源。场景二,例行内核升级后某个跑了半年的程序突然加载失败。常见诱因有三类:验证器随版本演进修正了过去宽松接受的写法;内核结构体布局变化触发了 CO-RE 重定位失败;被挂的内核函数被内联导致 kprobe 目标消失。定位顺序也是这三条,先用 bpftool feature probe 与 bpftool btf dump 对比新旧内核的类型布局,再看验证日志。把 BPF 程序纳入发布前「多内核版本加载测试」的流水线,是跑 eBPF 生产化的最后一课——它不是普通二进制,它的「能不能跑」由目标内核的安检员当场裁决。

收束

验证器用静态模拟给内核吃了定心丸:类型追踪保证指针用途合法,区间推演保证边界检查闭环,路径枚举加有界循环保证程序必然终止;JIT 只对通过安检的字节码开工。三句话带走:被拒日志从最后一行往回读,R 寄存器的类型变化就是因果链;判空、边界、无界循环是被拒的三大高频,改法都是「在使用点之前让约束可见」;BTF 让内核自带类型说明书,CO-RE 借它实现一次编译跨内核,但发行版开没开 CONFIG_DEBUG_INFO_BTF 决定这条路通不通,bpftool feature probe 先行。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?