包还没进协议栈,就有一个可编程关卡

第 17 篇讲过网络收包全程:网卡 DMA 把包写进环形缓冲区,中断唤醒 NAPI,分配 sk_buff,一路过 netfilter、路由、socket 查找,最后才到应用。这条完整路径单核每秒撑住百万级包已属优秀——但对于「这包根本不该进来」的场景,后面所有工作都是浪费。XDP(eXpress Data Path)把可编程处理点前移到了链条最前端:驱动刚从 RX 队列取出包、还没分配 skb、还没进协议栈的瞬间,就调用挂载的 eBPF 程序裁决。此刻手上的只是一个指向包内存的裸指针(xdp_buff),没有协议栈元数据、没有 skb 开销,一个丢弃决策的成本是纳秒级——XDP_DROP 在普通网卡上单核能压到千万级包每秒的处理量。Linux 4.8 起合入主线,如今主流网卡驱动(Mellanox、Intel 系列、virtio-net 等)都支持原生模式。
前移带来的不仅是速度,还有编程模型的变化:程序眼里只有一段连续(或分页)的原始字节,协议解析全靠手动偏移——读以太网头、按 ethertype 判 IP/ARP、读 IP 头的协议字段、算出四层头位置。没有 skb 帮你做完这些,换来的是处理路径完全确定、没有隐含分支,性能才可能压满。写程序时要注意帮手的配合:bpf_xdp_adjust_head 收放包头空间(加封装或剥头部)、bpf_xdp_adjust_tail 截断包长,做完调整后 data 指针与 data_end 都要重新读——验证器只认最新边界。
四个动作与三种挂载模式
XDP 程序的返回值就是裁决,一共四个常规动作加一个调试动作。XDP_PASS 是放行——后续走正常协议栈(接着分配 skb,成本一分不少),适合「让内核继续处理但要顺便记账或过滤」的场景;XDP_DROP 是就地丢弃——包的内存直接回收(页可循环复用),这是 DDoS 清洗的核心弹药;XDP_TX 是弹回——改写包内容后从同一网卡原路发出去,注意 TX 路径绕过 qdisc 与流量控制,是驱动层的直发,负载均衡器(如 Facebook 开源的 Katran)用它回包;XDP_REDIRECT 是转发——把包交到别的去处:另一块网卡的队列(devmap)、另一个 CPU 的队列(cpumap,把包搬运与后续协议栈处理解耦到目标 CPU)、或者一个 AF_XDP socket(进用户态),重定向把 XDP 从「单网卡策略」升级成「包交换枢纽」。XDP_ABORTED 是异常出口,配合 tracepoint 做调试统计。
挂载模式有三种,性能与兼容性互为代价。native 模式由驱动原生支持,在 RX 环上直接调程序,性能最好,是否可用查驱动的 XDP 支持列表;generic 模式是内核兜底——任何网卡都能挂,但在 skb 分配之后补做处理,开销回升,只适合功能验证与老网卡应急,判断自己挂在哪种模式看 ip link 输出里的 prog/xdp 标注(native 无括号注记,generic 标 xdpgeneric);offload 模式把整个程序下载到智能网卡(SmartNIC)执行,CPU 零参与,依赖特定硬件。三个模式语义一致、性能天差地别,迁移环境时务必确认模式没被静默降级。
分工边界:XDP 擅长裁决,不擅长替代协议栈
把 XDP 当成「内核网络栈的替代品」是最常见的误判,值得把能力边界划清楚。XDP 的甜区是逐包的、无状态的裁决与改写:过滤、限速、重定向、改地址、打时间戳、加剥封装头,都能在裸指针视角下高效完成。它做不好的是跨包状态与协议语义:TCP 的乱序重组、拥塞控制、分片重组,以及任何需要「记住上一个包」的逻辑,放 XDP 里写是自讨苦吃——这些是该留在内核协议栈或用户态应用的事。工程上的健康结构是三层分工:XDP 负责入口裁决(丢该丢的、分该分的、记该记的),协议栈负责存量服务与复杂语义,用户态负责专用处理(AF_XDP 通道)。另有两个实现细节常在半路绊人:其一是分片与非线性包——native 模式下程序首先拿到的是线性部分,IP 分片包与跨页的多缓冲区包在老内核上只能读到头部附近,带分片的流量做精细过滤要在程序里显式处理(较新的内核逐步支持多缓冲区 XDP,覆盖面依驱动而定);其二是头部空间——要加隧道头或 VLAN 标签就得先用 adjust_head 腾空间,腾完之后所有指针重算,忘了重算会被验证器当场拦下,这是新手报错频率最高的一条。
运维侧还有一处历史包袱要交代:一块网卡传统上只允许挂一个 XDP 程序,新程序替换旧程序,没有天然的叠加语义。多个策略想并存(清洗加监控加转发)时,要么把它们合并进一个程序,要么用 libxdp 提供的 dispatcher 机制——先挂一个总调度程序,各策略作为子程序经 tail call 依次接力,兼容性与顺序都可控。配套的 xdp-tools 工具包里还有现成的 xdp-filter(黑名单式丢弃)与统计查询,应急场景不必从零写程序。运行期的性能可见性看 bpftool prog show:run_time 与 run_cnt 两个字段给出程序的实际执行耗时与次数(老内核需显式开统计),单次耗时超标就是优化信号;丢包类策略再加 tracepoint 上的 xdp:xdp_drop 计数,两个数字对得上,策略才叫真的在工作。
flowchart TB
A["网卡 RX 队列<br>DMA 落盘的原始包"] --> B["XDP 程序<br>(未分配 skb,裸指针视角)"]
B --> C["XDP_DROP<br>就地回收,页复用"]
B --> D["XDP_TX<br>改写后原网卡直发<br>绕过 qdisc"]
B --> E["XDP_REDIRECT<br>devmap 跨网卡 / cpumap 跨核<br>AF_XDP 进用户态"]
B --> F["XDP_PASS<br>分配 skb 进协议栈"]
C --> G["单核千万级 pps"]
D --> G
E --> H["零拷贝 / 解耦处理核"]
AF_XDP:把内核绕过去,但不用驱动开发
XDP_REDIRECT 打开的最后一扇门是 AF_XDP:一种新的 socket 类型(4.18 起合入),让用户态应用直接从网卡队列收发包。机制围绕一块共享内存展开——应用注册 UMEM(划好的固定大小内存块池),内核与应用通过四条环形队列协作:内核把收到的包「送」进 FILL 环指出的空块(零拷贝模式下 DMA 直接写进 UMEM),应用从 RX 环取完整包;发送反向走 TX 环与 COMPLETION 环。应用与内核各持一端,没有系统调用搬运包数据(收发路径上 syscall 只做队列推进),这就是「零拷贝」的含义。配合 XDP 程序把特定流量 XDP_REDIRECT 进 XSKMAP,实现「某些流量进用户态、其余流量照走协议栈」的分流架构——DPDK 式性能拿到了,内核协议栈的存量功能(SSH、监控、ARP)一点没丢。
零拷贝需要驱动配合(将 RX 队列的内存直接挂到 UMEM),不支持时内核退化为拷贝模式(包从内核缓冲复制进 UMEM),性能打折但语义不变——又一个「静默降级」的检查点。工程上还有两笔账要算:绑核与队列的对应关系(XDP 程序跑在 RX 队列的中断 CPU 上,按第 71 篇的 RSS/亲和性方法把队列与处理核一一对齐,才能吃满并行度);以及把整队列交给 AF_XDP 零拷贝后,该队列不再服务内核协议栈,得用流量规则(ethtool ntuple 或 RSS 配置)把需要进内核的流量导去别的队列,不然控制面流量会跟着一起进用户态。
与 DPDK 比一比:两个世界的性能哲学
绕不开的比较对象是 DPDK:用户态网卡驱动加轮询模式,彻底接管网卡、独占核、用大页管理内存,裸吞吐至今仍是天花板(尤其 100G 及以上场景)。XDP/AF_XDP 的立场不同:不抢网卡、不独占核、不强制大页,复用内核的驱动与内存管理,代价是峰值性能略低(XDP_DROP 单核千万级 pps 与 DPDK 的量级相当但上限依赖驱动实现),换来的是运维复杂度的断崖式下降——不需要重启进专有环境、不需要修改 cgroup 与中断配置、内核工具链照常工作。选型口诀:把一块网卡整体变成专用转发设备(NFV、低延迟交易),DPDK 的独占模型仍然更纯粹;在通用服务器上给部分流量加速或做前置清洗,XDP/AF_XDP 的共存模型几乎总是更优解。两者也不互斥:智能网卡 offload 把 XDP 程序下放到网卡执行时,架构上已经很接近 DPDK 的「处理与内核分离」。
工程现场:DDoS 前置清洗与用户态采集网关
现场一,边缘节点抗 SYN 洪水。公网入口机被攻击打满带宽,iptables 规则生效但 CPU 先被协议栈的 skb 分配耗尽。处理路径:写一个 XDP 程序做前置过滤——放行 ARP 与 DNS,TCP 按白名单与限速规则裁决,恶意源直接 XDP_DROP;用 bpf_fib_lookup 查转发信息对回包做 XDP_TX 直发(SYN cookie 类回应)。程序不到两百行,编译加载后 ip link set dev eth0 xdpgeneric(驱动支持则用原生模式)生效,攻击流量在进入协议栈前被抹掉,业务连接恢复。观测口是挂在 tracepoint 上的丢包计数,攻击期间每秒百万级 drop 的数字直接可读。要点是把「丢弃决策」做成可热更的 map 配置(黑名单、限速参数放 map,用户态工具随时改),攻击模式变了不用重载程序。
现场二,行情数据的用户态采集。某低延迟系统要把组播行情流接入自研引擎,原方案 DPDK 绑四核轮询,团队维护负担大。改造为 AF_XDP:XDP 程序按目的端口把行情流 XDP_REDIRECT 进 XSKMAP,应用用 libbpf 的 xsk 接口从 UMEM 直接读包,零拷贝模式下 syscall 开销只剩队列推进;其余流量照走协议栈,SSH 与监控无损。性能从「每秒百万级消息的 syscall 开销」降到接近裸收,CPU 占用从四个独占核降到一个核带空闲轮询。踩过的坑值得记录:网卡驱动不支持零拷贝导致静默走拷贝模式(吞吐差五倍才被发现,ip link show 看不出来的细节,要用 ethtool 与内核日志确认模式);以及 UMEM 块大小与包尺寸不匹配造成的环形队列拥塞,调块大小后恢复。
#include <linux/bpf.h>
#include <bpf/bpf_helpers.h>
#include <linux/if_ether.h>
#include <linux/ip.h>
SEC("xdp")
int drop_igmp(struct xdp_md *ctx)
{
void *data = (void *)(long)ctx->data;
void *data_end = (void *)(long)ctx->data_end;
struct ethhdr *eth = data;
if ((void *)(eth + 1) > data_end) // 验证器要求的边界检查
return XDP_PASS;
if (eth->h_proto != __constant_htons(ETH_P_IP))
return XDP_PASS;
struct iphdr *ip = (void *)(eth + 1);
if ((void *)(ip + 1) > data_end)
return XDP_PASS;
if (ip->protocol == IPPROTO_IGMP) // 示例策略:丢 IGMP
return XDP_DROP;
return XDP_PASS;
}
char LICENSE[] SEC("license") = "GPL";
编译与挂载两条命令即可上线(原生模式与通用模式各一):
clang -O2 -g -target bpf -c drop_igmp.c -o drop_igmp.o
ip link set dev eth0 xdp obj drop_igmp.o sec xdp # 驱动支持时走 native
ip link set dev eth0 xdpgeneric obj drop_igmp.o sec xdp # 兜底 generic
ip link show eth0 | grep xdp # 确认挂载模式
收束
XDP 把可编程决策点推到驱动刚取出包的位置:没有 skb、没有协议栈,四个动作(放行、丢弃、弹回、重定向)在纳秒级完成裁决,三种挂载模式按硬件支持分层,REDIRECT 再把包送往别的网卡、别的核或 AF_XDP 的用户态零拷贝通道。三句话带走:性能的上限取决于模式,generic 是验证工具不是生产工具,挂载后先 ip link 确认没被静默降级;AF_XDP 的零拷贝依赖驱动配合与队列归属,UMEM 与绑核配置错了性能从五倍差起步;与 DPDK 之争本质是「独占」与「共存」之争,给通用服务器加速能共存则共存,整体改造成专用转发设备才考虑独占。
读者留言
COMMENTS 暂无还没有留言,来说第一句?