UDP 的账单:每个数据报一次系统调用

UDP 的协议栈路径短得近乎素颜:sendto 一次,socket 查表、加 UDP 头、走 IP 层、进驱动;没有握手、没有重传、没有拥塞窗口,缓冲区也没有 TCP 那套自动调优的复杂故事——账本简单,性能模型也简单。但简单路径藏着一个高吞吐场景下的致命账单:UDP 按数据报为单位工作,一个数据报至少一次系统调用。MTU 限制下每个数据报撑死 1.4 KB 左右(1500 字节链路减去 IP 与 UDP 头),发送 1 Gbps 的流量就是每秒约 9 万次 sendto,加上每次调用在协议栈里重复的路由查找、校验和计算、锁竞争——CPU 的大头不是搬数据,是付调用的固定成本。QUIC 把加密、可靠传输全部搬进用户态、跑在 UDP 上,恰恰继承了这个账单:每秒几十万包的 QUIC 网关,syscall 与协议栈的固定开销能吃掉一半以上的 CPU。GSO/GRO 这对机制就是为这张账单设计的:发送侧把「拆包」推迟到最后一刻,一次大写入顶几十次小写入;接收侧反向操作,把线上的小包在网卡出口处拼回大块,同样摊薄 per-packet 成本。
发送路径的细节值得先看一眼,因为优化点全在路上。sendto 进入 __udp_sendmsg 后,内核为数据报找路由、按输出接口的 MTU 检查尺寸、填校验和(多半是 CHECKSUM_PARTIAL 委托网卡算)、把 skb 交给 IP 层出队。每一步都按「一个包」计价——路由查找的缓存、邻居表查找、驱动队列操作,单价不高,乘上每秒几十万次就是显著开销。TCP 没有这个问题:应用往字节流里写多少都行,内核攒成大块再按 MSS 分段,分段的活早被 GSO/TSO 机制推迟到驱动层一次做完。UDP 长期没有同等待遇——直到 UDP_SEGMENT 出现,UDP 才拿到了与 TCP 同款的「攒大块、晚分段」能力。
GSO:把分段推迟到最后一刻
GSO(Generic Segmentation Offload)的核心思想只有一句:内核栈与协议处理都按「大块」工作,真正的分段推迟到出口处一次完成。TCP 用它配 TSO(网卡硬件分段);UDP 的对应物是 UDP_SEGMENT socket 选项(内核较新的 4.x 起支持):应用一次 sendmsg 写最多 64 KB 的缓冲区,同时告诉内核「按 1200 字节一段拆」,内核不做逐包的协议栈处理,而是把整个大块连同分段尺寸一路传到出口——出口处(GSO 层或驱动,部分网卡与较新内核还支持硬件级 UDP 分段卸载)按段切开、每段补 UDP 头与校验和、依次发出。线上看到的是一串 MTU 尺寸的标准 UDP 包,与逐包发送毫无二致;协议栈里跑的是一次大事务。账单立刻改观:一次 sendmsg 代替约五十次,路由查找、socket 锁、队列操作全部按一次计费,分段本身是纯内存切片,几乎免费。QUIC 库接上这个选项后,网关的 syscall 数与 CPU 占用普遍降一半以上——这不是微优化,是数量级的改动。
flowchart LR
subgraph TX["发送方向"]
A["应用一次大块写入<br>附带分段尺寸"] --> B["UDP 协议栈<br>按大块记一次账"]
B --> C["GSO 层或驱动<br>切片补头与校验和"]
C --> D["线上发出一串<br>MTU 尺寸的标准数据报"]
end
subgraph RX["接收方向"]
E["网卡收到连续小包"] --> F["NAPI 轮询中 GRO 合并<br>同流小包拼成大块"]
F --> G["协议栈按一次大事务处理"]
G --> H["应用读回大数据报<br>按原边界切回"]
end
D -. 对端链路 .- E
#include <sys/socket.h>
#include <netinet/in.h>
#include <string.h>
/* 发送端:一次 sendmsg 发 60 KB,按 1200 字节分段(UDP_SEGMENT) */
int udp_gso_send(int fd, const char *payload, size_t len, uint16_t seg_size,
const struct sockaddr_in *dst)
{
/* UDP_SEGMENT 走 cmsg:level 为 IPPROTO_UDP,类型为 UDP_SEGMENT(102) */
char ctl[CMSG_SPACE(sizeof(uint16_t))];
struct cmsghdr *cmsg = (struct cmsghdr *)ctl;
memset(ctl, 0, sizeof(ctl));
cmsg->cmsg_level = IPPROTO_UDP;
cmsg->cmsg_type = 102; /* UDP_SEGMENT */
cmsg->cmsg_len = CMSG_LEN(sizeof(uint16_t));
memcpy(CMSG_DATA(cmsg), &seg_size, sizeof(seg_size));
struct msghdr msg = { .msg_name = (void *)dst,
.msg_namelen = sizeof(*dst),
.msg_control = ctl,
.msg_controllen = sizeof(ctl) };
struct iovec iov = { .iov_base = (void *)payload, .iov_len = len };
msg.msg_iov = &iov;
msg.msg_iovlen = 1;
return sendmsg(fd, &msg, 0);
}
用法有三条边界要记牢。其一,单次写入上限 64 KB(一个数据报的理论最大值),分段尺寸乘段数不能超过它,同时 socket 发送缓冲要装得下整个大块——默认发送缓冲通常够用,但应用如果自己设过很小的 SO_SNDBUF,大块写入会报 EMSGSIZE。其二,分段尺寸受路径 MTU 约束:段大于路径 MTU 时整笔事务直接失败返回错误(UDP 不做分片拆段),应用要自己探测 PMTU 并按可用尺寸分段,IPv4 下可开启路径 MTU 发现让内核反馈。其三,校验和仍按段逐个正确计算——由硬件校验和卸载或内核分段时补算,应用无感,但抓包验证时每段都是合法独立数据报。
UDP_SEGMENT 之前其实有过两代「攒包」尝试,知道它们有助于理解生态:sendto 带上 MSG_MORE 标志,内核把本次数据先攒在 socket 里不发出,直到下一次不带标志的调用才把攒下的内容一并送出——攒到何时由应用掌控;socket 选项 UDP_CORK 是它的常驻版,打开后持续攒包、关闭时一次性放行。两者都能减少 syscall,但语义是「合并成一个数据报」,攒大了照样受 64 KB 与 MTU 的双重约束,凑不满就延迟发送——对实时性敏感的负载是负资产。UDP_SEGMENT 的本质区别在于「边界保留」:线上发出的仍是分段尺寸的标准数据报,实时性与聚合收益兼得,这也是它成为 QUIC 标配而 MSG_MORE 始终是小众手段的原因。
GRO:接收侧把碎片拼回去
接收侧的镜像机制是 GRO(Generic Receive Offload):网卡驱动的 NAPI 收包循环里,把同流的连续小包合并成一个大 skb 再进协议栈,TCP 因流量本来就是字节流语义、合并无损收益巨大;UDP 麻烦在语义——两个独立数据报合并成一个,对接收进程来说是「边界变了」,传统语义下内核只对隧道与转发场景放心地做 UDP GRO。普通应用想吃这口红利要显式声明:UDP_GRO socket 选项打开后,内核把发往该 socket 的同流小包在驱动层合并,应用 recvmsg 读到的直接是最大 64 KB 的大数据报。发送侧 GSO 与接收侧 GRO 一配对,一次 syscall 发几十段、一次 syscall 收几十段,两端账单同时坍缩。接收侧还有个实现细节影响收益:GRO 合并在每个 RX 队列的 NAPI 轮询里做,多队列网卡上同一个 UDP 流若被 RSS 哈希到不同队列,跨队列合不了——好在同一五元组的包哈希必然同队列,天然满足;受影响的是应用自己做了多路复用、多个对端往同一 socket 发的场景,聚合率按流数打折。
用 GRO 的应用还有两处接口细节。其一,读取缓冲区要按大块准备:recvmsg 的缓冲区小于合并后的大数据报时,数据被截断(MSG_TRUNC 标志置位),按段尺寸预留 64 KB 以下的最大块最省心。其二,应用需要知道「这一个大块原本是几段」——内核通过辅助消息把合并时的分段尺寸带回(GRO 关闭或单包时该信息退化为 1),QUIC 库据此把大数据报按原边界切回,加密与 ACK 逻辑按原始包序号工作。发送侧分段尺寸与接收侧还原尺寸共用同一个协商值,两端配置一致时整条链路的包边界完全对称,这是「聚合但不破语义」能够成立的技术底座。
缓冲区与丢包:UDP 的另一本账
与 TCP 篇的自动调优对照,UDP 的缓冲区故事朴素得多:接收缓冲区固定按 SO_RCVBUF(缺省值即 net.core.rmem_default),没有自动伸缩,溢出即丢包——应用读得慢,内核只能把装不下的数据报扔掉,计数落在 /proc/net/snmp 的 Udp 段(RcvbufErrors 与 InErrors 同步上涨),这是 UDP 高 PPS 场景最常见的静默性能杀手:不报错、不重传、上游毫无感知,只有计数器在涨。发送侧对称:sndbuf 满时非阻塞 send 返回 EAGAIN,阻塞 send 等待腾出空间——QUIC 库自己管理重传,sndbuf 满通常意味着协议栈在帮它「背压」,反而是健康信号。调优原则也随之明确:UDP 接收缓冲按「链路突发量 × 应用处理延迟」预算,宁可给足 SO_RCVBUF(记得它受 rmem_max 封顶)也别让计数器默默上涨;丢包敏感的 UDP 应用要养成把 Udp 段计数进监控大盘的习惯——TCP 丢包有重传语义兜底,UDP 丢包直接等于业务受损,观测只能前置。
QUIC 与媒体流:谁在吃这份红利
收益最大的两族负载值得点名。第一族是 QUIC:HTTP/3、各类自研传输层都建在 QUIC 上,QUIC 的包恰好按接近 MTU 的尺寸设计,与 UDP_SEGMENT 的分段粒度天作之合——主流 QUIC 实现(ngtcp2、quiche、MsQuic 等)都已内置 GSO 支持,探测内核能力后自动启用。部署侧的连带收益也别漏掉:QUIC 服务在高 PPS 下还会吃 sendto 的锁竞争,GSO 把调用数降两个数量级,锁竞争跟着消失。第二族是大码率媒体流与工业遥测:毫秒级分包的 RTC 流、雷达点云推送这类「小包洪水」负载,历史上靠把包攒大换吞吐(牺牲实时性),GSO/GRO 提供了「保持包边界、共享大块事务」的第三条路——实时性协议的包边界语义保留,性能账单按大块计。两条配套的运维提醒:其一,虚拟化与容器路径要逐跳确认——veth 与主流网卡驱动支持 GSO/GRO,但跨 OVS、跨部分云厂商的虚拟网络组件时大块会被拆散或直接不支持,QUIC 网关上 GSO 生效与否用 strace 数 sendmsg 调用量立判(每秒几万次说明没生效,几百次说明在生效);其二,抓包看线上尺寸与 strace 看调用次数是最小观测组合,tcpdump -i any udp 里若出现超过 MTU 的 UDP 长度字段,说明 GRO 合并正在被你亲眼看到(抓包点在驱动之后),正常。
工程现场:一个 QUIC 网关的 syscall 账单
场景:QUIC 视频转推网关,每秒发送约 40 万包,4 个核几乎全耗在内核态,strace 显示 sendto 占绝对多数。改造路径分三步。第一步,确认内核与网卡能力:内核版本满足 UDP_SEGMENT 要求、网卡支持校验和卸载(ethtool -k 看 tx-checksumming),路径上没有会拆大块的中间组件。第二步,QUIC 库开启 GSO(主流实现是配置项或自动探测),并把 socket 发送缓冲确认能装下 64 KB 大块;接收侧在同一 socket 上打开 UDP_GRO。第三步,压测对账:strace 统计 sendmsg 调用从每秒数万降到数百,内核态 CPU 占比腰斩,同样码率下网关从 4 核缩到 1.5 核。踩过的坑记录两个:一是 PMTU 探测缺失——某个机房路径 MTU 是 1450 而分段尺寸按 1500 算,整笔 sendmsg 报错,QUIC 库自动降段尺寸后恢复(错误处理必须覆盖 EMSGSIZE 类返回);二是与 SO_SNDBUF 的相互作用——框架里遗留的小缓冲区设置让大块写入失败,摘掉显式设置后按 TCP 篇的思路交给默认缓冲。
# 现场三件套:能力确认、调用计数、线上尺寸
ethtool -k eth0 | grep -E 'tx-checksumming|generic-segmentation'
strace -c -p <网关pid> -e trace=sendmsg,sendto -- timeout 10 # 数 syscall
tcpdump -i eth0 -c 20 udp -vv | grep 'length' # 线上包尺寸
收束
UDP 栈的快是路径短,贵是按数据报计价;GSO/GRO 的解法是让协议栈按大块工作、把分段与聚合推迟到出口与入口一次完成:发送侧 UDP_SEGMENT 一次写 64 KB、按段切开发出,接收侧 UDP_GRO 把小包拼回大块读取,两端 syscall 账单同步坍缩。三句话带走:UDP 性能调优第一课是数 syscall,strace 的调用次数直接决定要不要上 GSO;分段尺寸跟着路径 MTU 走,EMSGSIZE 与探测逻辑是必答题;QUIC、RTC、遥测这类「包小、量大、边界敏感」的负载是最大受益者,跨虚拟化路径逐跳确认 GRO 没被拆散。
读者留言
COMMENTS 暂无还没有留言,来说第一句?