窗口即吞吐:一条链路的算术

TCP 的稳态吞吐有个铁律:吞吐量不超过「接收窗口除以往返时延」。接收方广告多大的窗口,发送方在管道里同时飞的数据就最多那么多;RTT 决定每份数据飞多久。两者相乘给出链路能吃满的带宽时延积(BDP):10 Gbps 的链路配 100 毫秒 RTT,BDP 就是约 125 MB——要跑满,管道里必须同时压着 125 MB 在途数据。而内核默认的接收缓冲区上限只有 6 MB(tcp_rmem 三元组的最大值),6 MB 窗口在 100 毫秒 RTT 下的吞吐上限约 500 Mbps:千兆标称的跨地域专线,实测只有半条,不是拥塞控制的错,是窗口的账本根本不够记。理解了这个算术,TCP 缓冲区调优的一切问题都收敛为一句话:让缓冲区的动态范围覆盖链路的 BDP,同时不让海量连接把内存吃穿。
窗口还有一个历史包袱要先卸掉:最初的 TCP 头里窗口字段只有 16 位,最大广告 64 KB,高带宽链路从设计上就跑不满。RFC 1323 的窗口缩放选项(内核 tcp_window_scaling,默认开启)在握手时协商一个缩放因子,把实际窗口放大到 16 位之外——理论上限 1 GB。但缩放因子在握手时定死、不能中途改,这带来一个隐蔽坑:如果握手时接收缓冲区还很小(连接刚建立、自动调优尚未扩容),缩放因子按当时的小缓冲区计算,之后内核就算想广告大窗口也被因子封顶。这就是「长肥管道要在一开始就有足够大的缓冲区预算」的机制根源——自动调优解决「长多少」,握手时机解决「从多大起步」。
接收侧:窗口跟着 BDP 长大
现代内核的接收缓冲区默认是自动调优的(tcp_moderate_rcvbuf=1):连接建立时按 tcp_rmem 三元组的默认值起步,随着数据流入,内核估算这条链路的实际 BDP,把缓冲区与广告窗口同步放大,上限是三元组的第三个值。数据稀疏了,缓冲区再收回来,内存不被闲置连接占着。tcp_rmem 的三个数字是「min 默认 max」——默认值 4096、131072、6291456,即起步 128 KB、封顶 6 MB。自动调优的目标读者是「不知道自己链路多粗」的普通应用,它把大多数场景做到开箱可用;对已知的千兆级长肥管道,要改的就是那个 max 值。接收侧还有一个容易被忽略的换算:缓冲区不是全部变成窗口——内核要留一部分给应用还没来得及读走的排队数据,广告窗口只是缓冲区里「还装得下」的部分,读写阻塞的应用会让窗口实际缩水,这是「调大了 rmem 吞吐还是上不去」时的第二嫌疑人(第一嫌疑人是别把 SO_RCVBUF 设死,后文展开)。
flowchart LR
A["连接建立<br>缓冲区按 tcp_rmem 默认值起步"] --> B["数据流入<br>内核按 RTT 与吞吐估算 BDP"]
B --> C{"估算 BDP 大于当前缓冲区?"}
C -- 是 --> D["扩缓冲区<br>广告窗口同步放大"]
D --> E{"到 tcp_rmem 上限?"}
E -- 否 --> B
E -- 是 --> F["封顶:吞吐上限 = 上限/RTT"]
C -- 否 --> G["维持或缩回<br>内存还给系统"]
发送侧:sndbuf、pacing 与另一本账
发送侧的对称机制常被误解成「sndbuf 决定发送速率」,实际不然。发送缓冲区(tcp_wmem 三元组,默认 4096、16384、4194304,封顶 4 MB)装的是「已发出未确认」与「应用写下未发出」的数据,它限制的是发送方能压多少数据进管道——本质上与窗口同源:对端窗口不够时数据堆在 sndbuf,sndbuf 满了 send() 就阻塞。发送速率的真正节流阀是拥塞控制与 pacing:拥塞窗口决定「网络敢让你发多少」,pacing(配 fq 队列,BBR 的标配)把突发整形为平滑流。sndbuf 的角色更接近「排队仓库」:小 sndbuf 在高吞吐大 RTT 场景会让应用频繁阻塞在 send 上,但在拥塞窗口主导速率的前提下,盲目调大 sndbuf 只是把应用的重试压力换成内存占用。发送侧自动调优同样默认开启,sndbuf 随在途数据增长、随确认回收,上限同样由三元组 max 封顶。发送侧还有一个面向延迟的小旋钮值得知道:net.ipv4.tcp_notsent_lowat(默认不限)可以限制 send 队列里「尚未发出」的数据量,逼着应用在队列积压时提前触发 writable 事件——对代理与网关类转发服务的端到端延迟有实测收益,代价是 syscall 次数增加,吞吐型场景不要开。
封顶关系与显式 setsockopt 的陷阱
缓冲区体系里藏着两层容易混淆的封顶。第一层是自动调优的封顶:tcp_rmem/tcp_wmem 的 max 值。第二层是 net.core.rmem_max/wmem_max——它们封顶的不是自动调优,而是显式 setsockopt(SO_RCVBUF/SO_SNDBUF) 的取值上限:应用手动设缓冲区时,内核把请求值翻倍(内核预留空间的习惯)后与 rmem_max 取小。更关键的语义是:一旦显式 setsockopt,这条连接的自动调优即被关闭——缓冲区从此固定,窗口不再随 BDP 伸缩。这是大量框架与中间件的隐性性能税:某些网络库「为了安全」默认设 1 MB 的 SO_RCVBUF,等于替用户把自动调优焊死在 1 MB,跨地域跑批吞吐直接对折再对折。排查方法与解法都简单:ss -tmi 看连接的缓冲区现值与窗口,凡是不再变化的固定值就是被设死的;解掉 setsockopt(多数框架有开关)让自动调优接管,或确有内存纪律需求时把 rmem_max 调大再设。还有一层全局水位要认识:tcp_mem(按页记账的整机 TCP 内存三阈值)是所有连接缓冲区的总闸,自动调优在系统压力大时主动收缩缓冲区——「单连接调大了还是慢」的第三嫌疑人就是整机水位逼近 pressure 线。
容器里改参数:netns 的隔离边界
调参前还要过一道环境检查:这套 sysctl 大多是按网络命名空间隔离的。容器有独立的 netns,在宿主机上 sysctl -w 改了 net.core.rmem_max 或 tcp_rmem,容器里的进程看到的仍是自己 netns 里的值——「明明调优了没生效」最常见的原因就是改错了命名空间。正确姿势是把调优写进容器的启动配置(Kubernetes 里 pod 级的安全上下文允许改 netns 内的 sysctl)或在容器里执行;反过来看这也是优点,netns 隔离让不同容器可以按业务配不同的缓冲区预算,多租户互不干扰。确认方法也简单:在容器与宿主机各跑一次 sysctl net.ipv4.tcp_rmem,两边值不同即证明隔离生效,别再猜。
用一段 python 直接看显式设置的两层语义(翻倍与封顶):
import socket
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
print(s.getsockopt(socket.SOL_SOCKET, socket.SO_RCVBUF)) # 默认值
s.setsockopt(socket.SOL_SOCKET, socket.SO_RCVBUF, 8 * 1024 * 1024)
print(s.getsockopt(socket.SOL_SOCKET, socket.SO_RCVBUF)) # 请求 8 MB,读回的是
# min(16 MB, rmem_max 附近值)
# 读回值与请求值不一致时,说明被 rmem_max 封顶且自动调优已关闭;
# 生产上应先 sysctl 调大 net.core.rmem_max,或干脆不设让 autotuning 接管。
观测入口:把窗口账本读出来
调优的每一步都需要现场证据,入口就是 ss -tmi。传输中途抓一条连接看输出,关键字段逐个对号:cwnd 是拥塞窗口(发送端视角的「网络允许」),rcv_space 与 rcv_ssthresh 是接收端自动调优的中间状态(窗口估算值在爬坡的痕迹),send 后面跟的是当前发送速率估算,unacked/retrans 是在途与重传计数,skmem 里的 r 与 w 是缓冲区的实际分配量与水线。窗口缩放的协商结果也在其中(wscale 字段给出双向因子)——链路两端因子为 0 就是缩放没开或没协商上,大窗口无从谈起。把「预期吞吐 = 窗口上限 / RTT」与实测对账,缺口在哪一层一目了然:窗口没长大是缓冲区上限问题,窗口长大了吞吐没跟上要查丢包与拥塞,缓冲区恒定不变是显式设置问题。压测验证的标配组合是 iperf3 配 ss:iperf3 -c <对端> -t 30 跑的同时在另一终端循环 ss -tmi 'sport = :5201' 采样,一分钟内窗口曲线、吞吐曲线、重传计数三线齐备。
应用读写行为如何吃掉窗口
账本还有最后一层变数:窗口是「缓冲区减去应用没读走的数据」。接收端应用读得慢,数据在缓冲区堆积,广告窗口同步缩水,极端时降到零窗口——发送端完全停等,直到应用读走积压、窗口探活恢复。这一层机制解释了两类诡异现场。其一,「调大了 tcp_rmem 吞吐照旧上不去」:缓冲区上限确实大了,但应用是单线程逐条处理,读速率就是瓶颈,窗口被读速率顶死——解药在应用侧(批量读、异步化、多消费者),不在 sysctl。其二,「偶发整条连接停摆几秒」:接收端短促卡顿(GC、慢查询)把窗口压到零,发送端进入零窗口探测模式,恢复节奏依赖对端与探测周期的交互,长肥管道上一秒卡顿放大成数秒停摆——观测特征是传输中途 rcv 窗口骤降归零再回升,配合接收端 GC 日志时间线完全吻合。这类问题的处置顺序永远是先看应用读速率、再谈缓冲区,方向反了会把应用问题误诊成内核问题。
工程现场:跨地域跑批与框架税
现场一,跨地域数据同步跑不满。10 Gbps 专线、北京到广州约 30 毫秒 RTT,BDP 约 37 MB,默认 6 MB 上限把吞吐钉在约 160 Mbps。处置:先 ss -tmi 抓传输中的连接,看 recv 缓冲区是否顶到 6 MB 封顶(skmem 字段里的 rb 贴着上限)且窗口不再增长;在接收端调大 tcp_rmem 的 max(例如 64 MB)与发送端 tcp_wmem 的 max,同步确认 tcp_window_scaling 开启;复测吞吐立刻上到数 Gbps。要点有两个:方向别搞反——接收窗口是接收端的账本,调发送端没用;上限值别无脑拉到 GB 级——缓冲区是按连接动态分配的,上限乘以并发连接数才是真实内存敞口,大上限配高并发要把 tcp_mem 与机器内存一起过一遍。
现场二,代理服务的框架税。某自研 RPC 框架为「防内存失控」默认对所有连接设 512 KB 的 SO_SNDBUF,平时无感;一次跨机房大对象传输压测,吞吐只有局域网基准的三分之一,且 ss 里 sndbuf 恒为 1 MB(512 KB 请求翻倍)。定位到 setsockopt 后,方案不是简单删掉——框架的内存纪律有它的道理——而是改成「默认不设,交给自动调优;对设置了传输预算的大对象通道显式设大缓冲区」,并在压测里同时记录吞吐与整机 TCP 内存。两个现场合起来的方法论一致:缓冲区调优不是调参数,是调「动态范围」——先弄清链路 BDP 与并发规模,再让上限、水位与显式设置三者口径一致。
收束
TCP 缓冲区的全部问题收敛于一条算术:吞吐不超过窗口除以 RTT,窗口由缓冲区动态供给。内核的自动调优(tcp_moderate_rcvbuf)按 BDP 伸缩缓冲区,tcp_rmem/tcp_wmem 三元组的 max 是它的封顶,rmem_max/wmem_max 封的是显式 setsockopt——而显式设置会关掉自动调优,是框架代码里最常见的性能税。三句话带走:长肥管道先算 BDP 再改 tcp_rmem 的 max,方向在接收端;ss -tmi 的缓冲区现值是唯一可信现场,恒定不变的值就是被设死的;上限乘并发是内存敞口,tcp_mem 的全局水位与单连接上限要一起过账。
读者留言
COMMENTS 暂无还没有留言,来说第一句?