操作系统内功 · 第 74 篇|块设备栈与 blk-mq

一笔写请求的旅程:从 write 到 bio

从 submit_bio 到 NVMe 完成中断的块设备栈全链路图

故事从应用层的一句 write 开始。如果是普通文件写,数据先进页缓存,write 系统调用本身在缓存页标记为脏后就返回了,真正走向磁盘的是稍后的回写;如果是 O_DIRECT 写,则直接构造 IO 走块层。无论哪条路,最后都汇到同一个入口——submit_bio:内核把「往哪块盘、哪些内存、读还是写」打包成一个 bio 结构体,里面是一串 bio_vec,每个元素描述一段连续内存(一个 page、偏移、长度),前后拼起来就是这笔 IO 的完整数据布局。bio 是块层的通用语言:文件系统回写、直 IO、交换分区,所有的磁盘请求都换算成 bio 递进来。

块层拿到 bio 后的第一件事不是立刻下发给设备,而是尝试合并。相邻或重叠的 bio(比如同一文件的连续几页)会拼进同一个请求(struct request),请求里的段数与总长上限受设备能力约束。合并这件事的价值巨大:设备侧的一次寻址与命令开销被多份数据摊薄,顺序 IO 的吞吐优势就是这么攒出来的。除了相邻合并,块层还支持前端合并与后端合并——新 bio 恰好补在某个既有请求的空洞上,同样并进去。可以说,块层在「把小 IO 变大 IO」这件事上从不含糊。

flowchart TD
    A["write 系统调用"] --> B{"走哪条路"}
    B -- "缓冲写" --> C["页缓存标脏<br/>稍后回写"]
    B -- "O_DIRECT" --> D["直接构造 IO"]
    C --> E["submit_bio<br/>bio 描述数据布局"]
    D --> E
    E --> F["plug 聚合队列<br/>批量尝试合并"]
    F --> G["IO 调度器<br/>排序与限流"]
    G --> H["blk-mq 软件队列<br/>每 CPU 一份提交上下文"]
    H --> I["硬件队列 hctx<br/>映射到设备提交队列"]
    I --> J["NVMe 提交队列 SQ<br/>写 Doorbell 门铃寄存器"]
    J --> K["设备 DMA 执行<br/>完成后写完成队列 CQ"]
    K --> L["MSI-X 完成中断<br/>blk_mq_complete_request"]
    L --> M["回收 tag<br/>唤醒等待者,IO 完成"]

plug:把散装 bio 拼成整车

merge 有个天然的好机会窗口:回写线程往往是成批拿到脏页的,如果每页单独提交,块层只能看到一页一页的小 bio,合并无从谈起。plug 机制正是为此设计:提交线程在开工时把一个「插头」插在自己身上(current 任务结构里的 plug 队列),期间产生的请求先进这个私有的聚合队列,攒到一定量或路径结束(blk_finish_plug)时统一拔插头、批量放出。批量放出的瞬间,块层拿到了「一批彼此相关的请求」,合并、排序、按队列分组的效率全部拉满。

plug 还有对付「攒着攒着没人催」的后手:空闲 plug 定时器。如果提交线程聚合后长时间不调用 finish(比如主动睡了),定时器到点会替它把积压的请求放出去,避免请求无限期滞留、读请求被后面的写请求拖延。对数据库这类「应用自己 fsync 触发提交」的负载,plug 的效果体现在「同一次 fsync 的多个相邻页」合并成一两个大请求;对「回写线程大批量刷页」的负载,效果则是请求尺寸的显著上升——iostat 里 avgrq-sz 变大、请求数下降,就是 plug 在干活的外部证据。

bio 的下一段旅程:拆分与能力对账

合并之外,块层还要对另一件事负责:把 IO 的形态适配到设备能力上。一笔 bio 的段数与总长度可能超出设备的描述符限制,块层负责把它拆成多个合法的请求,这个过程对提交方完全透明——文件系统提交一笔跨几十个物理页的大 bio,设备侧收到的可能是两三个请求。反过来,设备支持的原子写、擦除粒度(闪存类介质)等能力,也都通过块层的 queue limits 结构暴露与强制。理解这层「能力对账」,就能解释一些反直觉的观测:应用明明写了一笔 1MB,iostat 里却拆成了多笔 512KB 甚至更小的请求——不是设备丢了数据,是设备队列的段数上限在那儿卡着。

bio 在栈里的生命周期还有一处值得标记:提交方可以挂回调(end_io),请求完成时块层沿回调链逐层通知——文件系统用它解锁页、更新映射,直接 IO 用它唤醒等待线程。整条链是异步的:submit_bio 返回不代表数据落盘,fsync 的全部意义就是把这条异步链强制收口到「确认完成」为止。块层的所有延迟指标(await 之类)统计的正是「请求进队列到完成回调触发」的全程。

blk-mq 的两级队列:为什么要拆成软件与硬件

blk-mq(multi-queue block I/O subsystem,随 Linux 3.13 进入主线)解决的是老架构在高速设备上的规模问题。老的单队列模型里,一块设备只有一条请求队列、一把队列锁,提交、派发、完成全在这把锁下串行。机械盘时代没问题——设备本身每秒只能吃几百笔请求,锁的容量远大于盘的胃口。NVMe 时代反过来了:一块盘动辄几十万笔每秒,锁竞争先于设备能力成为瓶颈,CPU 核数越多锁越热,设备越快越喂不饱。

blk-mq 的答案是把队列拆成两级。软件队列每 CPU 一份:每个核提交请求时操作自己的队列,零锁竞争,请求分配也从每核的 tag 池里走。tag 的设计值得多看一眼:它是块层与设备事先约定的「slot 编号」,设备完成哪笔请求就用哪笔的 tag 报数,驱动凭编号直接定位请求结构,完成路径上不需要回查任何共享容器。in-flight 的上限就是 tag 池的总容量,nr_requests 调的正是这个池子的大小;池子耗尽时提交方被限流排队——这既是自我保护(别把设备的命令队列撑爆),也是给上层自然反压的机制,队列深度与设备能力的匹配关系由此建立。

硬件队列对应设备侧的提交队列,数量由设备报告(NVMe 盘通常与核数同级);软件队列与硬件队列之间有映射关系,通常按亲和性对齐,让每个核的请求最终进入「离自己最近」的设备队列。派发时请求从软件队列流向硬件队列,也支持核间借用空闲硬件队列(比如另一个核空了,借用它的硬件队列减少中断扩散)。这套设计的要义是:把「竞争」从一个全局点拆散到「每核本地」,快路径全部无锁,慢路径再谈协调。

NVMe 的 SQ/CQ 与 Doorbell:设备侧怎么接

blk-mq 的硬件队列在 NVMe 设备上落地为提交队列(SQ)与完成队列(CQ)对:驱动把请求写成队列里的命令条目,然后向设备的 Doorbell 门铃寄存器写一次「新命令下标」——设备收到门铃信号便从 SQ 取命令 DMA 执行;执行完毕设备把完成条目写进 CQ,触发对应中断通知驱动回收。SQ/CQ 的对数上限在规格上非常大,实际创建数由驱动按核数与设备能力协商,每对队列独立运作,天然并行。理解了这对队列,就理解了 NVMe 与老 SCSI 体系的本质差异:命令通道本身就是多队列的、无锁的、面向核数扩展的。

完成中断与亲和性对齐:别让完成的账单跨核

一条容易忽视的细节是完成中断的落点。NVMe 驱动加载时会把每条完成中断的亲和性提示设为对应硬件队列的核位——哪个核提交的请求,完成中断尽量回到哪个核,完成处理时该核缓存里的请求数据与请求结构都是热的。一旦有人为了别的目的把中断重定向(比如粗暴地把全部向量钉到一个核),完成处理就变成跨核 IPI 加缓存互踩,深延迟与锁竞争同时出现。所以块设备调优与网络调优共享同一条纪律:先看 /proc/interrupts 的分布是否与队列映射对齐,再看别的。

观测入口与调参清单

块层的观测面很宽,按排查目标挑入口。看总体延迟与饱和度用 iostat -x:await 是请求平均驻留时间(排队加服务),aqu-sz 反映在途深度,util 高而 await 平稳说明设备有胃口,await 随负载暴涨说明排队是主因。看队列拓扑用 /sys/block/nvme0n1/mq/:每个目录对应一个硬件队列,cpu_list 文件列出映射的核位,是核对亲和性的原始账本。看请求层细节,块层的 trace 点(blktrace 或 bpftrace 挂 tracepoint)能给出每笔请求的排队、合并、派发、完成时间线,延迟分解到毫秒级。调参入口集中在 /sys/block/*/queue/ 下:nr_requests 控制队列深度上限,scheduler 换调度器(下一篇的主角),read_ahead_kb 管预读。每项调整都要配合 iostat 前后对照,块层调参的杠杆效果大,胡乱拧的负作用也大。

提交侧还有一条与现代异步框架相关的支线:io_uring 的直 IO 路径同样最终落进 submit_bio 与 blk-mq 的队列,但它把「等完成」从系统调用循环里解放成事件收割,让同一个队列深度支撑更高的并发提交。对块层而言它只是又一位提交方,队列结构与 tag 机制完全不变——这也是检验 blk-mq 抽象质量的最好注脚:换一种提交风格,栈的下半部纹丝不动。

# 队列拓扑:硬件队列与核的对应
for d in /sys/block/nvme0n1/mq/*; do
  echo "$d -> $(cat $d/cpu_list)"
done

# 总体延迟与深度
iostat -x nvme0n1 1

# 单笔请求的时间线(tracepoint 直挂)
bpftrace -e 'tracepoint:block:block_rq_issue { @start[args->dev, args->sector] = nsecs; }
tracepoint:block:block_rq_complete /@start[args->dev, args->sector]/ {
  @usecs = hist((nsecs - @start[args->dev, args->sector]) / 1000);
  delete(@start[args->dev, args->sector]);
}'

两个调优实录

场景一是数据库主机的 fsync 长尾。现象:事务提交的 fsync P99 偶发数毫秒尖峰,磁盘 util 不高。排查看队列拓扑发现完成中断被某监控脚本重定向到了固定核,提交核与完成核分离导致每次完成都跨 NUMA,同时重定向打乱了 NVMe 驱动预设的亲和性提示。恢复默认亲和性(按硬件队列核位)后尖峰消失。结论对应前文那条纪律:块设备的完成中断亲和性不是自由发挥的区域,它跟队列映射是配套设计,动了就要测。

场景二是高并发缓冲写的聚合失效。某日志服务改成多线程直写后,iostat 显示请求数暴涨、请求尺寸骤降、吞吐反而不如从前单线程版本——每线程独立提交,plug 没有机会聚合,块层收到的是一堆四散的小请求。改法回到聚合主线:线程内先攒批次再统一提交(让 plug 在单次提交区间内吃到整批),并把写路径按文件分片降低互抢。改完 avgrq-sz 回升数倍、请求数下降同量级,吞吐恢复。两案合起来的启示一致:blk-mq 把提交并行度做满了,但「请求的形态」(大小与相邻性)依然由上层决定,设备的胃口要靠上层喂。

收束:多队列的通用设计课

blk-mq 的价值不止于块层。它是一份通用的多队列设计教材:把全局瓶颈拆成每核本地的快路径(软件队列与 per-CPU tag 池)、把设备能力映射为可并行的硬件通道(SQ/CQ 对)、用编号握手替代共享结构(tag 回报完成)、用亲和性对齐保持缓存热度(提交与完成同核)。这套模式与网络栈的 RSS 多队列(第 71 篇)、per-CPU 变量(第 69 篇)一脉相承——现代内核应对多核高速设备的答案高度一致:本地化提交、并行化通道、最小化共享。下一篇把镜头对准 blk-mq 框架上可插拔的那一层:mq-deadline、BFQ 与 kyber 三种 IO 调度器,谁该坐在你的 NVMe 前面。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?