操作系统内功 · 第 75 篇|IO 调度器:mq-deadline、BFQ 与 kyber

从「谁先下盘」说起:调度器为什么还活着

IO 调度器在块设备栈中的位置与四种策略对比图

机械硬盘时代,调度器的存在理由近乎不言自明:磁头移动是整个盘最贵的动作,让请求按磁道顺序排队、把相邻扇区的读写合并起来,吞吐就能差出数倍。电梯算法的名字就来自这个隐喻——请求像等电梯的乘客,沿途捎带、顺路停靠。但 SSD 与 NVMe 抹平了寻道成本,深度动辄几十上百的设备内部队列让「排队 reorder」失去了大部分意义,于是一个自然的疑问出现了:调度器是不是可以退休了?答案是否定的。它的职责从「优化物理布局」收缩成了三件仍然不可替代的事:在并发提交者之间做排序与合并的收口、按负载特征控制派发节奏(谁先走、一次放多少)、以及在多用户多 cgroup 的机器上分配下盘的机会。策略各不相同,职责没有变。

现代内核把调度器做成 blk-mq 框架上的可插拔模块,同一台机器不同盘可以各挂各的策略。《操作系统内功 · 第 74 篇|块设备栈与 blk-mq》拆过请求从 submit_bio 到硬件队列的全程,本文聚焦其中被刻意跳过的一环:请求进入调度器之后发生了什么,四种主流策略分别用什么数据结构回答「下一个派发谁」,以及工程上怎么选、怎么观测、怎么踩坑。

flowchart TD
    A["多个进程并发提交 bio"] --> B["blk-mq 提交路径<br/>plug 阶段先合并相邻请求"]
    B --> C{"盘上挂了调度器吗"}
    C -- "none 直通" --> D["直接进硬件队列 hctx<br/>顺序即到达顺序"]
    C -- "有调度器" --> E["按策略入调度队列<br/>deadline 红黑树 / BFQ 预算树 / kyber 令牌"]
    E --> F["派发循环:按策略挑请求<br/>读优先、权重公平或延迟达标"]
    F --> G["交给 hctx 与驱动<br/>Doorbell 通知设备"]
    D --> G
    G --> H["设备内部自行排序执行<br/>完成中断逐个回执"]

调度器在块栈里的准确位置

请求的旅程分四段:文件系统或应用调用 submit_bio 产生请求,blk-mq 先过 plug(插件队列,短暂攒批合并),然后进入「软件队列」。软件队列有两层:per-CPU 的 software context 与硬件队列 hctx。当设备挂了调度器,请求并不是直接进 hctx,而是先挂进调度器自己的调度队列(每个 hctx 一套),由派发循环按策略挑出来再移交 hctx。这也是 mq-deadline 名字里 mq 的由来:它是 multiqueue 原生的调度器,数据结构按 hctx 分片,没有全局锁;老的 deadline、noop、CFQ 是单队列时代的产物,在 blk-mq 普及后陆续退役——CFQ 在内核 4.x 后期被移出主线,桌面场景由 BFQ 接棒,noop 的「不排」由 none 承担。

这个位置决定了调度器能看到什么、看不到什么。它看到的是合并后、带方向的请求,看不到文件系统层面的语义(哪个 inode、哪种日志模式),也管不到设备内部把并行命令如何重排。所以「调度器解决不了设备内部的排队」与「应用层自己排队绕不开调度器」是两句同时成立的话——理解边界,才不会把优化加错层。

mq-deadline:两条红黑树与两个过期时钟

mq-deadline 的核心思想一句话:读写分开排队,谁快到期谁先走。每个 hctx 上按优先级各挂一组结构:读、写请求分别放进按到期时间排序的红黑树,同时各有一条 FIFO 链表记录到达顺序。到期时间是「请求进入时间加过期阈值」——默认配置量级是读 500ms、写 5000ms,可以在 /sys/block/<盘>/queue/iosched/ 下改 read_expire 与 write_expire。派发时优先看读树:只要读没到期限,按红黑树顺序(同期限内再按扇区号)批量放行 fifo_batch 个(默认 16);读树空了或读持续被写挤占时,再看写树。为了避免写被读永远压制,计数器 writes_starved(默认 2)约定:每派发一批读之后,必须穿插派发至多这么多批写,防止写饿死。

读优先不是偏爱,而是延迟特征的差异:读通常在关键路径上(应用在等数据才能继续),写可以异步慢慢刷。mq-deadline 没有权重、没有 cgroup 带宽分配,它只对「延迟对冲」负责——这既是它简单高效的原因,也是它不适合多租户公平场景的原因。对单业务的数据库盘、虚拟机里的一块系统盘,它几乎是默认答案。两个细节值得补一笔:合并只发生在同方向请求之间,读写在红黑树里各排各的,front merge(新请求头接在已有请求前面)默认关闭、可以用 iosched 目录下的 front_merges 打开,换来的预读收益要先付出每次插入多一次前驱查找的代价;较新的内核还把 ioprio 的实时档接进了派发优先级,ionice -c 1 标记的关键读会在结构组里被单独排队照顾,这也是它在数据库场景里比裸 none 多出的那一点弹性。

BFQ:把 CPU 调度的公平搬到磁盘

BFQ(Budget Fair Queueing)把 CFQ 想做而没做好的事做完了:按进程与 cgroup 的权重分配设备服务份额。每个同步请求流归入一个 BFQ 队列,按权重拿到「预算」(以扇区服务量计),轮到谁就派发到预算耗尽或队列清空,再轮换下一家;ionice 的等级与 cgroup 的 io 控制器权重都能映射进来。它还针对机械盘保留了「同步队列空转等待」的技巧——队列刚派发完不立刻切走,稍等一个寻道周期,让同一进程的下一个请求接上,保持局部性。BFQ 在内核 4.12 前后合入主线,对桌面交互、HDD 混合负载、容器多租户是重武器。

代价是记账本身:每个请求的进出都要维护预算与队列状态,BFQ 的文档自己都承认在极快的设备(深队列 NVMe)上这部分开销可能得不偿失——设备本来就快到不需要公平调度,调度器的 CPU 反而成了瓶颈。所以 BFQ 的适用面很清晰:慢介质、多租户、对交互延迟敏感的机器。

kyber:先定目标,再谈队列

kyber 走的是第三条路:不追求绝对公平,也不只对冲读写,而是直接「以延迟目标为纲」。它把请求分成读、写、同步、discard 几个域,每个域配一个目标延迟(如读类目标毫秒级),再给每个域一批「令牌」——令牌数量按设备队列深度伸缩,域内请求只有拿到令牌才被派发。内核持续观测每个域的实际完成延迟:达标则放宽令牌、放开吞吐;超标则收紧令牌、压制该域的并发,让延迟回到目标线。整个机制状态极少、没有每请求的复杂记账,专为快速多队列设备设计。对「我清楚知道读 P99 要压在 2ms 内」这类有明确 SLO 的负载,kyber 是把意图直接写进块层的工具。

none:直通与它真正适合的场景

none 不是摆设,而是一个明确的设计决策:什么都不调,请求按到达顺序直接进 hctx。适合它的是两类设备:一是 NVMe 固态盘——设备内部硬件队列本身就是优秀的调度器,硬件有自己的仲裁策略,软件再排一遍纯属画蛇添足;二是应用自带调度语义的场景——数据库往往有自己的读写优先级与预读策略,块层再插一手反而打乱节奏。不少数据库厂商的 NVMe 部署指引直接写 none。注意 none 只是跳过调度队列,plug 阶段的合并、blk-mq 的 per-CPU 软件队列仍然在工作——「无调度器」不等于「无收口」。

换装与观测:sysfs 上面的几个开关

调度器是运行时可换的,改的是 /sys/block/<盘>/queue/scheduler,立即生效、无需重启或重新挂载。下面这段 shell 是一次完整的换装与观测流程,可以直接在测试机上跑:

# 查看当前与可选的调度器(方括号括住的是当前生效项)
cat /sys/block/nvme0n1/queue/scheduler
# 输出形如:[none] mq-deadline kyber bfq

# 切换到 mq-deadline,并查看它的可调参数
echo mq-deadline > /sys/block/nvme0n1/queue/scheduler
ls /sys/block/nvme0n1/queue/iosched/
cat /sys/block/nvme0n1/queue/iosched/read_expire     # 读过期阈值(毫秒量级)
cat /sys/block/nvme0n1/queue/iosched/writes_starved  # 读写穿插的批次数

# 用 fio 制造读写混合压力,另一终端观测延迟分布
fio --name=mix --rw=randrw --rwmixread=70 --bs=4k \
    --iodepth=32 --runtime=30 --time_based --filename=/tmp/fio-test

# 观测设备级延迟与队列深度(await 与 aqu-sz 是关键列)
iostat -xz 1

想让选择跨重启生效,写一条 udev 规则比每次开机 echo 稳妥:ACTION=="add|change", KERNEL=="nvme0n1", ATTR{queue/scheduler}="none"。观测层面,iostat 的 await(每请求平均等待)与 aqu-sz(平均队列深度)能粗判调度器是否在「压队列」;需要更细的每请求延迟分布,可以用 bpftrace -e 'tracepoint:block:block_rq_issue { @start[args->dev] = ... }' 之类脚本打点,或直接看 /sys/block/<盘>/inflight 的实时在途数。判断调度器有没有帮倒忙的最快方法:同一负载下分别用 none 与当前策略跑 fio,对比 P99 与吞吐,赢的留下。

两个工程现场

现场 A:数据库主机上 NVMe 的调度器之争

某金融库容项目,NVMe 阵列上跑 PostgreSQL,DBA 按老经验把调度器设成 bfq「求公平」,结果压测吞吐掉三成,iostat 显示 aqu-sz 长期压在个位数——BFQ 的预算记账限制了在途请求深度,NVMe 的并行能力被人为封顶。换成 none 后吞吐恢复,P99 写延迟反而更稳:设备内部仲裁比软件公平算法更适合深队列硬件。同机另一块 SATA SSD 放归档日志,保留 mq-deadline 读优先,慢介质上的读写对冲依然有价值。这个现场的结论值得写进部署手册:调度器跟着介质与并行深度走,NVMe 深队列选 none 或 kyber,SATA/虚拟盘选 mq-deadline,HDD 多租户才轮到 BFQ。还有一个隐蔽坑:虚拟机里的 virtio-blk 盘,宿主机已经排过一遍队,Guest 内再挂重策略就是双层排队,Guest 侧直接 none 通常更好。

现场 B:HDD 台式机备份时的交互卡顿

一台机械盘笔记本, nightly rsync 全盘备份启动后,桌面点击文件管理器要等七八秒,打字都不跟手——备份的顺序大读把交互小读压在队列尾部。处理分两步:调度器换 bfq(交互流天然是高权重同步队列),再给备份任务降级 ionice -c 3(idle 级),让它在有余力时才占满盘。改完后备份照跑,前台操作回到亚秒级。如果这台机器是服务器且备份走独立 cgroup,则用 io 控制器权重(cgroup v2 的 io.bfq.weight)替代 ionice,把「备份占多少」变成可配置的配额而不是靠自觉。两种做法的底层是同一件事:BFQ 把「谁让谁」从运气变成了显式参数。

选型口诀与避坑清单

最后把选型与踩坑收拢成几条可以直接抄进 runbook 的规则:

  • 先看介质再看负载:NVMe 深队列默认 none;SATA SSD 与虚拟机盘默认 mq-deadline;HDD 混合负载与桌面默认 BFQ;有明确延迟 SLO 再考虑 kyber。
  • 调度器不解决「写把读压死」的所有问题:如果写延迟本身不可接受,先看 fsync 频率与队列深度(iodepth 打满时任何调度器都在排队),再谈策略。
  • 别在快设备上叠重记账:BFQ 在深队列 NVMe 上可能让 CPU 先于设备饱和,压测数据会直接打脸。
  • 切换即时生效但要防漂移:udev 规则或配置管理固化,避免机器重启后被发行版默认值悄悄改回去。
  • 双层排队要警惕:虚拟机盘、硬件 RAID 卡后面都自带一层排队,Guest/主机侧的调度器语义会被稀释,通常选 none 让下层全权负责。
  • cgroup v2 的 io.cost 是另一条分配带宽的路(按成本模型给 cgroup 发额度),多租户限流可以关注,但它与本文的调度器选择是两个维度,不要混为一谈。

下一篇继续在块层往上爬:同一块盘怎么被 device-mapper 切成 linear、striped、mirror、thin 各种「假盘」,LVM 的三层账本与 thin pool 的精简置备,那是容器与云盘底层天天在用的机制。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?