操作系统内功 · 第 93 篇|rseq:restartable sequences 与无锁计数

无锁代码最怕的不是竞争,是打断

用户态临界区被打断后内核回滚到 abort handler 的原理图

用户态写无锁代码,武器库就三样:原子指令(CAS 一族)、内存屏障、以及「想清楚并发剧本」的脑子。系列此前讲过用户态无锁与内存屏障,也讲过 per-CPU 变量是缓存友好的并发第一杠杆。但有一个底层问题始终悬着:内核抢不走的无锁代码不存在。线程在临界区执行到一半被抢占,等它回来时 CPU 可能已经换了——基于「我还在原来的 CPU 上」的一切假设瞬间作废,per-CPU 数据、缓存的局部指针、乐观读出的状态全部要重新验证。

传统解法是把「验证」做进临界区:进入前读 CPU 编号,干活前再核对一遍还没被调度走,典型手段是 getcpu 加 CAS 提交。可每核对一次就是一次原子操作与一次潜在的缓存行弹跳,per-CPU 数据带来的收益被验证成本吃掉一大半。rseq(restartable sequences,Linux 4.18 合入主线的 syscall)给出了釜底抽薪的答案:把「被打断」变成显式的协议——你声明一段临界区,内核保证它在不被打断的前提下原样执行;一旦真的被打断(抢占、信号、迁移),内核不让你带着错误假设继续跑,而是把执行流直接改道到你的 abort handler,从入口重来。原子性不再靠 CAS 维护,而靠「失败自动重启」。

flowchart TB
    A["线程进入用户态临界区<br>激活 rseq_cs 描述符"] --> B["读取当前 CPU 编号<br>操作 per-CPU 数据"]
    B --> C{"临界区内被打断?<br>抢占 / 信号 / 迁移"}
    C -- "没有打断:跑完" --> D["清除 rseq_cs,正常提交"]
    C -- "被打断" --> E["内核改写返回地址<br>跳到 abort handler"]
    E --> F["丢弃半成品状态,重试"]
    F --> A
    D --> G["结果:全程零 CAS、零锁"]

注册:进程一块 rseq 注册块

rseq 的入口是一次注册:进程把一块符合约定的内存交给内核。这块内存是 struct rseq,几十字节,32 字节对齐,核心字段四个:cpu_id_start、cpu_id、rseq_cs(指针,指向当前激活的临界区描述符)、flags。注册走 rseq 系统调用,签名值 RSEQ_SIG 是一个每架构约定的魔数(x86-64 上是 0x53053053),内核用它校验注册块与 abort 跳板的真实性。注销用 RSEQ_FLAG_UNREGISTER。

#define _GNU_SOURCE
#include <linux/rseq.h>
#include <sys/syscall.h>
#include <unistd.h>
#include <stdint.h>

struct rseq my_rseq __attribute__((aligned(32)));
static uint32_t rseq_sig = 0x53053053;      /* x86-64 的 RSEQ_SIG */

int rseq_register(void)
{
    return syscall(__NR_rseq, &my_rseq, sizeof(my_rseq), 0, rseq_sig);
}

cpu_id_start 与 cpu_id 是内核代为维护的两个读数:cpu_id_start 保证永远是合法的 CPU 编号(内核随手维护,读它不用任何核对),cpu_id 是精确的当前 CPU,线程不在任何 CPU 上运行时为 -1。这两个字段的存在本身就是协议的一部分:临界区里的 per-CPU 索引可以直接读它们,被迁移时内核会在改道 abort 之前把读取结果作废——你读到的编号要么精确有效,要么你根本没机会用。

注册是线程粒度的:每个线程要各自注册自己的 rseq 块,这也是 glibc 自动注册值得感谢的原因——手写代码要在每个线程入口补注册,漏一个线程就是该线程的无保护快路径。临界区本身有两条硬约束要写进肌肉记忆:内部不能有系统调用(进内核本身就是一种打断,协议不覆盖「带着激活的证件进内核」的场景),内部也不能去改 rseq_cs 自己(证件由进入与提交点一进一清,中途变更是未定义行为)。把 rseq 当「带内核监督的短跳转」而不是「通用锁」来用,就不会踩到这些边界。

rseq_cs:临界区的证件

真正的魔法在 rseq_cs。它是 struct rseq_cs 描述符:一个 64 位版本号与标志位、start_ip 与 post_commit_offset 圈出临界区的机器码范围、abort_ip 指向 abort handler。进入临界区前,用户代码把 rseq_cs 填好并把这个指针写进注册块的 rseq 字段——这等于向内核亮证:「下面这段代码(start_ip 到提交点)请按 restartable 语义看护」。临界区结束,清掉指针,证件作废。

内核侧的检查点在每次返回用户态时:如果发现该线程的 rseq_cs 处于激活状态而线程经历过抢占、信号投递或 CPU 迁移,内核不会让你回到临界区中间,而是把用户态返回地址改写成 abort_ip,同时清空激活的 rseq_cs。于是「执行流从 abort handler 重新开始」成为唯一可能的被打断结局——这正是名字里 restartable 的含义。

三类打断事件与 abort 路径

触发改道的事件清单精确且有限:被抢占(调度器决定换人)、收到信号(要回内核跑 handler)、被迁移到别的 CPU。事件发生时线程通常已经身在内核里,内核在返回用户态的收尾处完成改道,代价是一次额外的地址改写,没有复制、没有锁、没有 CAS。对 abort handler 的要求只有一条:无条件重试——从临界区入口重新走一遍,重新读 CPU、重新验证、重新干活。rseq 不提供「中断续跑」,它提供的是「干净地从头再来」。

协议还留了一个精细的旋钮:rseq_cs 描述符的 flags 字段可以按事件类型声明「允许继续」——NO_RESTART_ON_PREEMPT(被抢占不回滚)、NO_RESTART_ON_SIGNAL(信号不回滚)、NO_RESTART_ON_MIGRATE(迁移不回滚)。默认全回滚,声明了对应标志的事件内核就放行,让线程带着原 CPU 假设继续跑。这个旋钮的合理用途极窄:只有临界区的正确性在某个事件下确实不依赖「还在原 CPU」时才能用,比如纯统计累加不在乎发生在哪颗核。默认全开回滚是最安全的选择,除非你能论证为什么某个事件无害——rseq 的设计哲学是宁可达尔文式重来,不给乐观假设留暗门。

这个协议的精妙之处在于把正确性从「预防」换成了「检测加重试」。传统 CAS 循环的每次尝试都要原子写(哪怕大多数尝试没人和你抢);rseq 的尝试几乎全是普通读写,只有被打断的少数尝试才付出重启代价。线程越少竞争、临界区越短,重启率越低,收益越大——它天生是为热路径设计的原语。

per-CPU 计数器:没有 CAS 的原子递增

用 rseq 实现多线程共享计数器,是理解整套协议的最佳练习。目标:多个线程高频自增,读侧随时汇总,全程无锁无 CAS。结构:一个长度为 CPU 数的数组,每个线程递增数组里「自己当前 CPU」的那一项:

/* 概念代码:展示 rseq 临界区的协议骨架 */
uint64_t counts[NR_CPUS];

uint32_t increment(void)
{
    /* 1. 激活临界区描述符(start_ip=本函数临界区,abort_ip=Labort) */
    activate_rseq_cs(&my_cs);

    /* 2. 读当前 CPU;cpu_id_start 保证合法,cpu_id 精确 */
    uint32_t cpu = my_rseq.cpu_id;

    /* 3. 普通自增——无原子指令,无锁 */
    counts[cpu]++;

    /* 4. 提交点:清掉 rseq_cs */
    deactivate_rseq_cs();
    return cpu;

Labort:  /* 被抢占 / 收到信号 / 被迁移时内核改道到这里 */
    return increment();          /* 无条件重试 */
}

正确性论证一句话说清:递增发生在 rseq_cs 激活的窗口内,如果执行到了提交点,说明整个窗口没有被打断,线程全程待在同一个 CPU 上,counts[cpu] 的 cpu 就是写这个值的线程独有的——没有并发写者,普通自增就是安全的;如果中途被打断,执行流被改道到 Labort,半成品自增要么根本没发生、要么发生在「反正也是自己独占」的条目上,重试一遍即可。读侧汇总时把数组全部相加,短时不精确(读的是瞬时快照)在统计场景完全可接受。

快路径上还有一层优化细节:递增可以直接用 cpu_id_start 做索引(它永远合法,读起来零检查),提交前无需再次确认 cpu_id 与 start 一致——因为整个窗口内任何迁移都会触发 abort,能走到提交点就意味着没迁移过,两个读数自然一致。cpu_id 的价值在窗口外:窗口外的代码想知道「我在哪颗核」以决定路由(比如把任务递给同核的 worker),读 cpu_id 即可,-1 表示读数暂不可用需要回退。工程上另一个必备件是降级路径:注册失败(内核太老)的进程要退回「getcpu 加原子加」的传统实现,两套实现共用同一份数组结构,运行期按探测结果分派——tcmalloc 正是这样做的,rseq 可用时走零 CAS 快路径,不可用时自动退回原子指令路径。这个模式生产级地跑在 Google tcmalloc 里:它的 per-CPU 内存缓存用 rseq 维护,分配路径上的每次缓存命中都省掉了传统的 CAS 与缓存行弹跳,多线程高频分配的吞吐提升可观。liburcu 这类用户态 RCU 库同样把 rseq 列为加速选项。

glibc 与内存分配器的落地

现实工程里不需要手写注册:glibc 从 2.35 起自动为每个线程注册 rseq,注册块以公开符号暴露,库与应用可以直接读 cpu_id、挂自己的 rseq_cs。这解决了一个长期的协调难题——过去应用与库各自注册会互相覆盖(一块进程只能有一份注册块),如今 glibc 统一注册、众人共用。手写注册版本(如上面的代码)仍有价值:内核版本较旧、或需要精确控制注册块的构建期工具链,还得走直接 syscall 路线。

读 glibc 提供的注册块还有一层兼容性纪律:不同 glibc 版本的注册块布局可能有差异,消费方应按「读注册块大小字段、只认自己理解的布局」的方式对接,而不是硬编码偏移——这正是内核文档对 rseq ABI 反复强调的原则。实践中多数应用只读 cpu_id_start 与 cpu_id 两个稳定字段、挂自己的 rseq_cs,这个子集在可预见的版本序列里是安全的;直接依赖更大布局的代码则要跟紧 glibc 的变更记录。

适用与不适用的边界要划清。rseq 的临界区必须是极短的纯用户态代码:不能有任何系统调用(进内核本身就是打断)、不能长到让重启代价超过收益、语义上必须可重入重试(幂等的提交、纯函数式的计算)。它不替代锁与 CAS——复杂的复合不变量、跨 CPU 的一致性需求,老老实实回到传统工具。rseq 的生态位非常窄而深:热路径上的 per-CPU 操作、无 CAS 计数、快照读验证,这些原来要靠「getcpu 加双检加 CAS」实现的组合拳,如今一段证件加一个 abort 标签搞定。

工程现场:把统计计数做快

场景一:高性能网关的指标统计。请求计数、字节计数、错误计数每请求多次自增,单次自增用原子加看似便宜,热 CPU 上多线程对齐到同一缓存行时(统计数组天然就是热点)弹跳明显。改造路径:先按 per-CPU 数组把写侧摊开(消除写写争用),再用 rseq 把「读 CPU 加自增」的验证成本压到零。实测收益取决于并发线程数与核数,核心数越多、自增越热,差距越大。

场景二:内存分配器与对象池。高频分配释放路径上的 freelist 索引更新是典型的「短临界区、极高频率」负载,tcmalloc 的 per-CPU 缓存方案用 rseq 后,分配主路径在无竞争场景下完全无原子操作。自研对象池可以照抄模式:每 CPU 一份缓存,取对象走 rseq 临界区,回填与 rebalance 用普通同步。选型判断只看两个数:临界区时长(微秒级以下才值得)与重启率(被打断比例超过几个百分点就说明临界区太长或 CPU 太挤,收益转负)。

一眼收束

rseq 把无锁编程的原子性来源从「原子指令」换成了「内核监督下的失败重启」:注册块是户口,rseq_cs 是临界区证件,抢占、信号、迁移三类打断触发内核改道 abort handler,提交点之后一切结果可信。它的甜蜜区是极短、纯用户态、可重试的热路径——per-CPU 计数与分配器缓存是教科书场景,glibc 2.35 起的自动注册让它触手可及。一句话定位:当你的 CAS 只是为了验证「我还在原来的 CPU 上」时,把它换成 rseq。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?