读多写少时的两难:锁、引用计数与脏指针

设想一张路由表:每个数据包的转发决策都要查它,百万包每秒的流量意味着每秒百万次读;而运维改表一天不过几次。用读写锁保护它,读侧要拿锁、放锁、更新共享的读者计数——每次读都要动同一块缓存行,百万级并发读照样把那根缓存线打成热粥。用引用计数,每个包要对目标对象做一次原子加一减一,成本同样落在共享计数器上。把锁去掉直接暴露指针呢?删表项的瞬间,还有读者正走在那条链上,指针一 free 就是 use-after-free。
这三种方案的共同假设是「读者必须和写者抢占同一份资源」。RCU(Read-Copy-Update)把这个假设掀了:读者随便读,不碰任何共享计数;写者复制一份、在副本上改、再原子地发布新指针;旧版本不急着释放,等内核确认「所有已经起步的读者都走完了」再回收。读者付出的代价趋近于零,写者付出的代价是复杂度与延迟的回收——这是一笔用写侧麻烦换读侧清净的交易,专治读多写少的场景。
flowchart TD
A["读者进入读临界区<br/>rcu_read_lock"] --> B["顺着全局指针走<br/>只读,不碰计数不加锁"]
C["写者要更新数据"] --> D["复制旧版本<br/>在副本上修改"]
D --> E["rcu_assign_pointer<br/>原子发布新指针"]
E --> F["旧版本暂时无人引用<br/>但可能有读者还在走旧链"]
E --> G["synchronize_rcu 或 call_rcu<br/>等待宽限期"]
G --> H["所有起步读者已离开<br/>安全释放旧版本内存"]
B --> I["rcu_read_unlock<br/>读者全程零原子操作"]
核心约定:读者只读指针,写者复制再替换
RCU 的全部魔法建立在一条纪律上:读者通过全局指针访问数据,写者从不原地修改读者可能正在访问的内容,只做复制加替换。读者侧的两个原语负责安全地解引用:rcu_dereference 取指针,在多数架构上它只是一次普通读,只有在 Alpha 这类缓存模型宽松的历史架构上才需要额外的屏障;rcu_read_lock 与 rcu_read_unlock 在可抢占内核里关抢占、在老式实现里干脆什么都不做,就是一对标记读临界区的书签。读侧没有原子指令、没有共享计数器、没有缓存行争抢——这就是「读侧零开销」的字面含义。
写者侧的发布原语是 rcu_assign_pointer:先在私有副本上把数据改完,再用它把新指针写入全局变量,内部保证写屏障顺序,让其他 CPU 看到指针时必然看到完整的副本。链表与哈希表也各有配套的 list_add_rcu、list_del_rcu、hlist_for_each_entry_rcu 等原语:删除时只把节点从链上摘下来,内存稍后释放,还在遍历旧链的读者会顺着节点的 rcu 头部安全走出副本世界。
写者之间的互斥 RCU 不管,需要自己用一把普通的 spinlock 或原子操作保证——两个写者同时复制替换,后发的会覆盖先发的。这个分工很清晰:RCU 管读者与写者的关系,写者之间的关系回到传统同步工具的管辖范围。
宽限期:synchronize_rcu 在等什么
「所有已经起步的读者都走完了」这个时刻,术语叫宽限期(Grace Period,GP)。判断它的思路非常巧妙:内核在每个 CPU 上观察静止点(quiescent state)——上下文切换、进入用户态、进入空闲循环,这些都是「本 CPU 此刻没有任何读者」的可靠证据。写者发起同步等待时,跟踪机制等每个 CPU 都至少经过一次静止点,就能断定所有读临界区都已结束:因为任何读临界区都无法跨越一个完整的静止点而不被发现。为了让这套跟踪在上百核机器上不退化,实现上是分层的:多个 CPU 的状态先汇聚到中间节点,再逐级上报到树根(Tree RCU 的层次化设计)。
synchronize_rcu 就是同步版等待:调用者睡到宽限期结束再继续,然后放心释放旧内存。它简单可靠,但写者要阻塞一个宽限期的时长;call_rcu 是异步版:把回调挂进 RCU 的处理队列,宽限期结束后由内核线程代为执行,写者立刻返回。海量小对象的高频更新尤其适合 call_rcu,还能把多个回调攒批处理;kfree_rcu 是它最常见的语法糖,一行搞定「延迟 free」,省掉手写回收函数。
读侧进阶:三种风味的取舍
内核里 RCU 不止一种。RCU-sched 的读临界区要求关抢占(rcu_read_lock 的老语义),静止点就是上下文切换;RCU-preempt 允许读者在读临界区内被抢占,静止点还包括进入用户态,适合读临界区较长的场景;RCU-bh 面向软中断环境的历史需求。上层接口统一为 rcu_read_lock 一族,内核根据配置把它们映射到对应实现,应用代码基本不用关心差异。另有一个专门允许读者睡眠的变体 SRCU,适合读临界区里要持互斥量、做 IO 的另类场景——代价是每个 SRCU 域要额外维护状态,不会默认启用。
三种回收方案的账本对比
把 RCU 与它的两个竞品放在同一张账本上算账,选择逻辑就清楚了。读侧成本:读写锁的读者要做原子加减与缓存行同步,引用计数每对象两次原子操作,RCU 读者为零。写侧成本:读写锁写者要排他等所有读者放锁;引用计数写者便宜但拖累所有读者;RCU 写者要做复制加发布,还要等宽限期回收,写一次的延迟与内存峰值都更高。内存代价:RCU 在宽限期内要多养一份旧数据,读者越多、临界区越长,旧版本存活的概率越高。适用面:RCU 要求读者不能阻塞、不能长时间逗留,访问路径要能表达成「顺着指针走」的形态。
一句话总结选型直觉:读极多写极少、访问形态是指针遍历、临界区短促——RCU;读写都频繁或需要读者阻塞——读写锁;对象生命周期由外部事件主导、读者数量有限——引用计数。内核里很多热点路径是三者混用:查找走 RCU,修改持自旋锁,个别长命对象再挂引用计数。
内核里 RCU 的主战场
路由子系统是最典型的用户:fib_lookup 一类的查找路径在 rcu_read_lock 保护下遍历路由表,转发平面的每秒百万次查找不碰任何锁;表项增删走写侧加锁加 RCU 发布,与读侧完全解耦。目录项缓存 dcache 的查找同样如此,路径解析是文件系统最热的路径,d_lookup 在 RCU 保护下跑,配合序列计数防止目录项半途被改,删除的 dentry 由 RCU 延迟回收。任务列表的读取(按 PID 找 task 的查找函数族)也走 RCU,否则每个 /proc 扫描都要跟整个进程表的锁较劲。
再列举几个工程上感受得到的用户:网络命名空间的遍历接口要求调用方持有 RCU 读锁;文件描述符表扩容时旧表用 RCU 退役,正在打开文件的读者毫发无伤;SELinux 策略热加载后旧策略对象由宽限期回收;xarray 这类锁内读容器干脆把 RCU 当作原生支持能力,xa_load 可以直接在无锁上下文里调。可以说内核里凡是「全局指针 + 高频查找 + 低频修改」的数据结构,背后都站着 RCU。
用户态移植:liburcu 与应用层的手工实现
RCU 不是内核专属。用户态有成熟的 liburcu(Userspace RCU 项目),提供与内核同形的 API:rcu_register_thread、rcu_read_lock、rcu_dereference、synchronize_rcu、call_rcu 一应俱全,还支持一种更轻的 QSBR 模式——由应用周期性声明「我现在静止了」。它依赖的底层原语之一是 membarrier 系统调用:用户态无须在每个读临界区里放屏障,同步等待时借助内核对全系统发内存屏障,把读侧成本进一步压低。
不引库也能借到 RCU 的思想。应用层的「RCU 风格」最常见形态是配置快照热更新:全局指针指向不可变的配置对象,读者直接读指针;发布者构造完整新配置后原子替换指针;旧对象不立刻释放,而是按「两代」规则延迟回收——结合线程本地的引用标记或简单的时间窗,保证极端情况下的读者也能安全退出。这个模式在网关、风控引擎、特征库热更新里被反复重新发明过,本质就是 RCU 的写者侧协议加一个工程化的宽限期近似。
下面的内核风格示例完整走一遍查找、删除、延迟回收,与 liburcu 的用法几乎同构:
#include <linux/rculist.h>
#include <linux/rcupdate.h>
#include <linux/slab.h>
#include <linux/spinlock.h>
struct route_entry {
struct hlist_node node;
u32 prefix;
u8 plen;
int oif;
struct rcu_head rcu; /* 延迟回收的挂钩 */
};
static struct hlist_head route_table;
static DEFINE_SPINLOCK(route_lock);
/* 读者:每秒百万次的查找路径,全程无锁无原子 */
int route_lookup(u32 dst)
{
int oif = -1;
struct route_entry *e;
rcu_read_lock();
hlist_for_each_entry_rcu(e, &route_table, node) {
u32 m = e->plen == 0 ? 0 : ~0u << (32 - e->plen);
if ((dst & m) == e->prefix) {
oif = e->oif;
break;
}
}
rcu_read_unlock();
return oif;
}
/* 写者:低频增删,摘链与释放分离 */
void route_del(struct route_entry *victim)
{
spin_lock(&route_lock);
hlist_del_rcu(&victim->node);
spin_unlock(&route_lock);
/* 旧读者可能还走在 victim 上,必须等宽限期再 free */
call_rcu(&victim->rcu, route_free);
}
void route_add(struct route_entry *e)
{
spin_lock(&route_lock);
hlist_add_head_rcu(&e->node, &route_table);
spin_unlock(&route_lock);
}
RCU stall:读者逗留过久内核会喊出来
宽限期机制天然自带一套报警器。某个 CPU 上的读临界区迟迟不结束、或者某个 CPU 被长时间关抢占占用,宽限期跨不过去,内核的 RCU 线程等待超时后会在控制台打出 RCU CPU stall 告警:点名拖延的 CPU、打印它的调用栈、说明宽限期卡了多久。生产环境里这条告警非常值得当回事——它几乎是「有人把读临界区写坏了」或者「有人长时间关抢占」的专属信号。常见的元凶包括:在读临界区里调了会睡眠的函数(直接违背约定)、长时间禁抢占的循环(比如某些清理路径在超大内存上工作)、以及调试器或虚拟机快照把某个 CPU 钉住了。
回调侧的积压也有对应症状。call_rcu 挂了一大批回调而宽限期迟迟不过时,回调队列堆积、内存回收延迟,现象酷似泄漏。内核为此提供了若干检查入口:/sys/kernel/rcu_preempt 目录下的统计文件能看清当前宽限期序号、各 CPU 上报状态与回调数量;把回调转发到专属 kthread 的配置(rcu_nocbs 相关,与 CPU 隔离配合使用)则让海量回调不占用业务 CPU 的时间片。做内核模块的团队值得把「读临界区短小、不在临界区里睡眠」写进代码评审清单——RCU 的性能上限完全建立在纪律之上,纪律失守时它给出的故障形态又相对隐蔽,提前布好 stall 告警与统计巡检是性价比极高的保险。
什么时候别用 RCU
RCU 的短板同样值得背下来。写多的场景是第一个禁区:每次写都要复制与宽限期回收,写频率一高,内存峰值与回收线程的 CPU 都会失控。读临界区太长是第二个禁区:读者长时间不出静止点,宽限期被无限拉长,call_rcu 的回调积压成山,回收内存迟迟还不掉,系统看起来像在慢性泄漏——内核对此有诊断手段(rcutorture 与相关统计计数),应用层则要靠约定读临界区短小。需要读者睡眠的场景走 SRCU 或者干脆别用 RCU。最后,跨多个指针的一致性更新很难用单次发布表达,需要事务性保证时,老老实实回到锁的世界。
收束一下:RCU 的本质是把「等所有读者走完」从读侧挪到了写侧,读侧每删一次同步成本,写侧就多一份复杂度。它不是锁的替代品,而是内核为读多写少的热点数据结构准备的专用工具;判断标准始终是那条:读者够不够多、够不够热,值得让写者替它们打工。下一篇我们把镜头拉回锁本身的实现——qspinlock、mutex 与 rwsem 这三把内核主力锁,各自把公平与性能的秤砣放在哪里。
读者留言
COMMENTS 暂无还没有留言,来说第一句?