第二次 ls 为什么快

在一个十几万文件的目录树上跑 ls -R,第一遍要十几秒,第二遍几乎瞬间刷完——同样的命令、同样的数据,差别只有一个:第一遍把缓存建好了。缓存的主角有两位:dcache(目录项缓存)记住「父目录加名字」到 inode 的对应关系,inode 缓存记住每个 inode 的元数据本体。路径解析是整个文件系统访问频率最高的操作——打开任何文件都要先走一遍路径——把这条最热的路径做快,收益是全局的。本文从路径解析的机制讲起,拆 dcache 的数据结构与无锁快路径,看 negative dentry 这个容易被忽视的角色,最后用两个生产现场说明:这块缓存既是性能之友,也是事故之源。
先建立一个准确的预期:dcache 缓存的是「名字结构」,不是文件内容。内容归页缓存管(本系列早前的 Page Cache 篇目讲过),元数据归 inode 缓存管,名字归 dcache 管——三层各司其职又互相咬合:一次冷的路径解析通常三层全 miss(读目录块、读 inode、回填名字),一次热的解析三层全 hit(纯内存指针运算)。ls 第二遍之所以飞快,就是从「每一步都触盘」变成了「每一步都查表」。
flowchart TD
A["解析 /a/b/c"] --> B["取根 dentry"]
B --> C{"dcache 哈希命中?<br/>键 = 父 dentry 加名字"}
C -- "命中" --> D["拿到子 dentry<br/>零成本进入下一段"]
C -- "miss" --> E["读目录块(页缓存或盘)<br/>文件系统 lookup 生成 dentry"]
E --> F{"inode 缓存命中?"}
F -- "命中" --> G["直接挂接"]
F -- "miss" --> H["读 inode(盘或页缓存)<br/>iget 回填"]
G --> D
H --> D
D --> I{"还有下一段路径?"}
I -- "有" --> C
I -- "没有" --> J["返回目标 inode<br/>全程纯内存即秒级完成"]
路径解析的逐段行走
内核解析 /a/b/c 的方式是逐段推进:从根 dentry(或当前工作目录 dentry)出发,查「a」得到 a 的 dentry,再查「b」、再查「c」,直到最后一段拿到目标 inode。每一步的核心动作是拿「父 dentry 与段名」做哈希键查 dcache;命中且有效(dentry 有 d_revalidate 校验钩子,网络文件系统靠它判断缓存是否过期)就直接摘果子;miss 才落到慢路径——调用文件系统的 lookup 方法读目录内容,找到对应项,分配新 dentry 并挂进缓存。目录本身也是文件,第一遍解析的「读目录块」走页缓存;如果连页缓存都冷着,那就是真实的盘 IO。这也解释了「第一次跑什么都慢」的三层叠加:dcache miss、inode miss、页缓存 miss,一次解析把三层全部回填。
dentry 与哈希表:名字结构的组织方式
dentry 是个小巧的结构体:段名、父指针、inode 指针、几个操作钩子与状态位。全局一张哈希表(容量按系统内存规模在启动时定),键是父 dentry 指针加名字的哈希;每个超级块还各有一条 LRU 链收拢自己的 dentry,内存压力时由 slab 收缩器按 LRU 淘释。已用与未用的 dentry 待遇不同:正在被路径解析引用的当然是热数据;不再被任何人引用的旧 dentry 留在缓存里占内存换命中率,直到内存紧张才被回收——这是典型的「余量换性能」。/proc/slabinfo 或 slabtop 里能直接看到它:dentry 这一项的活跃对象数就是缓存里的名字结构总量,大目录树上跑完一轮 ls 后这个数会明显上涨。
回收不是 dcache 单方面的事:dentry 与 inode 互相引用(inode 反向挂着它的 dentry),收缩器按超级块协调两边的释放顺序——先把冷 inode 从缓存摘走,它们名下的 dentry 才能随之释放,反过来亦然。这个协调解释了两个日常观感:其一,rm -rf 掉一棵百万文件的树之后,slabtop 里 dentry 与 inode 的占用是缓慢回落而非立刻清零,内存要等收缩器按压力逐步收割;其二,drop_caches=2 之所以显得「有效」,是它跳过了等待、立刻强制收缩,代价就是现场 A 讲的重建风暴。理解了「缓存不是垃圾、回收是压力驱动的正常行为」,很多「内存怎么不清」的运维直觉就要反向修正:内核把空闲内存拿来做缓存是设计使然,reclaimable 不是 leak。
真正让它扛住多核压力的是 RCU-walk 快路径:无 miss 的热路径上,解析全程不拿任何锁、不增加引用计数,靠序列号校验(walk 前后比对 dentry 序列号,中途有改名删除就退回)保证与并发修改不冲突;遇到要动手修改的场景(创建、删除、跨越挂载点)才降级到传统的持引用慢路径。这套机制是内核在「多线程进程并发 stat 海量文件」场景下保持线性扩展的关键——没有它,几十个业务线程共享一棵目录树时,锁竞争会先把路径解析拖垮。应用侧不需要做任何事,但容量规划要知道:高并发小文件服务器的 CPU 热点经常不出现在业务逻辑里,而在 VFS 这层。
negative dentry:把「不存在」也缓存起来
dcache 有一类特殊居民:negative dentry——dentry 存在,inode 指针为空,含义是「这个名字查过、确实不存在」。缓存负面结果的收益立竿见影:应用反复探测不存在的配置文件、PATH 环境变量里排着不存在的目录、脚本的通配符扫空目录——每一次 ENOENT 都从「读目录块确认」变成「查哈希即返回」。代价也真实存在:负面缓存占据了与正面缓存同样的内存与回收通道,而「不存在」的结论会随创建失效,命中率不稳定时性价比急剧下降。控制手段不多,主要靠 vm.vfs_cache_pressure 间接施压:这个 sysctl(默认 100)调节 dentry 与 inode 缓存相对页缓存的回收倾向,调大意味着缓存更容易被收缩——对「负面探测风暴」型的负载适度调大(比如 150 到 200)能压住内存水位,代价是所有路径解析的命中率一起受损,没有只清负面、保留正面的精细开关,这是个全局旋钮。
负面探测的风暴源在真实系统里有几个高频产地,值得对着自己的架构自查:动态链接器的库搜索路径(LD_LIBRARY_PATH 里不存在的分支每进程启动都会扫一遍)、脚本语言的模块搜索路径(Python 的 sys.path、Ruby 的 load path 在 import 风暴下产生海量 miss)、健康检查脚本探测多个可选配置位置、以及容器里相对工作目录不固定的可执行查找。量化方法也很直接:用 bpftrace 挂文件的 open 或 stat 系统调用点,按返回码聚合——ENOENT 占比与绝对量一旦上去,negative dentry 的内存贡献与解析开销就都有了数字。治理比调参更治本:收紧搜索路径、把高频探测改成进程内缓存、探测顺序把最常命中的放前面,都是从源头减 miss 的工程手段。
inode 缓存与 drop_caches 的真实代价
dentry 的另一半是 inode 缓存:文件系统从磁盘(或页缓存)读出 inode 后,把它挂进超级块的缓存链,后续访问直接复用。slab 里它以 inode_cache 与各文件系统自有缓存(如 xfs_inode)的形态出现,与 dentry 一同受 vfs_cache_pressure 与 slab 收缩器管理。两层缓存被同一个「清缓存」操作波及:echo 2 > /proc/sys/vm/drop_caches 收缩 dentry 与 inode 缓存(1 只清页缓存,3 全清)。清完之后的效果立竿见影且立竿见影地糟:下一次路径解析要重新读目录块与 inode,页缓存若也一起清了,这些读取全部变成盘 IO——观测上就是「执行后系统 IO 飙升、延迟抖动」。drop_caches 的正当用途只有一个:性能对比实验里制造干净的起点。把它当「内存清理工具」定期跑,是运维手册里最常见也最伤性能的一条反模式,后面现场 A 会展开。
观测与实验:亲手量出缓存的价值
下面这组实验在任意 Linux 机器上都能跑(drop_caches 需要 root,务必在测试机上做):
# stat 一棵树两遍,量出 dcache/inode 缓存的贡献
import os, time
root = "/usr" # 换成任意大目录
def walk_once():
n = 0
for dirpath, dirnames, filenames in os.walk(root):
for name in filenames:
st = os.stat(os.path.join(dirpath, name))
n += st.st_size
return n
t0 = time.perf_counter(); walk_once(); t1 = time.perf_counter()
t2 = time.perf_counter(); walk_once(); t3 = time.perf_counter()
print(f"cold: {t1 - t0:.3f}s warm: {t3 - t2:.3f}s")
# 观看两层缓存的规模(slab 视角)
slabtop -o -s c | head -12 # 关注 dentry 与 inode_cache 两行
# 制造干净起点后复测(测试机专用,生产环境勿跑)
sync
echo 3 > /proc/sys/vm/drop_caches
# 重跑上面的 python 脚本,cold 时间会明显变长
# 看缓存回收倾向
cat /proc/sys/vm/vfs_cache_pressure # 默认 100
跑下来的典型结果:warm 比 cold 快一到两个数量级;drop_caches 之后 cold 值回升。读懂三个观测点的含义,排查路径解析类性能问题时就有抓手:slabtop 里 dentry/inode_cache 的对象量持续顶高,说明工作集确实依赖缓存;perf 火焰图在热点函数 d_lookup 或文件系统 lookup 方法上变宽,说明解析已经落到慢路径;vfs_cache_pressure 的调整必须配合命中率观测做,盲调等于盲飞。
两个工程现场
现场 A:运维手册里的 drop_caches 引发 IO 风暴
某团队的「内存占用高处理手册」写着:内存吃紧时执行 echo 3 > /proc/sys/vm/drop_caches。一次告警后照章执行,随后几分钟核心服务 P99 翻倍、磁盘 util 打满——清掉的缓存立刻被业务请求以冷启动的方式重建,海量重新读取把存储层砸了个透。这个手册条目的三个认知错误值得逐一拆掉:其一,页缓存与 dentry/inode 缓存占用的内存本来就是「可用内存」,free 命令的 available 列早已把它们算进去,不清理也能被随时回收;其二,强制同步清理把「渐进回收」变成「瞬时风暴」,负载越高杀伤越大;其三,缓存重建期间应用承担了本该摊在闲时的全部 IO。正确动作是排查内存真正的持有者(谁在常驻、谁在泄漏),用 cgroup 限额约束失控进程;drop_caches 从手册里移除,只留在压测脚本里当「重置」按钮。这起事故的通用结论:任何「清理缓存类」的运维动作,先问清缓存语义,再问清清完之后的重建成本谁付。
现场 B:容器里的 stat 风暴与内核内存账
某容器化服务升级后 OOMKilled 频发,但 RSS 只有一半限额——内存去哪了?答案是内核侧:这个服务的启动逻辑要扫描镜像里上百万个路径判断文件是否存在,容器 cgroup 的内核内存记账把 dentry 与 inode 缓存一并计入,扫描风暴把 memcg 的内核内存推到限额,触发 OOM。观测与治理的方法都对得上号:memory.stat 里的 slab 项(其中 sock、dentry 等细分)就是账本;slabtop 在宿主机上能看到对应进程诱发的增长;治理路径按优先级是——改应用,砍掉百万级 stat 的启动逻辑(预生成清单、按需探测);改不了应用就调高该容器的内核内存余量或限制扫描范围;再配合提高 vfs_cache_pressure 让缓存更早被收缩。这个现场的通用教训:容器的 memory 限额不只是「进程的内存」,dentry 这类内核对象也是租客,Java 服务调堆时留出的那点余量,可能正被一次目录扫描吃掉。
小结:名字的账到此收口
- 路径解析逐段走 dcache,命中纯内存、miss 才碰文件系统与磁盘;第一次慢、第二次快是三层缓存(名字、元数据、内容)共同回填的结果。
- RCU-walk 让热路径无锁无引用计数,多线程 stat 风暴的线性扩展靠它。
- negative dentry 缓存 ENOENT,收益与代价都是全局的;vfs_cache_pressure 是唯一的粗粒度旋钮,调整必须配命中率观测。
- inode 缓存与 dcache 同收缩同涨落,slabtop/slabinfo 是观测入口。
- drop_caches 只属于实验与排障,不是清理工具;清缓存的代价是重建期的 IO 风暴。
- 容器的内存限额含内核对象,stat 风暴、海量小文件扫描都会以 slab 的形态吃掉额度。
下一篇转向文件系统的「耳朵」:inotify 与 fanotify 两代监控 API 怎么把文件变化推给应用、递归监控的竞态怎么破、权限事件为什么既是杀毒软件的命根子又是延迟事故的源头。
读者留言
COMMENTS 暂无还没有留言,来说第一句?