操作系统内功 · 第 79 篇|ext4 深水区:extent 树与 delayed allocation

ext4 的文件长什么样:从间接块说起

ext4 的 extent 树结构与 delayed allocation 写回流程图

在磁盘上问「这个文件的第 1000 个 4K 块存在哪」,ext2 与 ext3 的答案是间接块体系:inode 里放 12 个直接块号,再各留一个一级、二级、三级间接块指针——想找大文件深处的数据,得先读间接块、再读二级间接块,像翻多层目录卡才能走到正文。这个设计在 1990 年代的盘上够用,毛病也明显:映射元数据与数据块数量成正比,删一个十几 GB 的大文件要沿着间接链爬几万次;写文件时每凑不满一块就落一个块号,碎片几乎不可避免。ext4 用两套互补的机制把这个问题连根拔起:extent 树把映射粒度从「一块」放大到「一段」,delayed allocation 把「什么时候决定放哪」推迟到信息最充分的写回时刻。这两件事合起来,才是 ext4 性能口碑的真正来源——日志模式(本系列第 23 篇专门拆过)只回答「崩溃时怎么恢复」,不回答「映射怎么组织、分配怎么变聪明」。

本文按「映射结构 → 树形展开 → 延迟分配 → 内存账本」四层往下拆,中途用 FIEMAP 接口写一段 C 代码把磁盘上真实的 extent 摊开看,最后用两个工程现场把碎片化与「假性磁盘满」这两个高频问题讲透。

flowchart TD
    A["应用 write()"] --> B["页标脏<br/>缓冲头打延迟分配标记"]
    B --> C["内存账本预留空间<br/>只记账、不定址"]
    C --> D["写回触发:ext4_writepages"]
    D --> E["mballoc 批量分配<br/>伙伴位图找连续大段"]
    E --> F["一次成段:尽量少的 extent"]
    F --> G["数据落盘<br/>延迟态翻转为已写"]
    G --> H["元数据经日志原子提交<br/>崩溃后要么整段要么没有"]

extent:一对(逻辑块 → 物理段)的映射

extent 的思路朴素:与其记 1000 次「第 N 块在哪」,不如记一次「逻辑块 0 到 32767 连续地放在物理块 X 开始的地方」。内核里的 ext4_extent 结构只有 12 字节:ee_block 记逻辑起始块(32 位),ee_len 记段长(16 位,最多 32768 块,最高位是「未写透」标志位),ee_start_lo 与 ee_start_hi 拼成 48 位物理起始块号。按 4K 块算,一条 extent 最多覆盖 128MiB 的连续空间;48 位块号撑起的寻址空间远超任何单盘容量,ext3 那套「块数决定文件上限」的尴尬从此消失。

粒度放大的收益是全方位的。元数据量骤减:同样 128MiB 的文件,间接块时代要占用数百个间接块,extent 时代一条记录了事,大文件的 inode 元数据几乎不随文件大小增长。IO 效率骤升:顺序读大文件时,文件系统一眼看出「后面 128M 都连续」,预读可以放开了跑;删除大文件也只在树上摘几条记录,不再逐块爬链。碎片检查变得可度量:filefrag 报出的「1 个 extent」就是理想的形状,ext3 时代同一个文件报出的间接块数在 ext4 上被压缩一到两个数量级。未写透标志还顺手解决了预分配语义:fallocate 划下来的空间是「已分配未写数据」的 extent,读到它按零处理,写入完成后再翻成普通 extent——这个机制第 80 篇讲 fallocate 时会再碰到。

树形展开:inode 里的 60 字节与索引节点

一条 extent 只覆盖 128MiB,超过怎么办?答案不是无限拉长记录,而是一棵浅树。ext4 的 inode 里有一块 60 字节的 i_block 区域(ext2 时代放 15 个块号的地方),现在被重排为:一个 extent 头部(记录条目数与树的深度)加最多四条 extent 或索引项。树深为零时,这 60 字节直接装下四个 extent,即最多 512MiB 连续映射——绝大多数文件到此为止,零额外块开销。更大的文件才向下长树:深度大于零时,节点里装的是索引项(逻辑起始块加下一层树块的物理块号),树块本身像数据块一样分配在盘上,一层不够再长一层,深度上限五层。

这个「浅而懒」的展开策略是 extent 树的精髓:小文件不付树的代价,大文件也只需一两次树块读取。配合 inode 尺寸,还有两个细节值得知道。其一,mkfs 默认 inode 大小是 256 字节,比老格式的 128 字节多出的空间用来放内联扩展属性;mkfs.ext4 -I 512 可以给海量小文件场景预支更大的 inode。其二,60 字节区域同时是快速符号链接的存储处——符号链接的目标路径不超过约 60 字节时直接塞进 inode,不占任何数据块;更长的目标才分配一个块(所谓 slow symlink)。短链接零块开销意味着大量符号链接的场景(lib 目录、容器层)不会白白多出一块一链接的浪费。读写路径上,查找一个逻辑块对应的位置就是沿树下降:先比四条 extent 或索引项,命中直接返回,未命中按索引降到下一层,整个查找最多触盘一两次。

delayed allocation:先欠账,写回时再划地

映射结构决定了「账怎么记」,delayed allocation(delalloc)决定的是「地什么时候划」。ext3 的做法是写路径即时分配:write() 系统调用每写满一页就当场去块分配器要块——此刻文件系统只知道「这个文件在写」,不知道还有谁在同时写、最终会写多大,只能按当前碎片化的空闲位图随手划地,多进程并发写时互相打乱,碎片率居高不下。ext4 把决策推迟:write() 只把页标脏,在缓冲头上打个「延迟分配」标记,同时在内存账本里为这些块预留空间(只记账、不定址);真正的块分配发生在写回时,由 ext4_writepages 统一发起——此刻这个文件积累了多少脏数据、能凑成多大的连续区间已经清楚,块分配器(mballoc)按需一次性划出大段连续空间,一个文件的自然写模式尽量落成尽量少的 extent。

mballoc 这边的配套同样关键:每个块组维护一张伙伴位图,按「2 的幂」档位组织空闲段;分配时带着目标(优先接着上一次的位置延续),找不到合适的再逐级降档;还有按 CPU 的局部性组给同线程的连续写做预分配。delalloc 加 mballoc 的组合,让「多进程同时写盘」这种 ext3 碎片重灾区变得从容。代价是分配压力被推迟集中到写回:写回路径要多干一次分配的活,且内存账本里的预留量必须可靠,否则会出现「账上以为有地、实际划不出」的窘境——这正是后面现场 A 的伏笔。挂载选项 nodelalloc 可以关掉延迟分配回到 ext3 语义,如今基本只用于排障对照。

extent status 树:内存里的账本

delalloc 说「先记账」,账本就是 extent status 树:内核为每个 inode 维护一棵内存里的红黑树,缓存这个文件的 extent 状态——已写、未写透、延迟分配、空洞各占一段,每段标着类型。有了它,大量查询不必再碰盘上的 extent 树:写回前扫这个文件的延迟段、fallocate 检查重叠、FIEMAP 与 lseek 的 hole 侦测、碎片统计,全在内存账本上完成;盘上的 extent 树块只在真正要分配或写透时才读。账本是可收缩的:内存紧张时内核会把不活跃 inode 的 status 段裁掉,需要时再从盘上的 extent 树重建,相关水位可以在 /proc/fs/ext4/<盘>/es_shrink_ 系列文件里看到。对「一个进程持有几百万小文件句柄」这种极端场景,status 树的内存占用是真实的开销项,这也是内核对它的收缩逻辑锱铢必较的原因。

用 FIEMAP 把 extent 摊开看(C)

FIEMAP 是文件系统向用户态开放的标准接口:给一个 fd 与逻辑区间,返回这个区间里的 extent 列表,带物理起始块、长度与状态标志。下面这段 C 程序把一个文件的 extent 完整打印出来,等价于 filefrag -v 但可以嵌进自己的诊断工具:

#define _GNU_SOURCE
#include <fcntl.h>
#include <linux/fiemap.h>
#include <linux/fs.h>
#include <stdio.h>
#include <stdlib.h>
#include <sys/ioctl.h>
#include <unistd.h>

int main(int argc, char **argv) {
    int fd = open(argv[1], O_RDONLY);
    if (fd < 0) { perror("open"); return 1; }

    char buf[4096] __attribute__((aligned(8)));
    struct fiemap *fm = (struct fiemap *)buf;
    fm->fm_start = 0;
    fm->fm_length = FIEMAP_MAX_OFFSET;
    fm->fm_extent_count = (sizeof(buf) - sizeof(*fm)) /
                          sizeof(struct fiemap_extent);

    if (ioctl(fd, FS_IOC_FIEMAP, fm) < 0) { perror("FIEMAP"); return 1; }
    printf("extents: %u\n", fm->fm_mapped_extents);
    for (unsigned i = 0; i < fm->fm_mapped_extents; i++) {
        struct fiemap_extent *e = &fm->fm_extents[i];
        printf("logical %llu..%llu -> physical %llu len %llu %s%s\n",
               (unsigned long long)e->fe_logical,
               (unsigned long long)(e->fe_logical + e->fe_length - 1),
               (unsigned long long)e->fe_physical,
               (unsigned long long)e->fe_length,
               (e->fe_flags & FIEMAP_EXTENT_UNWRITTEN) ? "unwritten " : "",
               (e->fe_flags & FIEMAP_EXTENT_DELALLOC)  ? "delalloc"  : "");
    }
    close(fd);
    return 0;
}

拿它对照实验很有启发:刚写完未刷脏的文件能看到 delalloc 标志(欠账中);fallocate 划过的空间是 unwritten 标志(划了地没盖房);顺序写的百兆文件通常一两条 extent 搞定,而反复随机改写的文件会裂成一长串小段——这条命令就是碎片的「体检仪」。

两个工程现场

现场 A:df 显示还有空间,写入却 ENOSPC

某批处理任务凌晨批量报 No space left on device,值班的 df 一看还有 30% 可用,重启即恢复——典型的 delalloc 欠账问题。机制链条是:内存账本里的延迟分配预留(含数据块与随附的元数据开销)把「未来要占的地」先占了;空闲块计数被这些预留压低后,新写入的预留请求就可能失败,而 df 读的空闲数还显得宽裕——两个口径没对齐。定位方法:stat -f 看的空闲块与 df 相同,再看 /proc/meminfo 之外的关键证据——把脏页刷下去(sync)后空间立刻回来,就坐实是欠账。长期解法有三层:给批处理目录单独文件系统或 XFS(预留语义不同);控制单任务瞬时写入量,别让千万级脏页堆积;监控口径里把「可分配空间」按 delalloc 语义修正,而不是只看 df。这里顺带一提另一个「空间消失」的兄弟问题:df 显示空闲但 inode 耗尽(海量小文件用光 inode 表),df -i 是鉴别器——两者症状相同、病根不同,值班排查时先分清。

现场 B:碎片化从哪来,又怎么诊断

某视频服务把渲染中间产物写进 ext4,任务反复「写一段、重写一段」,数月后同批文件的平均 extent 数从个位数涨到数百,顺序读吞吐腰斩,filefrag -v 一拉长尾触目惊心。复盘成因,三个写法问题叠加:小步随机覆盖(把连续 extent 打断)、多任务并发写同一目录(互相把预留的连续段切碎)、写满后原地追加(空闲段早已七零八落)。整改按优先级:产出文件改为「先写临时名、写完 rename」(配合 delalloc 一次成型);预分配定长空间(fallocate 生成 unwritten extent,后续写入只填不改形);调整 mballoc 之外的应用侧并发,避免几十个写者挤一个目录。ext4 自带的 e4defrag 能事后整理,但它治标不治本——碎片是写法决定的,extent status 树与 filefrag 只负责让你看得见。诊断口诀记三行:filefrag 看形状,FIEMAP 看标志位,两者一起读,写法问题当场现形。

与日志的衔接及小结

最后把本文机制放进崩溃恢复的框架里收个尾。delalloc 的分配发生在写回,而写回与日志的配合有明确次序:data=ordered 模式(ext4 默认)下,数据块先落盘,日志再提交元数据变更,崩溃后重放日志不会出现「元数据指向未写入数据」的窗口;unwritten extent 的转换(从「划地」到「盖房完成」)是纯元数据操作,走日志原子提交,所以 fallocate 预分配在崩溃后要么整段未写透、要么整段写透,不存在中间态。extent 树则从结构上减少了日志要保护的元数据量——映射记录少了,检查点更快,恢复更短。两条线合起来的结论是:ext4 的可靠性故事(第 23 篇)与性能故事(本文)共享同一套数据结构,extent 树与 delalloc 不是两个孤立特性,而是一枚硬币的两面。下一篇从「映射怎么记」拐到「空间怎么没」:稀疏文件、fallocate 全家桶,以及 du 与 ls 对不上的真正原因。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?