一块「假」磁盘是怎么造出来的

把两块 500GB 的盘拼成一块 1TB 的逻辑盘、给一块盘做镜像、在 100GB 物理空间上开出 1TB 的「虚拟大盘」,这些事文件系统干不了、磁盘驱动也不想干——于是 Linux 在文件系统与块设备驱动之间垫了一层专门的框架:device-mapper(下称 DM)。它本身不碰任何物理介质,只做一件事:把发往虚拟盘的 bio,按一张映射表翻译成发往底层设备的 bio。翻译规则可插拔,每一种规则叫一个 target:linear 把两段物理空间首尾相接,striped 交替铺开,mirror 写双份,crypt 顺手加密,verity 顺手验哈希——dm-crypt 与 dm-verity 本身也只是两个 target,这与本系列后面两篇的内容无缝衔接。
理解了「DM 是块层的乐高」,很多看似复杂的机制就褪去了神秘感:LVM 只是 DM 最常用的用户态管理器,把拼装操作包装成 pvcreate、lvcreate 这些命令;Docker 早期的 devicemapper 存储驱动、multipath 多路径、kpartx 切分区镜像,全是同一套内核设施的不同拼法。本文先拆 DM 内核侧的机制,再看 LVM 怎么用它组织三层账本,最后落到 thin pool 这个既是杀手锏也是事故高发区的特性上。
flowchart TD
A["文件系统挂在 /dev/vg0-data 上"] --> B["DM 设备 dm-0<br/>映射表:0 209715200 thin vg0-pool 外部 id"]
B --> C{"target 类型决定翻译规则"}
C -- "linear" --> D["按偏移重映射到物理盘"]
C -- "striped" --> E["按条带宽度分摊到多盘"]
C -- "mirror" --> F["克隆成多份并行下发"]
C -- "thin" --> G["查映射、缺块先分配 chunk"]
D --> H["底层物理设备"]
E --> H
F --> H
G --> H
映射表:DM 的核心数据结构
每个 DM 设备背后是一张映射表,表由若干行组成,每行的格式固定为「逻辑起始扇区、扇区数、target 名、target 参数」。比如 0 2097152 linear /dev/sdb1 2048 读作:本设备的 0 到 2M 扇区,线性映射到 sdb1 从 2048 扇区开始的区域。内核侧对应的结构是 mapped_device 持有一张 dm_table,表里按行实例化 dm_target,每个 target 实例记录自己负责的逻辑区间、私有配置,以及最重要的 map 回调函数——bio 进来时就是逐个查表命中 target、调用它的 map 完成翻译。
映射表是「两段式」生效的:先用 DM_TABLE_LOAD 把新表加载为非活动表,再用 DM_TABLE_RESUME 原子地切换过去,中间可以暂停设备保证切换瞬间没有在途请求被旧表处理到一半。这个机制支撑了在线变更——lvextend 扩容、dm-crypt 换参数,底层都是加载新表再恢复,应用几乎无感。用 dmsetup table 可以直接看到系统里所有 DM 设备的表,出问题时这是第一现场;dmsetup info 则能看到设备状态、打开者与表代次。
表生效时还有一件静默但重要的事:队列限制的叠加。每个 target 会声明自己能接受的参数——最大扇区数、段数、对齐要求、是否支持 discard——DM 把这些限制逐层收紧(取交集),再向上传播给文件系统。这意味着 DM 链上任何一层不支持某种请求形态,上层就只能按更保守的形态提交:比如中间夹了一层不支持 discard 的 target,上层文件系统的 fstrim 就会变成 no-op,空间回收悄然失效。这类「限制被某层悄悄收窄」的问题没有报错,只有性能与行为的劣化,排查时 lsblk -D 显示的 discard 各列与 dmsetup table 一起看,通常能一眼定位断在哪一层。
bio 进来之后:克隆、切分与重映射
DM 设备的 make_request 回调接管所有 bio,进入 __split_and_process_bio 的循环:先查映射表定位 bio 覆盖的 target 区间,若一个 bio 跨越了 target 边界或超过了 target 声明的限制,就就地切分成多个小 bio;落在单个 target 内的部分被克隆(clone)出一份新的 bio,由 target 的 map 回调改写扇区号与底层设备,再 submit 给下层。克隆的必要性在于:上层 bio 的 endio 语义属于 DM 设备,target 下发的是另一条生命周期,要各自回收、各自向上报完成。整条链路的代价是每次提交多一层函数调用与一次克隆,这对高速设备并不免费——也是 NVMe 直通场景下大家尽量少叠 DM 层数的原因之一。
另一个值得知道的分野是 bio-based 与 request-based:绝大多数 target(linear、crypt、verity、thin)工作在 bio 层,逐个翻译转发;multipath 这类需要把请求排队重试的 target 曾经走 request 层,像调度器一样管理真正的 request 对象。工程上只需要记住一点:DM 层叠层时(文件系统在 LV 上、LV 在 crypt 上、crypt 在多路径上),每一层都会克隆与切分,层数越多,单次 IO 的固定开销与「最大扇区」被逐层削小的风险越高,dmsetup table 与 lsblk -t 把整条链摊开看,是诊断这类「IO 变慢但设备很闲」的第一步。
LVM 三层账本:PV、VG 与 LV
LVM 把 DM 的拼装能力包装成三层记账。最底层是 PV(Physical Volume):一块盘或分区,pvcreate 时在设备头部写入 LVM 标签与元数据区,元数据里以文本形式记录它属于哪个 VG;中间层是 VG(Volume Group):一批 PV 聚成的资源池,空间按固定大小的 PE(Physical Extent,默认 4MiB)切分管理;最上层是 LV(Logical Volume):从 VG 里划出的逻辑卷,最终生成 DM 设备,可以格式化挂载。三层各自有查询命令 pvs、vgs、lvs,元数据每次变更都会在 /etc/lvm/archive/ 留档,vgcfgrestore 能把 VG 的编排回滚到任一历史版本——这是 LVM 比裸 dmsetup 友好的重要一环:拼装决策全部有底账。
LV 的段类型就是 DM target 的组合:默认 linear 顺序取 PE;lvcreate -i 2 起 striped,按条带宽度交替铺到两块 PV;lvconvert -m 1 把 LV 升级成镜像(内核侧由 DM 的 raid target 承担,日志区记录镜像同步进度)。VG 是跨盘资源池这一点最实用:加一块盘 pvcreate 进 VG,任何一个 LV 都能就地 lvextend 扩容,不用迁移数据。扩容的另一半是文件系统——lvextend -r 会连 xfs_growfs 或 resize2fs 一起做掉,在线完成,这是后面工程现场的主角。
thin pool:先记账后给地的精简置备
传统 LV 划出来就实打实占掉 VG 空间,而 thin provisioning 把「承诺」与「兑现」分开:thin pool 由一个数据设备与一个元数据设备组成,其上可以创建任意多个「虚拟大小」的 thin LV(lvcreate --type thin -V 1T),创建时一分钱空间都不花。写入发生在哪个 chunk,内核才把那个 chunk 从数据设备里分配出来(默认 chunk 是几十到几百 KB 量级,创建 pool 时可调),元数据设备负责记「虚拟块号到物理 chunk」的映射。删除文件产生的 discard 会把 chunk 还回池子,所以 thin pool 与 fstrim 是天作之合——定期 fstrim 能把空洞真正还给 VG,这是容器宿主机把 /var/lib/docker 放在 thin 卷上的经典搭配。
thin 体系里还有一个高频衍生品:快照。传统快照要在写入发生时把旧数据拷到快照卷(COW 异常表),首次写延迟明显;thin 快照则是给同一个 thin pool 里的源卷建一份「引用同一批 chunk」的新 thin LV,创建动作近乎瞬时、也不额外占空间,两边各自写入时才按 chunk 分道。LVM 容器驱动(devicemapper 存储驱动时代)拉镜像建容器层用的就是这套机制;数据库的「备份前打个快照」也因此在 LVM 环境里廉价可行——快照打完把快照卷只读挂载去拷贝,源卷继续服务。代价与 thin LV 相同:快照也是池子的租客,快照堆积同样能把 Data% 顶满,用完记得 lvremove。
硬币的另一面是「超卖风险」:承诺 10TB、实际 3TB,谁把池子写满谁负责。pool 的使用率用 lvs 的 Data% 与 Meta% 两列盯着,dmsetup status 的 thin-pool 行里也能读出已用块数与总块数。数据区写满的后果是新建分配直接 EIO,应用读写失败;元数据区写满更糟,连删除回收都可能失败。这两个百分比必须进监控——后面现场 A 就是一次写满事故的全过程。
动手:从 dmsetup 到 LVM
用 dmsetup 徒手拼一个跨两块盘的 linear 设备,是理解映射表最直观的方式;下面用两个回环文件模拟物理盘(零依赖、不碰真盘),最后一段给出等价的 LVM 操作对照:
# 造两个 100M 的「物理盘」并绑成回环设备
dd if=/dev/zero of=/tmp/pv-a.img bs=1M count=100
dd if=/dev/zero of=/tmp/pv-b.img bs=1M count=100
losetup /dev/loop0 /tmp/pv-a.img
losetup /dev/loop1 /tmp/pv-b.img
# 手写映射表:前 51200 扇区落在 loop0,后 51200 扇区落在 loop1
echo -e "0 51200 linear /dev/loop0 0\n51200 51200 linear /dev/loop1 0" \
| dmsetup create joined
# 验证:块层视角这就是一块 100M 的连续盘
dmsetup table joined
lsblk /dev/mapper/joined
# 拆除:先移除 dm 设备再释放回环
dmsetup remove joined
losetup -d /dev/loop0 /dev/loop1
# 等价的 LVM 写法:三层命令各自一行
pvcreate /dev/sdb /dev/sdc # PV:登记物理盘
vgcreate vg0 /dev/sdb /dev/sdc # VG:聚成资源池
lvcreate -n data -L 100G vg0 # LV:从池里划一块逻辑卷
lvextend -r -L +50G /dev/vg0/data # 在线扩容:LV 与文件系统一起长
lvs -a vg0 # 查看 Data%/Meta%/段类型
对照着看,lvcreate 生成的就是一张由 DM 替你拼好的映射表;lvextend 干的是加载一张更大的表再 resume。徒手 dmsetup 的意义不是替代 LVM,而是让你在 LVM 报错、DM 状态异常时能直接读懂映射表这个「源代码」。
两个工程现场
现场 A:thin pool 写满之后,应用看到的是 EIO
某容器宿主机把 Docker 数据目录放在 thin pool 上,运行三个月后突然大面积容器写失败,日志里满是 No space left 与 IO error,但 df 看文件系统还有一半空间。登机一看:lvs 的 Data% 是 100——删除镜像产生的 discard 没有定期执行 fstrim,池子的 chunk 只进不出;更糟的是元数据区 Meta% 也逼近上限,回收操作自身都要写元数据。救援顺序有讲究:先清出安全余量(删掉确认废弃的 thin LV),如果 Meta% 已满要先扩元数据设备(lvextend --poolmetadatasize),再补数据区;全部恢复后立刻 fstrim,并把 Data%、Meta% 两个指标加进监控告警、fstrim 写进 systemd timer。这起事故的教训是:thin pool 的空间语义在 DM 层,df 看不到,监控不上就等于裸奔。
现场 B:一条 lvextend 的在线扩容链
业务库空间告急,传统做法要停机迁移,LVM 时代的标准动作是全程在线四步:确认 VG 有余量(vgs 的 Free 列);lvextend -r -L +100G /dev/vg0/pgdata 一步扩 LV 并调文件系统工具;xfs 用 xfs_growfs 在线长、ext4 用 resize2fs 在线长(ext4 在线扩容只支持长大不支持缩小);最后 df -h 验收。整个过程只有 DM 表的原子切换与文件系统元数据更新,挂载点不动、进程不用重启。需要警惕的是缩小:LV 缩小(lvreduce)要先缩文件系统再缩卷,顺序反了数据直接损坏,xfs 甚至不支持缩小——所以生产实践普遍「只扩不缩」,容量规划宁可超配 VG 的 free 余量。另有一坑是扩容后 DM 表变了而 /etc/fstab 若写的是 by-uuid,UUID 不随扩容变化,这点反而是安全的;写 by-path 的环境要多看一眼设备名是否漂移。
收束:DM 是块世界的乐高
把本文的要点压进一个清单,方便回查:
- DM 设备等于一张映射表,表行是「逻辑区间加 target」,target 的 map 回调完成 bio 翻译;
dmsetup table是排障的第一现场。 - 表的热更新走 load 加 resume 两段式,原子切换支撑 lvextend 这类在线变更。
- bio 过 DM 要克隆与切分,层叠越多固定开销越大,链路用
lsblk -t摊开查。 - LVM 的 PV/VG/LV 三层是 DM 的记账外壳,元数据有 archive 底账,可 vgcfgrestore 回滚。
- thin pool 用元数据设备管理 chunk 级按需分配,Data% 与 Meta% 必须进监控,fstrim 是它的回收通道。
- dm-crypt 与 dm-verity 是两个正经 target,分别解决机密性与完整性,后面两篇接着拆。
下一篇进入 DM 的第一个加密 target:LUKS 头怎么管主密钥、AES-XTS 怎么按扇区加密、kcryptd 工作队列怎么组织加解密流水线——磁盘加密的内核路径全貌。
读者留言
COMMENTS 暂无还没有留言,来说第一句?