设备眼中的内存:没有翻译的世界有多危险

普通用户可能没想过一个事实:网卡、显卡、NVMe 盘这类设备访问内存的方式与 CPU 完全不同。CPU 的每一次访存都经过 MMU 翻译、受页表权限约束,写错地址就缺页报错;而设备发起 DMA 时,长期以来直接用物理地址访问内存,没有任何翻译、没有任何权限检查。一块固件有 bug 的网卡,或者一根插上恶意固件的雷雳外设,理论上可以往任何物理地址写任何内容——改内核数据结构、篡改别的进程内存,畅通无阻。DMA 全速运转的几十年里,这个「设备的物理地址即最高权限」的假设一直是系统安全的软肋。
IOMMU(Input-Output Memory Management Unit)就是给设备补上 MMU 的硬件:它坐在设备与内存之间,把设备发出的每一个 DMA 地址(IOVA,IO 虚拟地址)翻译成物理地址,并按页表检查读写权限。翻译不通或权限不符,IOMMU 拒绝这次 DMA 并向系统报告一个 DMA fault,设备那边只看到传输失败,内核数据毫发无损。Intel 的实现叫 VT-d,AMD 的叫 AMD-Vi,ARM 阵营叫 SMMU,名字不同,职责一致:让设备的访存与 CPU 的访存享受同等级别的翻译与保护。
flowchart TD
A["设备发起 DMA<br/>携带 IOVA 地址"] --> B{"IOMMU 在场吗"}
B -- "无 IOMMU<br/>裸奔模式" --> C["IOVA 即物理地址<br/>直访内存无约束"]
B -- "有 IOMMU" --> D["查设备的页表<br/>翻译加权限检查"]
D -- "映射存在且权限允许" --> E["翻译成物理地址<br/>访问放行"]
D -- "未映射或越权" --> F["拒绝访问<br/>上报 DMA fault"]
C --> G["故障设备可写穿任意内存"]
E --> H["隔离与映射双达成"]
F --> H
两张表:翻译与权限的实现细节
IOMMU 的核心数据结构与 CPU 页表同构:每个设备(或设备组共享的域)对应一套页表,把 IOVA 空间按页翻译到物理内存,页表项里除了映射还带权限位(读、写)。内核初始化 IOMMU 时为每个设备建立默认域,并把设备可访问的内存映射进去;设备挪动归属(比如绑给驱动、分配给虚拟机)时换域换表。配合的还有中断重映射(interrupt remapping)——把设备发来的 MSI/MSI-X 中断消息也纳入校验,防止伪造中断号攻击,这在安全特性列表里是与 DMA 重映射并列的一等公民。
内核命令行的开关层次值得理一遍:Intel 平台较老的内核世代需要显式 intel_iommu=on,较新的世代已默认开启;iommu=pt 是恒等映射开关;iommu=off 是整体关闭(除非绝对确认不需要,不建议生产使用)。启动后验证以 dmesg 为准,看 DMAR 或 AMD-Vi 相关行是否报告 enabled 与翻译生效。这一层只决定「IOMMU 硬件有没有被用起来」,至于设备分到哪个域、被谁管理,是后面的 DMA API 与 VFIO 各自负责的事。
翻译的代价是查表。设备每次 DMA 都要过一遍页表,频繁的小块 DMA 会让 IOMMU 成为吞吐瓶颈,因此 IOMMU 自带翻译缓存(IOTLB):热地址命中缓存则零额外延迟,未命中才走多级页表查找。内核还支持在映射时用大页对齐(透明大页或 2M 段)减少页表层级。理解这些,是为了看懂后面性能账单的每一行:IOMMU 的开销集中在「频繁小块 DMA 的 IOTLB 未命中」与「页表维护的软件成本」两处,大块连续 DMA 的场景几乎无感。
DMA fault 的排障姿势
IOMMU 拒绝一次 DMA 时会留下两类痕迹。一类是 dmesg 里的 fault 报告:设备总线地址、请求的 IOVA、访问类型(读还是写)、翻译失败的原因(未映射还是越权),信息量足够定位到「哪个驱动哪次映射出了问题」。另一类是设备侧的传输失败,驱动可能把它当成普通 IO 错误重试,形成「一边疯狂重试、一边疯狂 fault」的循环,特征是 dmesg 刷屏加业务吞吐崩塌。遇到这种组合拳,第一步是停下业务重试(多数驱动可从 sysfs 或模块参数里关重试),第二步把 fault 报告里的 IOVA 与驱动最近一次映射的区间对账。实战里最常见的根因有三类:驱动在 DMA 完成前就释放了映射(生命周期 bug)、设备固件越界访问(硬件 bug,找厂商)、以及虚拟化场景里虚机内核的 DMA 映射与宿主脱钩(直通配置错误)。
DMA API 视角:dma_map 返回的到底是什么
设备驱动不直接操作 IOMMU,它面对的是统一的 DMA API:dma_map_single 把一段内存映射给设备用,返回一个 dma_addr_t;dma_alloc_coherent 分配设备与 CPU 一致可见的内存。这个返回值在不同配置下身份不同:IOMMU 启用时它是 IOVA——设备用它发起 DMA,IOMMU 负责翻译;没有 IOMMU 时它通常就是物理地址或总线地址,等于回到裸奔模式。这套抽象让驱动代码不感知硬件有没有 IOMMU,也意味着「系统是否启用 IOMMU」是部署层决策而非驱动层决策,内核命令行参数说了算。
没有 IOMMU 但设备又够不到高内存时(比如一台 32 位寻址的旧设备插在 64GB 的机器上),内核还有一个兜底组件叫 SWIOTLB:预保留一块设备够得着的「蹦床内存」,DMA 时不把真实内存给设备,而是先把数据拷进蹦床、设备再从蹦床读写,完成后拷回去。功能上救了命,性能上每次 DMA 多两次拷贝,是旧设备在大内存机器上的著名性能坑。反过来,有了 IOMMU,设备够不够得着都无所谓——翻译层可以把任意物理页映射给设备,SWIOTLB 的大块蹦床需求随之消失。
VFIO 直通:把整台设备交给虚拟机
IOMMU 最重的工程应用是设备直通虚拟化。没有 IOMMU 时,把物理网卡直接分配给虚拟机是不可想象的:虚机的 DMA 用「虚机视角的物理地址」发起,直通设备拿着这个地址打到真物理内存,会写穿宿主。IOMMU 介入后,每个直通设备配独立的翻译域,宿主把虚机的 GPA 到 HPA 的映射装进该域,设备在虚机里随便用,出了域一概拒绝。内核的 VFIO 框架正是围绕这套能力搭的用户态接口:设备先从原驱动解绑、绑给 vfio-pci,宿主记录它的 IOMMU 组,虚拟化层(QEMU 等)再通过 VFIO 把设备连同中断一起交给虚机。
这里有个关键概念叫 IOMMU 组(group):它是最小隔离单元,判定标准是「无法从架构上证明设备之间互相隔离」。PCIe 拓扑里,交换机下游端口与端点之间需要 ACS 特性强制隔离,没开 ACS 时同一交换机下的设备会被并成一组。直通的最小粒度是整组:组里有一台设备没法交出去,整组都别想交。所以「直通可行性检查」的第一步永远是看 /sys/kernel/iommu_groups 的分组,而不是设备本身。这个框架还留了一个向上的扩展位:mdev(mediated device)机制让一台硬件设备在驱动层面切出多个虚拟实例(GPU 虚拟化是最大用户),每个实例独立注册进 VFIO 体系,复用同一套直通接口——设备虚拟化的整个生态,都建立在 IOMMU 的翻译与隔离地基之上。
# 1) 确认 IOMMU 在工作(dmesg 关键字随平台而异)
dmesg | grep -i -m 5 -e DMAR -e IOMMU
# DMAR: IOMMU enabled
# 2) 看每台设备落在哪个隔离组
ls /sys/kernel/iommu_groups/*/devices/
# 组 12: 0000:3b:00.0 0000:3b:00.1 (同卡两个端口同组)
# 3) 把网卡整体绑给 vfio-pci,准备直通
echo 0000:3b:00.0 > /sys/bus/pci/drivers/ixgbe/unbind
echo 0000:3b:00.0 > /sys/bus/pci/drivers/vfio-pci/bind
# 4) 内核命令行常用组合(grub 里改)
# intel_iommu=on iommu=pt
性能账:翻译开销与两笔真实权衡
IOMMU 的性能争议要分开说。对网络与存储这类高频小块 DMA 的负载,strict 模式下的页表查找与 IOTLB 未命中确实有可见损耗,万兆线速边缘的测试里常见几个百分点的吞吐差异;驱动侧的解法是把小块 DMA 攒批、用大页映射减少表项数量。对 GPU 这类大块连续传输的负载,IOMMU 的开销基本测不出来。真正值得单独讲的是 passthrough 模式:内核参数 iommu=pt 让「可信内核自己管理的设备」绕过翻译、以恒等映射直访内存,同时保持对 VFIO 直通设备的完整翻译保护——数据面程序(DPDK 一类)的官方推荐组合正是 intel_iommu=on 加 iommu=pt,隔离留给直通设备,性能留给宿主设备。
工程上还有第二笔账:IOTLB 与 CPU 侧缓存一样是有限资源。DPDK 与高频网络场景的实践是控制映射的碎片化——大块缓冲、复用映射(DMA pool),让热 IOVA 集中在少量大页里,IOTLB 命中率自然高。反过来,如果观察到 IOMMU 相关的 DMA fault 计数上涨(/proc 下的 iommu 统计或 dmesg 的 fault 报告),通常意味着映射被过早释放或设备固件在乱访,都是要当真查的信号。
两个真实工程场景
场景一是 GPU 直通虚机:深度学习平台把物理 GPU 整卡分给虚机,前置检查是三步——IOMMU 在 BIOS 与内核双侧开启、GPU 落在独占 IOMMU 组(同组若有声卡之类的搭车设备就交不出去,常见于消费级主板,解法是开 ACS 或换支持拆分的平台)、vfio-pci 绑定后 lspci 确认驱动占用释放。三步都绿,QEMU 用 vfio-pci 设备模型挂载即成。踩过的坑是消费级平台 ACS 缺失导致 GPU 与 USB 控制器同组,整组无法分配,最后只能换平台——直通项目的排期风险八成出在拓扑检查,八成可以提前一周发现。
场景二是 DPDK 数据面的性能取舍:裸金属上跑转发面,默认 strict IOMMU 的小包吞吐掉了一截,切 iommu=pt 后恢复满速,同时直通给虚机的备用网卡仍受完整保护。这次决策的可复用结论是:IOMMU 的隔离价值集中在「不可信设备」(直通设备、可插拔外设)上,内核自家的可信设备走恒等映射并不牺牲安全性,这个组合拳是官方支持的标准姿势,不必在「要安全还是要性能」之间二选一。
避坑手册与收束
最后收拢常见坑位。其一,IOMMU 有三层开关(BIOS/固件、内核命令行、驱动配置),任何一层没开,dmesg 里都看不到 enabled 字样,排查先从三层开关逐级确认。其二,直通组检查不要只看设备,要看组——ACS 没开的拓扑会把多台设备捆进同组。其三,SWIOTLB 的蹦床池是启动时按内存大小预保留的,高内存机器上默认保留量可能不够大块 DMA 用(报 SWIOTLB 相关的映射失败),可加大保留参数;有 IOMMU 的机器则确认驱动没误走蹦床路径。其四,kdump 与 IOMMU 在部分平台上有兼容摩擦,崩溃内核的 IOMMU 行为要单独验证,别等真出事才发现 vmcore 抓不全。
收束一下:IOMMU 给设备补上了 CPU 已经享受半个世纪的翻译与保护,让「一块设备写穿全机」成为历史,也让设备直通虚拟化从危险动作变成标准操作。工程上的全部权衡围绕翻译开销展开,而 iommu=pt 一类的组合拳已经把「隔离」与「性能」拆到可以分别决策。下一篇我们回到 IO 栈的主干道:一笔写请求从系统调用到 NVMe 队列门铃的完整旅程——块设备栈与 blk-mq。
读者留言
COMMENTS 暂无还没有留言,来说第一句?