三本账对不上的排障灾难

排障现场的经典对话:容器监控说内存 8 GB 快到限额了,top 里挨个看进程 RSS 加起来 12 GB,而团队的内存泄漏工具报所有进程都正常。三个数字三个口径,没有一个说谎,但互相打架。RSS(Resident Set Size)把每个进程映射到的物理页全额计入,共享库被三个进程映射就记三次;PSS(Proportional Set Size)把共享页按映射者数量分摊;USS(Unique Set Size)只算这个进程独占的页。容器限额看的是 cgroup 的 memory.current,又是第四本账。不搞清四本账各自的计算路径,任何内存排障都是从猜开始。
这篇把这四本账逐一落到内核的数据结构上:页是怎么被「记到进程头上」的,mapcount 在哪里、谁维护,容器限额又把页记到哪本册子上。口径清楚了,泄漏排查、容量规划、限额调优才有下手的地方。
RSS 的本位:pte 与 mapcount
一切从页表说起。进程地址空间里的每个虚拟页,映射到物理页时会在页表里落一个 PTE;物理页反向记账用的就是 struct page 里的 _mapcount 字段——这个物理页当前被多少个 PTE 映射着。一个进程把 libc 映射进自己的地址空间,libc 的每个常驻页 mapcount 加一,同时该页被算进这个进程的 RSS。于是 RSS 的定义天然就带着水分:它统计的是「本进程页表里映射着的物理页数」,至于这些页是不是只属于本进程,RSS 不关心。
内核算 RSS 的地方在内存账本里:get_mm_counter(mm, MM_FILEPAGES) 之类的计数器按匿名页、文件页分开记,加起来就是 /proc/<pid>/status 里的 VmRSS。注意这套计数器是在映射与解除映射的路径上动态加减的——do_wp_page 触发写时复制时,子进程对某个共享页的引用会变成私有副本,两边的 RSS 由此重新洗牌。fork 之后的父子进程 RSS 看起来都是「全量」,其实共享着同一批物理页,直到写动作把页一页页掰开。这就是 RSS 水分的第二大来源:CoW 时代父与子的账单重叠,实际物理占用只有一份。
第三处水分来自 KSM:内核把内容相同的页合并后,一个物理页可能同时服务多个进程的多个映射,mapcount 涨到好几个,但每个进程的 RSS 都全额记着这一页。三处水分叠加的结果是:多进程共享严重的系统(微服务侧车密集、fork 密集的 worker 池)里,所有进程 RSS 之和远超真实物理占用,而且谁也说不清超的部分归谁。
flowchart TD
A["一个物理页 4KB<br/>被三个进程映射<br/>mapcount = 3"] --> B["进程 A 的 RSS:记 4KB"]
A --> C["进程 B 的 RSS:记 4KB"]
A --> D["进程 C 的 RSS:记 4KB"]
B --> E["三份 RSS 合计 12KB"]
A --> F["每个进程的 PSS:4KB 除以 3<br/>约 1.3KB"]
C --> F
D --> F
F --> G["三份 PSS 合计 4KB<br/>等于真实占用"]
A --> H["USS:三个进程都是 0<br/>没有独占页"]
I["进程 D 独有的匿名页 8KB<br/>mapcount = 1"] --> J["D 的 RSS/PSS/USS 都记 8KB<br/>D 的 PSS 与 USS 相等"]
PSS 与 USS:把账摊到人头
PSS 的算法一句话:独占页全额计入,共享页除以映射者数量。落到内核实现,/proc/<pid>/smaps 的生成函数(smaps_show 一族)逐页检查 page_mapcount:mapcount 为 1 时把整页算进 Pss 与 Private;大于 1 时按 mapcount 分摊进 Pss,同时把这页记进 Shared。换句话说,PSS 是一个做给人看的口径——内核的账本上没有「PSS 总量」这个即时计数器,它是读取 smaps 时逐页现算的。这也解释了 PSS 的性能特性:读一次 smaps 就是走一遍整个页表加一次每个物理页的 mapcount 查询,大进程上这个操作是秒级的,而且拿锁期间与缺页路径互相干扰。日常巡检别高频率刷 smaps,会自己制造问题。
USS 更简单:只算 Private 部分,也就是独占的页。它回答的问题最尖锐——如果这个进程现在被杀掉,立刻能释放多少物理内存。规划资源、决定该杀谁、判断哪个进程真在泄漏,USS 都是三者中口径最干净的;代价是它丢掉了共享页的存在感,单看 USS 会低估一个进程「依托共享基础设施」的真实体量。三者的使用口诀由此而来:看占坑用 RSS,看公平用 PSS,看责任用 USS。
顺带澄清一个常见误会:PSS 不等于「这个进程死后释放的内存」。杀掉三个共享者之一,释放的不是它的 PSS,而是它对每页贡献的那份——只有当它是最后一个映射者时才释放整页。PSS 是「均摊责任」的会计概念,不是「退出收益」的工程概念,两者只在 mapcount 全为 1 时相等。
smaps 与 smaps_rollup:读取姿势
/proc/<pid>/smaps 按 VMA 逐段给出明细,每段一整套字段:Rss、Pss、Shared_Clean、Shared_Dirty、Private_Clean、Private_Dirty、Anonymous、Swap,较新内核还拆出了 Pss_Anon、Pss_File、Pss_Shmem 与 SwapPss。这些字段能定位到「哪段地址空间的哪种页在涨」,是泄漏分析的主力数据。它的孪生兄弟 smaps_rollup 则只给一行汇总:全进程的 Rss、Pss 与 Private/Shared 合计,一次读入就拿到全貌,不用解析几十上百个 VMA 段落。监控采集、定期采样这类高频读取一律用 rollup;只有要下钻定位时才打开完整 smaps。
用 Python 读 rollup 并把 USS 估算出来,十行以内:
#!/usr/bin/env python3
"""读取 smaps_rollup,打印 RSS/PSS/USS 三本账(单位 KB)"""
import sys
fields = {}
with open(f"/proc/{sys.argv[1]}/smaps_rollup") as f:
for line in f:
key, _, val = line.partition(":")
fields[key] = val.strip().split()[0] if val.strip() else "0"
rss = int(fields["Rss"])
pss = int(fields["Pss"])
# USS ≈ 独占页合计:Private_Clean + Private_Dirty
uss = int(fields.get("Private_Clean", 0)) + int(fields.get("Private_Dirty", 0))
print(f"RSS {rss:8d} KB | PSS {pss:8d} KB | USS {uss:8d} KB")
一个对齐检验的技巧:对同一个进程,三本账的大小关系应当稳定为 RSS 大于等于 PSS 大于等于 USS。如果观察到 PSS 接近 RSS,说明这个进程共享少、账本干净;如果 RSS 远大于 PSS,先去查它是不是 fork 出来的子进程、是不是重度共享库用户——这个比例本身就是排障线索。
大页与 swap 的记账扰动
两个常见机制会让这套口径再起波澜。一是 THP(透明大页,本系列早前拆过它的机制):一个 2 MB 的透明大页在页表里只占一个 PMD 表项,但记账时整页计入——进程哪怕只碰了这 2 MB 里的前 64 KB,RSS 与 PSS 也都全额记 2 MB。观察 smaps 会看到某些 VMA 段的 Rss 呈现 2048 KB 的整数倍跳变,就是大页在记账。做趋势分析时要注意这个粒度差:小粒度的分配增长被大页的整页记账放大成了台阶,别把台阶误读成异常尖刺。内核也因此提供了内存压力下的大页拆分(split)逻辑——回收与 KSM 合并前会把大页拆回 4 KB,拆完之后的账本才回到细粒度。
二是 swap。RSS 定义里只算常驻内存,被换出的页不计入;但排障时「进程用了多少内存」往往应该把 swap 一起算上。smaps 里的 Swap 字段按 VMA 给出换出页数,SwapPss 则把「被换出的共享页」也按 mapcount 分摊——这个字段的存在说明共享分摊的思想对换出页同样成立。容器场景里 swap 的记账又落到 cgroup 的 memory.swap.current 上,与 memory.current 并行封顶。排查容器 OOM 时两本账都要看:swap 占满导致的OOM 与匿名页占满导致的 OOM,处置动作完全不同。
容器的第四本账:memory.current 记在哪
cgroup v2 的 memory.current 是容器限额的依据,它记账的本位既不是进程也不是 mapcount,而是「页在缺页时被记到哪个 cgroup」。一页内存第一次被分配(缺页、读入页缓存)时,按当时缺页进程所属的 cgroup 记账一次;之后哪怕映射它的进程来自别的 cgroup,也不会重复记账。这是与 RSS 语义的根本差异:RSS 按「谁的页表映射着」记账,memory.current 按「谁第一次把它弄进来」记账。
两个推论直接对应线上事故。推论一:容器内所有进程的 RSS 之和可以大于 memory.current——共享库、页缓存被记账一次后人人可用,RSS 各记各的。反过来也可能小于:容器 A 首次读入一个大文件,页缓存记在 A 名下,容器 B 之后也读同一文件享受缓存,但没人再被记账。推论二:当容器逼近限额时,回收的是记在这个 cgroup 账上的页——哪怕这些页正被容器 B 的进程读着。所以「容器内存为什么这么高」的排查顺序应当是:先看 memory.stat 的 anon/file/slab 分解,再用 PSS 思路看进程分摊,最后才轮到怀疑泄漏。memory.stat 的 anon 部分对应匿名页(进程真正的私有堆栈),file 部分对应页缓存——很多「内存涨满」其实是 file 页缓存,回收很快、无害,却被当成泄漏折腾半夜。
OOM Killer 的打分口径也顺带交代:oom_badness 主要按进程的 RSS 与 swap 占用打分,再做全体内存占比的归一。所以容器里触发的 OOM 往往杀掉 RSS 最大的那个进程——而 RSS 最大不等于责任最大(它可能只是共享页摊得多)。想让 OOM 优先杀谁,用 oom_score_adj 显式表态,比事后抱怨打分不公靠谱。
用 USS 追一场内存泄漏
泄漏排查的实操流程,值得单独走一遍。第一步,定位「泄漏容器」而非「泄漏进程」:对比 memory.current 的时间曲线与容器内所有进程 USS 之和的曲线。如果 cgroup 涨、USS 和不涨,涨的多半是页缓存或 slab(内核对象),往 memory.stat 与 slabtop 查;如果 USS 和同步上涨,泄漏在用户态进程里。第二步,进程级定位:对容器内进程按分钟采样 USS(rollup 一次读入成本可控),USS 单调增长的进程入围。第三步,地址空间级定位:对入围进程开完整 smaps 采样,对比相邻采样点的各 VMA 段增量——Private_Dirty 增量集中在哪一段,泄漏就在哪一段的分配路径上;堆段增长查 malloc 使用方,匿名 mmap 段增长查大对象分配器,栈段增长查递归失控。
这套流程的关键是把「USS 趋势」与「VMA 分解」两级证据分开:前者只回答「谁在漏」,后者回答「漏在哪类分配」。很多团队直接拿 RSS 做第一级,被共享页噪声搅得半天锁定不了嫌疑进程,白绕一圈。
收束
四本账各记各的本位:RSS 记页表映射、PSS 记按 mapcount 分摊、USS 记独占、cgroup 的 memory.current 记首次引入。把它们对应到工程动作——看系统真实占用用 PSS 合计与 memory.current,看进程责任与退出收益用 USS,看进程表面体量用 RSS 但永远记得它有三处水分(共享、CoW、KSM)。泄漏排查按「容器级 USS 趋势 → 进程级 USS 采样 → VMA 级 Private_Dirty 分解」三级走。下次再看到三个数字打架,先问一句「这本账的本位是什么」,答案往往自己浮出来。
读者留言
COMMENTS 暂无还没有留言,来说第一句?