DiskANN 与磁盘索引:内存装不下的大语料

全内存向量索引有个绕不开的物理约束:内存按 GB 卖,语料却按亿条涨。HNSW 这类主流索引把全部向量与图结构驻留在内存里,千万级语料时相安无事,到了亿级,内存账单先于任何技术问题把方案否决。DiskANN 给出的答案是一套内存-磁盘协作范式:内存只放压缩摘要负责导航,磁盘放全精度向量负责精排,用一次额外的 IO 换来十倍的容量。本库《向量数据库选型指南》只把它当一个选项带过,这篇把机制拆开:容量墙怎么算、DiskANN 凭什么能在单机单盘上跑亿级向量、工程上要付哪些代价。

手绘信息图:内存驻留 PQ 摘要与磁盘全精度向量协作的 DiskANN 架构

容量墙的算术:全内存索引的内存账

把账摊开算,容量墙比直觉来得早。以常见的 768 维 float32 嵌入计,一条向量 3 KB,一亿条就是约 300 GB——这还只是原始向量。图索引要再叠邻接表:HNSW 常见配置下每个点存几十个邻居编号,数 GB 到数十 GB 不等,视参数与向量维度占比而定;运行时还要留构建余量、查询缓存与高峰波动,生产环境通常按原始向量的一点五到两倍规划内存。照这个口径,一亿条向量需要一台数百 GB 内存的机器,或者分片到多台——分片意味着副本、路由与运维复杂度全跟着来,故障域也从一台机器变成一个集群。

成本侧的对比更扎眼:NVMe 固态盘每 GB 的价格比内存低一到两个数量级,容量还随随便便是内存的几十倍。同样的语料预算,全内存方案买的是「内存条」,磁盘索引方案买的是「硬盘加一小段内存」,两者能承载的语料规模完全不在一个档位。当然,全内存并非没有存在理由:千万级以下语料、极端延迟敏感的入口(在线推荐、广告召回),全内存 HNSW 的延迟优势依然明显。容量墙的判断标准是三条线的交点——语料规模、增长曲线与延迟预算:语料冲着亿级去、增长没封顶、p99 延迟容忍毫秒级尾部,就该认真考虑把索引搬到磁盘上。

换个角度算分片路线的账。同样三亿条向量,全内存方案要么买一台内存过 TB 的巨机(供给稀缺、价格非线性),要么拆成多台中等内存机器分片加副本——机器数、跨片查询的延迟叠加、运维复杂度全部按片数增长,故障半径反而变大。磁盘路线把「容量」这条最重的成本项挪到最便宜的介质上,集群形态回归简单:一台或少数几台带大 NVMe 盘的机器,内存只买「够导航用」的量。容量规划的清单可以这样核对:原始向量体积(维度乘条数乘精度字节数)、图邻接表体积(每点邻居数乘编号字节数)、运行时余量(构建缓冲、页缓存、峰值波动)、磁盘冗余策略,四项加总对照内存预算——缺口超过一台机器的内存容量,就该启动磁盘方案评估,而不是继续加机器。

一句话小结:容量墙是一道乘法算术题,向量维度乘语料规模再乘规划系数,答案通常在亿级与数百 GB 内存的交点处逼你换方案。

DiskANN 机制:内存导航,磁盘取货

DiskANN 是微软研究院 2019 年提出的方案(NeurIPS 论文,标题即卖点:单节点、单 SSD 上的十亿点近邻搜索),核心是三个存储分工。内存驻留 PQ 压缩摘要:所有向量做乘积量化(PQ),压缩到每条几十字节级别的小编码,全部驻留内存——它们的职责是「快速近似比距离」,导航过程中判断「这个邻居离查询近不近」用编码算就够了,精度略欠但速度极快、内存极省。磁盘驻留 Vamana 图与全精度向量:Vamana 是 DiskANN 配套的图索引,与 HNSW 的多层跳表式结构不同,它是单层图,靠构建时放宽剪枝约束(保留一部分「长程边」)来压低图直径,保证从任意点出发几跳就能抵达目标区域。查询时按需取回:束搜索(beam search)在图上游走,每到一个节点,从 SSD 读回该节点的邻接表与全精度向量(布局优化让这两样落在同一块连续区域,一次顺序读拿全),与查询算精确距离,同时用内存里的 PQ 编码大规模筛邻居;候选集收敛后,把入围候选的全精度向量批量读回做最终精排。

flowchart TD
    Q["查询向量"] --> S["从入口点出发"]
    S --> M["内存:PQ 编码快速筛邻居"]
    M --> D["磁盘:读当前节点邻接表与全精度向量"]
    D --> B{"束搜索收敛?"}
    B -->|"未收敛,继续游走"| M
    B -->|"候选集确定"| R["批量读回候选全精度向量"]
    R --> E["精确距离精排"]
    E --> O["最终 top-k"]

这套分工的精髓在「导航用近似、定稿用精确」:图游走只需要相对距离正确,PQ 编码的误差不改变「往哪个方向走」的大局;最终排序才需要绝对距离准确,全精度向量在这一步登场。后续演进里值得一提的两支:FreshDiskANN(2022 年前后)在同一内存预算内支持流式插入与删除,缓解了图式磁盘索引更新难的问题;SPANN 走的是另一条路——倒排结构,内存只放聚类中心,磁盘放每簇的成员列表,查询先找最近的几个中心再读列表,适合超大规模但对单条延迟尾部不敏感的场景。

构建流程也值得过一遍,因为磁盘索引的成本大头落在构建上。以 DiskANN 的典型管线为例:先对全量向量训练 PQ 码本并编码(一次全量扫描),再用全精度向量抽样构建 Vamana 图骨架落盘,最后把全精度向量与图布局合并写盘、生成对齐的数据块。亿级语料的构建以天计,因此构建要当成离线任务管理:固定窗口、断点续跑、构建完成前旧索引继续服务。查询侧有两个可调参数决定质量与 IO 的交换:搜索列表宽度(维护的候选集大小,越大越准)与束宽(每轮并行探索的图节点数,越大读盘越多)——两者都是「加预算换召回」的旋钮,调法与 HNSW 的 efSearch 同一套路(方法对照本库 HNSW 调参篇),只是这里多了一个 IO 次数的观测维度:同样的召回率,读盘次数差一倍,p99 可能差出数倍。

一句话小结:DiskANN 用「内存放摘要管导航、磁盘放全量管定稿」的分工,把内存需求压掉一个量级,代价是每次查询要多付几次磁盘 IO。

工程权衡:IO 代价、构建成本与叠加手段

磁盘索引的钱不白省,付出的主要是三类代价。延迟的量级与尾部:每次查询要发生数次到数十次磁盘读(束宽越大读得越多),NVMe 随机读的延迟量级远高于内存操作,所以磁盘索引的 p50 通常仍在毫秒级、可用,但 p99 对 IO 抖动敏感得多——宿主机邻居争抢、盘上碎片、文件系统缓存未命中,都会直接打进尾部延迟。全内存方案里「延迟方差小」这个隐含优点,搬上磁盘后要靠专门的布局优化(向量与邻接同块存放、顺序读替代随机读)与页缓存预热来夺回。构建成本:图式磁盘索引的构建要全量数据在盘上过图算法,亿级语料的构建以天计,需要离线窗口与增量构建策略,别指望在线随建随查。更新代价:图结构的增量更新会劣化图质量,删除更是要靠标记加定期整理,FreshDiskANN 一类方案缓解但没消除——高频更新的语料搬上磁盘前要三思。

与量化的叠加是磁盘索引的进阶玩法,而且相性极好:磁盘索引本身就是「压缩摘要加分层介质」的组合拳,PQ 摘要的位宽、内存预算、IO 次数三者可以继续交换。本库向量压缩与 Matryoshka 篇讲过的手段在这里都能接上——更狠的量化让内存摘要更小、内存里能放更多「导航信息」,甚至把部分热门区域的图常驻内存,冷区域才走盘。产品形态上(截至 2026-11,以各家文档为准):Milvus 提供 DISKANN 索引类型并有进一步压内存的盘上变体,LanceDB 以盘上存储为默认形态做向量索引,Qdrant 支持量化加原始向量落盘(按需 mmap 读回)的运行模式。各自的实现细节与默认参数差异不小,选型时要按「内存预算、延迟目标、更新频率」三个问题去读文档,而不是只看宣传数字。

方案 内存占用 延迟 适用规模
全内存 HNSW 最高 最低且稳 千万级以下
量化驻内存 中 低 亿级且延迟敏感
DiskANN 磁盘图 低 毫秒级带 IO 尾部 亿级以上单机
SPANN 式倒排 很低 尾部较宽 超大规模离线偏多
盘上暴力扫描 极低 高 小集合或纯离线

硬件与基准测试是落地前的两门必修课。硬件侧,NVMe 盘的代际与队列深度直接决定 IO 上限,消费级盘与企业级盘在持续随机读上的差距会在查询并发下放大;读多写少的负载对写入寿命不敏感,选型重心放在持续读吞吐与延迟稳定性上。文件系统页缓存是免费的性能层:热区域被缓存后表现接近内存,冷启动或缓存颠簸时会有一段「冷读」高延迟期,上线后要主动预热(重放典型查询)再放开流量。基准侧,别信通用榜单,拿自家语料与自家查询分布跑三件事:召回率对吞吐的曲线、召回率对 p99 延迟的曲线、构建时间与磁盘占用的实测——三条曲线加一个内存账本,磁盘方案的可行性十分钟就能判掉。

一句话小结:磁盘索引省下的是内存与容量,付出去的是延迟尾部、构建窗口与更新灵活度,叠加量化可以拿回一部分内存余量。

落地判断:什么时候搬上磁盘

把决策收拢成一张清单。规模线:语料走向亿级、或全内存方案的内存在预算里占比失真(买机器像买内存条),启动磁盘索引评估。延迟线:先定 p99 SLO 再选方案——在线问答入口通常能容忍毫秒级尾部,实时推荐与搜索联想则要谨慎,磁盘索引的尾部方差可能击穿体验底线。增长线:增长没封顶的语料,晚搬不如早规划,但也不必抢跑——先量化压缩把全内存方案的极限推远(成本远低于迁移),推不动了再上磁盘。迁移路径的推荐次序是:全内存原始向量,先上量化驻内存(PQ 或标量),还不够再换磁盘索引,每一步都过同一评测集的召回回归,迁移的每层损失都要显式计量。运维侧盯三个指标:IO 等待占比(磁盘索引的心跳)、p99 与 p50 的比值(尾部健康度)、构建窗口的完成率(更新链路是否积压)。最后纠一个观念偏差:磁盘索引不是穷人版方案,内存-磁盘分层协作是规模化检索的必经形态——单机跑亿级、成本可控、召回不塌,这三件事全内存方案一个都给不了。

迁移的实操步骤值得示范一遍。某团队三亿条 768 维向量,全内存分片四台、内存告警频发:第一步,固化评测基线(召回率与 p99 延迟各一条基线,示意值要以自家实测为准);第二步,量化先行验证,压缩摘要驻留后召回小幅下滑,确认损失可接受;第三步,磁盘索引影子运行一周,召回回到基线水平、p99 稳定在延迟目标内、读盘次数分布无异常;第四步,切流放量,保留全内存集群一周作回退兜底。踩过的坑是冷启动:切流当天页缓存全空,p99 一度冲破目标数倍,重放预热一小时后回落——磁盘索引上线必须带预热预案,这个坑几乎每个团队要么自己踩一次,要么读一次别人的事故报告再避开。

一句话小结:搬上磁盘的触发条件是规模、延迟 SLO 与增长曲线三者交点,迁移按「量化先行、磁盘收尾」的次序走,每步过召回回归。

小结

全内存索引的容量墙是一道显式算术:向量维度乘语料规模乘规划系数,亿级语料对应数百 GB 内存,成本曲线在此拐弯。DiskANN 的范式是内存-磁盘分工——内存驻留 PQ 压缩编码负责导航近似比距,磁盘驻留 Vamana 图与全精度向量负责精排定稿,束宽控制每次查询的 IO 次数,「导航用近似、定稿用精确」是整套设计的精髓。工程代价集中在延迟尾部、天级构建窗口与更新灵活度上,用布局优化、离线窗口与 FreshDiskANN 类方案对冲。落地判断看规模、延迟 SLO 与增长曲线的交点,迁移按量化先行、磁盘收尾的次序推进。磁盘索引不是降级替代,而是向量检索从千万级走向亿级的必经形态。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?