多模态推理的基础设施：VL 模型服务化的特殊工程

VLM 服务化与文本模型的四大差异

视觉语言模型（VLM：Qwen-VL、GPT-4V 类）的服务化基础设施，与纯文本模型相比有四个结构性差异。差异一：请求的预处理管线。文本模型的输入就是文本；VLM 的输入是「图像 + 文本」的组合——图像的接收（上传/URL/base64）、预处理（缩放、裁剪、格式转换——图像的尺寸影响 token 数与显存）、以及图像的编码（视觉编码器的计算——prefill 的重头）。差异二：token 的爆炸。一张图的 token 数是文本的数十到数百倍（高分辨率图像数千 token——本库多模态输入篇的成本账），长上下文 + 多图的请求轻松破万 token——prefill 的计算与 KV 的显存压力比纯文本大一个量级。差异三：批处理的异构性。同一批里的请求「有的带图有的不带、图的尺寸不一」——batch 内的异构让调度与显存管理复杂化（文本的 batch 是同质的，多模态的 batch 是异构的）。差异四：显存的动态性。图像的 KV 占用随分辨率与图数变化——显存的规划不能按「文本 token 均值」估算。

服务化的工程要点：从接收到显存管理

工程要点一：图像的预处理层。缩放与分辨率的控制（超大图的降采样——分辨率与效果的权衡：分辨率翻倍 token 翻倍，控制上传图像的分辨率是成本的第一闸门）、格式的规范化（HEIC/WebP 的统一转换）、敏感内容的过滤（图像审核——本库安全篇）。工程要点二：推理引擎的选择与配置。支持 VLM 的引擎（vLLM/SGLang 的多模态支持——主流 VLM 的服务化路径）、引擎的多模态配置（图像 token 的上限、vision encoder 的配置）、以及模型与引擎的版本匹配（VLM 的架构更新快——引擎的适配跟进是运维点）。工程要点三：显存与调度的特殊处理。多模态 KV 的显存估算（图像 token 的 KV 与文本同机制但数量大——本库 KV Cache 篇的公式套用）、异构 batch 的调度（vLLM 的多模态调度——图请求与文请求的混合批处理）、以及大图请求的隔离（超长多模态请求挤兑服务——多模态请求的分级与限流，本库压测篇的长请求隔离原则）。工程要点四：成本与计量。图像 token 的计费（各家对图像 token 的计价——多模态请求的成本核算）、以及缓存的特殊价值（相同图像的重复请求——图像的前缀缓存收益更高，本库 Prefix Caching 篇的多模态扩展）。

与纯文本服务的混合部署策略

混合部署的策略选择。策略一：同一服务混合部署（一个 vLLM 服务同时跑文本与 VLM 模型——资源统一但互相影响：多模态请求的长尾影响文本请求的延迟）。策略二：分离部署（文本服务与 VLM 服务各自独立——隔离彻底但资源利用率低：VLM 的流量可能不稳定）。策略三：按流量的动态路由（网关按请求是否含图路由到不同服务——文本流量走文本服务、多模态流量走 VLM 服务——本库网关篇的路由）——生产的主流是策略三（隔离与利用率的平衡）。VLM 服务的容量规划：多模态流量的画像更难（图像的 token 数波动大）——压测要覆盖多模态的真实分布（本库压测篇的多模态扩展：图的尺寸分布、图文组合的形态）。多模态推理设施的前瞻：多模态是 Agent 的输入主流趋势（本库多模态输入篇）——VLM 的服务化基础设施，正在从「特殊工程」变成「默认能力」——引擎的多模态支持在标配化、调度的异构处理在成熟、成本的计量在规范化。

多模态推理的进阶：引擎的多模态调度与优化

多模态推理（正文工程要点）的进阶：引擎的多模态调度与优化——vLLM/SGLang 的多模态内部机制。多模态调度的机制。图像的预处理嵌入（图像 → vision encoder → embedding 注入语言模型——嵌入的时机与 KV 的组织：图像 token 与文本 token 在 KV 里统一）、异构 batch 的处理（图请求与文请求的混合 batch——vLLM 的多模态调度策略：图请求的 prefill 更重）、以及大图请求的隔离（高分辨率请求的「长请求隔离」——本库正文的多模态限流）。优化的方向。视觉 token 的压缩（图像 token 的削减技术——token 压缩直接降本增效：视觉 token 的数量是 VLM 成本的主导）、视觉编码的缓存（相同图像的 encoder 输出缓存——本库正文的图像前缀缓存）、以及预处理与推理的流水线（图像的预处理与 LLM 的 decode 重叠——管线的并行消预处理的等待）。多模态推理的收束：VLM 的推理设施，在文本推理的地基上加了「视觉编码」这一层——token 压缩、编码缓存、异构调度是这一层的三大工程杠杆；多模态推理的成本结构，将由这三个杠杆的成熟度决定。

多模态推理的评测：VLM 服务的质量与成本基线

多模态推理（正文成本计量）的评测：VLM 服务的质量与成本基线——多模态的评测维度。质量的评测维度。视觉理解的准确性（图像描述、图表读取、OCR 的准确率——按任务类型分组的评测：本库评测篇的分组原则）、图文结合的推理（图表+文本的综合问答——多模态推理的真实场景）、幻觉率的专项（模型对图像内容的「编造」——VLM 的幻觉有独特的形态（描述图中不存在的东西）——专项的评测集）。成本的度量维度。图像 token 的计量（每图的 token 数、分辨率与 token 的关系曲线——成本曲线的建立）、缓存收益的测量（相同图像的缓存命中率与节省）。评测与成本的联合决策：分辨率的降低 × 5% 的质量损失 × 40% 的成本节省——这类「质量-成本曲线」的测量，是 VLM 服务定价与部署档位设计的依据（本库量化篇的精度账在多模态的成本版）。评测的收束：VLM 服务的评测要在「质量-成本」的二维平面找位置——只测质量不看成本的评测，在生产环境里都是半份报告。

多模态推理的成本优化：图像 token 的压缩策略

多模态推理（正文成本）的进阶：图像 token 的压缩策略——多模态推理的成本优化。图像 token 的来源。视觉编码器的输出（一张图的 token 数 = 图像的分辨率 ÷ 每个视觉 token 覆盖的像素数——分辨率与 token 数的关系是成本的第一变量）。压缩的策略。策略一：分辨率的控制——入口控制图像的分辨率（不需要高清的任务用低分辨率——分辨率减半 token 减半：成本与质量的权衡曲线，本库量化篇的精度账在图像的翻版）。策略二：视觉 token 的合并——模型内部的 token 合并（相邻视觉 token 的合并——模型架构层的优化：Qwen-VL 类的动态分辨率与 token 合并）。策略三：图像的缓存——相同图像的视觉编码缓存（本库正文的图像前缀缓存——重复图像的编码成本归零）。策略四：任务级的模型选择——简单视觉任务用轻量 VLM、复杂任务用旗舰（本库推理经济学篇的模型分级）。压缩策略的收束：图像 token 的成本是多模态推理的主导成本——入口控制分辨率、模型内压缩 token、缓存消除重复、任务分级选模型——四招的组合能把多模态的成本压到一个可接受的水平。而「每图的 token 成本」将成为多模态推理的核心 KPI——就像「每千 token 的成本」之于文本推理。

多模态推理的进阶案例：VL 模型的批处理调优

多模态推理（正文调度）的进阶案例：VL 模型的批处理调优——异构 batch 的处理策略。问题：VLM 的 batch 中图请求与文请求混杂——图请求的 prefill 是文请求的数十倍（一张图数千 token vs 一段文数百 token）——混合 batch 中图请求拖慢文请求。调优的策略。策略一：分离调度——图请求与文请求分池调度（两个服务实例分别处理——彻底隔离但资源利用不均）。策略二：batch 的混合控制——限制 batch 中图请求的比例（每个 batch 最多 1-2 个图请求——控制长 prefill 的拖累）。策略三：图的 token 压缩（正文的多模态篇——视觉 token 的压缩让图请求的 prefill 接近文请求——源头减负）。策略四：优先级调度——文请求优先于图请求（文请求的用户在等打字机、图请求可以稍慢——用户体验导向的调度）。策略的收束：VLM 的批处理调优，是在「隔离」与「效率」之间找平衡——完全隔离浪费资源、完全混合拖慢体验——分池或混合控制，按流量的构成比例选择策略——图请求占比高的服务选分池、占比低的选混合控制。

多模态推理的显存优化与长图处理

多模态推理的显存优化与长图处理——VLM 的显存管理与纯文本的差异。显存的特殊构成：VLM 的显存等于语言模型的权重与 KV 加视觉编码器的激活（vision encoder 的中间激活——大分辨率图像产生巨大激活张量）加图像 token 的 KV（图像 token 进入语言模型后也占 KV——一张高清图的 KV 可以等于数千 token 的文本 KV）。显存优化的策略：策略一图像分辨率的动态控制（按请求需要动态调整分辨率——简单问答用低分辨率精细分析用高分辨率——分辨率是显存的第一控制阀）；策略二视觉 encoder 的激活优化（gradient checkpointing 类技术用于视觉编码器——减少峰值显存）；策略三 KV 的量化（多模态 KV 的 INT8 量化——KV 显存减半）。长图的处理策略：超长图的 token 数爆炸——分块处理（把长图切成多块分别处理再拼接结果——切块是长图的生存策略）。显存优化收束：VLM 的显存管理比纯文本复杂一个维度——图像的 KV 与激活是新增的大头——分辨率控制 KV 量化分块处理是三把钥匙——显存的策略决定 VLM 服务的并发容量与成本。

小结

多模态推理的基础设施四大差异：预处理管线（图像的接收与缩放）、token 爆炸（一图数千 token 的显存与成本压力）、异构 batch 的调度、显存的动态性。工程要点：分辨率控制是成本第一闸门、长请求的分级限流、图像前缀缓存的高收益、混合部署的动态路由。VLM 的服务化正在从「特殊工程」走向「默认能力」——但「图像 token 的经济学」与「异构调度的复杂性」将是它长期区别于纯文本推理的两条主线。