视频理解研究：多模态视频理解的研究进展与基准

视频是互联网上信息密度最高的模态，也是多模态大模型进展最慢的模态：图像理解已被 GPT-4V 级模型基本攻克，而「看懂一段一小时的视频」仍会让最强的模型丢掉两三成的分数。核心困难有三层：token 爆炸（一帧数百个视觉 token，长视频动辄百万 token）、时序结构（帧采样天然破坏动作顺序信息）、评测缺口（早期基准测的其实是静态识别）。2023 到 2025 年，Video-MME 等新一代基准、VideoAgent 类智能体方案与 Qwen2.5-VL 类原生视频模型共同推进了这个领域的系统性进展。本文沿「基准、模型、数据与开放问题」三条线梳理。

一、基准的演进：从动作识别到认知问答

第一代基准与它的盲区

视频理解的基准史是一部「被静态识别绑架」的历史。Kinetics-400/600（Carreira 与 Zisserman，2017，DeepMind）确立了动作分类范式，Something-Something V2（2017，约 22 万条片段）强调细粒度时序（物体被推还是被拉必须看动作），MSR-VTT（2016）定义了视频文本检索。但这一代基准的共性问题是：多数题目靠单帧或双帧就能答对——卷积时代模型在 Kinetics 上刷到 90% 附近，却没有回答「模型是否理解了事件的时间结构」。真正暴露缺口的是第一人称视角基准 EgoSchema（Mangalam et al.，NeurIPS 2023，UC Berkeley）：5000 道基于数分钟长第一人称视频的多选题，要求跨时间段推理；论文的标志性发现是——即便给长上下文模型均匀采样 256 帧，成绩也远低于人类（人类约 92%），多数模型当时只有三四成。时序推理从此成为视频理解的公认短板。

Video-MME 与长视频基准

CUHK 与 SenseTime 等机构的 Video-MME（Fu et al.，2024）把评测系统化：900 个视频、2700 道多选题、6 大任务类型（知识、感知、时序推理等 30 个子任务），时长从 11 秒覆盖到 1 小时，并提供字幕与无字幕两种设定。成绩单揭示了三层差距：GPT-4o（多帧采样）约 71.9%，加字幕提升约 2.6 个点；Gemini 1.5 Pro（原生长上下文视频输入）约 75.7%；人类约 85.4%——最强模型与人类还有约 10 个点的差距，且时长越长差距越大：超过一小时的桶里模型成绩普遍跌 15 到 25 个点。配套的长视频基准也在 2024 年密集出现：LongVideoBench（时长最长 1 小时，数千道题）、MVBench（Li et al.，2024，上海 AI Lab，20 个时序专项任务、4000 道题）——MVBench 的诊断价值在于把「静态感知好但时序差」拆开了：不少多模态大模型在物体识别上接近满分，在动作计数、事件顺序等任务上接近随机。此外，LongVA（2024）引入的 V-NIAH（视觉大海捞针）测试把「在小时级视频里找一个特定画面」变成了标准压力测试，长视频检索能力从此有了可量化的量尺。

flowchart TD
    V["原始视频流"] --> F["帧采样策略<br/>均匀 / 关键帧 / 智能体检索"]
    F --> C["视觉编码<br/>动态分辨率 + 时间对齐位置编码"]
    C --> T["token 压缩<br/>逐层剪枝 / 每帧 1 token / 记忆合并"]
    T --> L{"处理路径"}
    L -->|"帧序列进上下文"| A["长上下文 VLM<br/>Gemini / Qwen2.5-VL"]
    L -->|"多轮工具调用"| B["VideoAgent 式智能体<br/>LLM 主动取帧 + 字幕"]
    A --> O["答案"]
    B --> O
    O --> E["评测：Video-MME / LongVideoBench<br/>MVBench 时序专项 / V-NIAH"]
    E -.失败模式反馈采样策略.-> F

因果与时序问答的专项基准

时序之外的深层短板是因果推理，专项基准把这层能力单独拆了出来。NExT-QA（Xiao et al.，CVPR 2021）构建了约 5.4 万条问答，按因果、时序、描述性三类划分，并系统测量了语言先验偏差：依赖「问题-答案」表面统计的传统 VQA 模型在因果类问题上接近语言先验基线，说明它们答对靠的是语料偏差而非视频内容。STAR（Wu et al.，ACL 2021）则用知识图谱自动生成需要「时序定位 + 因果链推理」联合的问题，静态识别型模型在该基准上接近随机。这两项工作与 MVBench 的时序专项共同确立了一个评测共识：视频理解的真正考题是「什么导致什么、先后顺序如何」，单帧识别分数与视频理解能力之间没有必然联系——这也是新一代模型把时序专项成绩而非动作识别分数当作核心指标的原因。

二、模型的演进：从视频编码器到原生视频 VLM

编码器时代的三项遗产

多模态大模型之前，视频理解由专用编码器主导，三项技术遗产延续至今。ViViT（Arnab et al.，ICCV 2021，Google）与 TimeSformer（Bertasius et al.，ICML 2021）确立了 Transformer 架构下的时空注意力分解方案（先空后时的因子化注意力在精度与算力间取得最优平衡），这套设计延续到今天几乎所有视频 VLM 的视觉塔。VideoMAE（Tong et al.，NeurIPS 2022）把掩码自编码器预训练引入视频，用 90% 的高掩码率逼模型学习时序冗余之上的语义，以小数据自监督预训练达到监督训练的水平；其续作 VideoMAE V2（2023）用双掩码策略把亿级参数编码器训上千万视频片段。这批编码器至今仍是许多视频系统的视觉底座。

VLM 时代的 token 战争

视频接进 LLM 的最大工程障碍是 token 预算：主流 ViT 每帧产 576 个左右视觉 token，一小时视频按 1fps 采样就是约 200 万 token，远超多数模型上下文。2023 到 2025 年的解法分四条路线。其一是压缩表示：LLaMA-VID（Li et al.，2023）把每帧压成 1 个上下文 token 加 1 个内容 token，代价是牺牲细节；MovieChat（2024）引入记忆合并机制处理上万帧的电影级视频。其二是逐层剪枝：FastV（Chen et al.，ECCV 2024）发现视觉 token 在浅层之后注意力贡献骤降，第二层之后剪掉近半 token 可以省 45% 以上算力而精度几乎无损，为「视觉 token 过剩」提供了机制证据。其三是原生架构：Qwen2.5-VL（2025，Alibaba）放弃了「resize 到固定分辨率」的老路，支持原生动态分辨率，并把 MRoPE 位置编码的时间轴对齐到绝对时间戳——模型可以直接回答「第几秒发生了什么」，长视频时序定位能力因此显著改善，这是「时间对齐」从后处理变成架构属性的标志。其四是长上下文硬扛：Gemini 1.5 系列把视频原生编码进约 1M token 的上下文（官方口径约 1 小时视频），以算力换完整性。

智能体路线：用检索换上下文

第四条路线干脆不把全视频塞进上下文。VideoAgent（Fan et al.，2024）把 LLM 变成主动取帧的智能体：模型看字幕与少量关键帧，判断需要哪个时间点的画面再调用帧检索工具，迭代到能回答为止。成绩单很有说服力：平均只取 8.4 帧，EgoSchema 达到约 54.7%，超过了不少均匀采样数百帧的长上下文模型，单位成本下降一个数量级。这条路线的本质是把视频理解重构为「信息检索问题」而非「编码问题」——与 RAG 在文本领域的胜利逻辑同构，代价是依赖字幕质量与关键帧索引，对纯视觉事件（无声动作细节）仍有明显短板。

三、数据与训练：规模化之后的新问题

视频文本数据与指令数据

训练数据的规模化在 2022 到 2024 年完成三级跳：HD-VILA-100M（2022，Baidu）提供亿级高清视频-文本对；Panda-70M（2024，Georgia Tech 等）用字幕挖掘加模型精标产出 7000 万条带三种粒度描述的视频片段，并发布高质量的 280 万子集；指令数据侧，LLaVA-Video-178K（2024）提供 17.8 万条视频指令样本与配套的合成管线，LLaVA-Video（2024）以此训练的 7B 模型在 Video-MME 上达到约 63%。数据侧遗留的问题是标注质量：大规模字幕挖掘的文本-视频对齐噪声高，模型学到的关联很多来自场景先验而非真实对应，这正是时序能力弱于感知能力的训练侧解释之一。

时序为什么难：一个结构性诊断

综合本篇证据可以对「时序短板」给出结构性诊断。采样层：均匀帧采样破坏了动作顺序的显式表征，模型拿到的输入本身就不含可靠时序信号；编码层：位置编码若不对齐真实时间戳，模型无法区分「间隔一秒」与「间隔一分钟」的帧序；数据层：字幕挖掘数据的文本很少描述事件顺序，监督信号缺位；评测层：旧基准把时序失败隐藏在静态识别的分数里。四个环节同时失守，解释了为什么时序推理是最后被攻克的模块，也解释了 MVBench 式专项基准与 Qwen2.5-VL 式时间对齐架构为什么成为 2024 到 2025 年的关键进展——问题在哪一层，答案就在哪一层。

四、开放问题

当前的视频理解还有三个明确的未解问题。第一，小时级以上的真正长视频：即便 Gemini 1.5 类模型号称支持小时级输入，Video-MME 一小时桶的得分坍缩说明「能输入」不等于「能推理」，层级摘要、记忆机制与智能体检索的混合架构是当前最有希望的路线，但都没有达到「通看全片再作答」的水平。第二，音画协同：绝大多数视频 VLM 的训练与评测以视觉帧为主，语音、环境音、画面文字的跨模态对齐仍靠字幕兜底，视频真正的多模态协同理解（谁在说什么话时做了什么动作）远未解决。第三，流式与实时：当前所有基准都是离线的「看完再答」，而监控、驾驶、机器人场景需要边看边推的流式理解，增量记忆与在线推理的评测体系几乎空白，这可能是下一个基准建设的真空地带。

小结

视频理解的进展可以概括为三层接力：基准层完成了从静态识别（Kinetics）到认知与时序（EgoSchema、MVBench）再到长视频系统评测（Video-MME、LongVideoBench）的迭代，把「看懂视频」从口号变成了可量化的问题；模型层走过了「专用编码器（ViViT/VideoMAE）— 通用 VLM 塞帧（LLaMA-VID 类压缩与 FastV 类剪枝）— 原生视频架构（Qwen2.5-VL 的时间对齐）— 智能体检索（VideoAgent 的 8.4 帧）」四步，token 经济学成为架构设计的第一约束；数据层用 Panda-70M 与视频指令集完成了规模化，但标注噪声与监督缺位仍是时序短板的训练侧根源。当前最强模型与人类在 Video-MME 上约 10 个点的差距、一小时以上视频的得分坍缩、流式理解的评测空白，构成了这个领域未来两三年的主战场。对应用团队的选型建议是：短视频问答用帧采样加 VLM 的常规管线即可，长视频优先考虑智能体检索类方案，需要精确定位时间的场景则应选择带时间戳对齐架构的模型——路线选择本身已成为视频应用效果的第一变量。