搜索:LLaVA

共命中 3 条(服务端检索)
一篇读懂多模态统一训练:视觉、语言、音频的联合建模前沿
从 CLIP 对比预训练到连接器路线与原生 token 统一路线:图文音频联合建模的架构分歧、训练稳定性问题、模态不平衡与数据配比,一篇讲透。
大模型 精选 · 原创 · 今天 阅读 2·访客 2
视频理解研究:多模态视频理解的研究进展与基准
从 Kinetics 到 Video-MME 的基准演进、视频编码器到 VLM 的模型迭代、token 瓶颈与帧采样难题:多模态视频理解的进展全景与开放问题。
研究前沿 精选 · 原创 · 今天 阅读 0·访客 0
原生多模态与 Any-to-Any:当理解与生成合流进一个模型
GPT-4o 之前的多模态是「拼装」:LLM 外挂视觉编码器、外挂图像生成器。原生多模态把理解与生成合进一个模型——语音进出、图像进出都在同一套权重里。本篇拆解三代多模态架构(外挂拼接、原生统一、any-to-any)、早融合与晚融合的技术分野、统一模型的权衡,以及「模态是什么」这个被重新打开的问题。
研究前沿 精选 · 原创 · 6天前 阅读 42·访客 42