从 Kinetics 到 Video-MME 的基准演进、视频编码器到 VLM 的模型迭代、token 瓶颈与帧采样难题：多模态视频理解的进展全景与开放问题。

转写成文字只是「听见」，音频理解的野心是「听懂」：环境声事件、音乐结构、说话人情绪、副语言信息。本文拆解音频语言模型的技术配方（音频编码器 → 语义 token → LLM）、开源代表 Qwen 系与评测基准 MMAU/AudioBench，以及它正在替代的旧管线。

Sora 基于扩散模型与 Transformer 架构，可直接从文本生成长达一分钟的高保真视频，展示了对物理世界'世界模拟器'式的理解潜力。

生成一条好看的视频已经不难，难的是让同一个人跨镜头不「变脸」、让画面里的世界遵守物理。盘点各家的参考生视频、LoRA 微调、推理优先架构等方案与仍然存在的短板。

LeCun 的 JEPA 主张、DeepMind Genie 3、NVIDIA Cosmos 与李飞飞的 World Labs，讲清世界模型与视频生成模型的本质区别：一个产出录像，一个产出可交互、可预测的环境。

英伟达推出采用 MoE 架构（总参数 1200 亿、激活 120 亿）的开放多模态模型 Nemotron 3.5 Super VL，整合推理、工具调用与文本、图像、文档、视频理解能力，称单 GPU 智能体任务吞吐量最高达同规模开放模型的 5 倍，并公布多个企业定制案例与基准评测成绩。

文生视频从演示到量产的三年里，产业账已经分化成三本：广告与营销的快速回本、影视管线的局部改造、以及「长片叙事」仍在排队。把三本账与玩家的卡位策略讲清，就能看懂视频生成这门生意的真实进度条。

从 Sora 2 的音画同步到可灵 4.0 的 4K HDR 30 秒长镜头，盘点 2026 年视频生成模型的版本演进、能力边界与定价方式，并给出一套按场景选型的参考框架。

从纯 AIGC 长剧上星到「AI 跑一千张图选一张」的分镜工作流，盘点 2026 年 AI 视频在短剧、广告、影视与电商四个场景的真实渗透率、成本账与卡点。

智象未来（HiDream.ai）正式发布首个原生全模态视频生成模型 HiDream-O1-Video-1.0]

GPT-4o 之前的多模态是「拼装」：LLM 外挂视觉编码器、外挂图像生成器。原生多模态把理解与生成合进一个模型——语音进出、图像进出都在同一套权重里。本篇拆解三代多模态架构（外挂拼接、原生统一、any-to-any）、早融合与晚融合的技术分野、统一模型的权衡，以及「模态是什么」这个被重新打开的问题。

量子位的朋友们* 2026-10-07 19:34:47 来源：量子位 咱就是说啊，专业的事情，还得交给专业的人来做。 这不，独立评测机构**Artificial Analysis**（下文简称AA）发了最新的**文生视频**榜单。 第一…

从 Peebles 与谢赛宁的 DiT 论文到 Sora 的时空 patch，讲清 Diffusion Transformer 的三个关键设计：patch 化、adaLN-Zero 条件注入与以计算量为标尺的可扩展性。

AI 原生影视公司 Utopai Studios 的自研视频生成模型 Utopai X 在 Artificial Analysis 带音频文生视频盲评榜位列全球第二，是该榜排名最高的美国公司模型，公司模型与平台服务于实际电影和剧集生产流程。

IT之家 9 月 29 日消息，快手可灵 AI 宣布，Kling 4.0 将于 10 月正式上线。其中，Kling 4.0 Flash 于 9 月 28 日率先开放小范围体验。 据介绍，Kling 4.0 支持 4K、1080p 的 10-…

IT之家 11 月 4 日消息，全球最大视频平台 YouTube 今天（11 月 4 日）发布博文，宣布面向全球内容创作者，**推广 YouTube Studio 中的“替换歌曲”（Replace song）工具功能，让其更方便地处理视频中…

2,510 当日涨星的开源 AI 创作 IDE（★7,621、Rust/Tauri）：把 62 个图像/视频/音频/3D 模型收进一个本地桌面端，用 3D 场景、图层合成与人偶摆姿把「提示词抽卡」变成可复现的创作工程。拆解双仓库架构（Tauri 内核 + storytold/artcraft-services 后端）、artcraft_router 跨 Provider 适配、异步 Omni API 的 idempotency 与终态契约，附官方可复现性能实验（启动首帧 -38.1%）与自定义 fair source 许可证风险。

IT之家 10 月 4 日消息，近期网络上流传一段所谓“乐山大佛开展养护作业”短视频，其中显示文保工人正在给大佛“掏耳朵”，佛耳里掏出鸽子和腐叶，鼻孔里清理出大量腐叶等物质，旁边还有一只猴子在佛身上上蹿下跳，猴子还抢工人的安全帽戴在自己头上…

作者实测生数科技新开放的 Vidu Q4 Preview，称其为高表现力旗舰视频生成模型，在人物情绪、运镜和复杂特效上相比前代有明显提升，试拍成本低至 0.09 元/秒。

“IT早报”时间，大家好，现在是 2026 年 10 月 5 日星期一，今天的重要科技资讯有： 1. 乐山大佛景区回应网传“掏耳朵”养护作业视频：系 AI 合成，佛耳内并无所谓“杂物” 网传视频显示文保工人给大佛掏耳朵、掏鼻孔，还出现猴子抢…

IT之家 10 月 24 日消息，英伟达已确认，最新发布的 GeForce Game Ready Driver 621.01 显卡驱动存在一项 Bug。 部分用户反馈，在 Chrome、Edge 等浏览器或 VLC 媒体播放器中播放视频时，…

IT之家 10 月 10 日消息，综合 BBC 报道，尼康宣布原本获得 2026 年 Small World in Motion 显微视频竞赛一等奖的作品因“不符合赛事关于生成式 AI 的相关规定”，因此取消其获奖资格。根据更新后的比赛排名…

量子位的朋友们* 2026-10-22 15:11:14 来源：量子位 中电信人工智能科技有限公司星辰通用人工智能实验室正式发布并开源意图理解专用模型 Xing4.0-29B-Intent 中国电信人工智能科技有限公司星辰通用人工智能实验…

东京的一名 40 多岁的男子习惯于睡前启动 BitTorrent 下载成人视频，第二天早上关闭软件。但从今年五月起他先后收到了两封信函，勒令他支付 50 万日元否则将面临民事诉讼。他一开始以为是诈骗，但很快发现是真的。越来越多的日本人因为使…

两年前 Zhu Zhili 选择了深圳作为其 AI 电影工作室的办公地点，今年他接到了来自中国各地政府和产业园官员的电话，内容基本相同，即希望将 AI 电影业务带到当地。中国各地正在推动 AI 视频的产业化，类似太阳能、电动汽车和机器人。A…

Adobe 终于推出了功能完整的 Android 版视频编辑工具 Premiere，除了 AI 视频生成功能外其它功能都是免费的，用户无需订阅或注册 Creative Cloud 账户。Android 版 Premiere 支持导入任意数量…

苹果首款2nm芯片M6来了，首发竟是Mac mini！IT之家第一时间拿到了 32GB+1TB版本，对比同配置M4进行多项测试，M4用户要不要换，看完再说。 点击关注IT之家视频号

IT之家 9 月 18 日消息，腾讯 Chatterfly 输入法现已开启内测，支持 macOS 和 Windows 系统，iOS 与 Android 版显示为即将发布。 官方表示，这款输入法除了将语音变成文字外， 还能理解上下文 ，识别不…

Agent 的输入不再只有文本：PDF、截图、语音、表格、手写笔记——多模态输入让 Agent 贴近真实工作。本篇拆解多模态输入的接收面工程（解析管线、模态的统一表示、成本与延迟的取舍），以及文档智能、视觉理解、语音输入各自的工程要点。

论文提出生成感知潜空间压缩方法 GRACE，旨在解决高压缩率视频自编码器训练困难及压缩潜空间与预训练 DiT 分布不匹配的问题，从而加速视频扩散模型推理。

Browser Use 开源的会话式视频剪辑技能包 video-use（当日涨星 +745、★26,450、MIT）：不让模型看像素，只让它读 12KB 词级转写文本 + 按需抽查画面，配合 12 条硬规则与 EDL 驱动的 ffmpeg 确定性渲染管线。拆解两条读入通道、六步流水线与自评回路，附五个落地场景与成本口径。

论文指出多数VLM在判断相机左移还是右移时接近随机猜测，并提出CameraVLM，通过相机运动令牌与屏幕内光流令牌的联合表征以及状态-语言对齐来提升相机运动理解能力。

可灵发布Kling 4.0，主打真实、可控、专业，在运镜稳定性、视听表现、多关键帧、口型匹配等能力上提升，并推出高性价比的Kling 4.0 Flash。

论文提出VepAgent框架，将因果转换推理与工具增强强化学习结合用于视频事件预测，并构建了用于微调的futurebench-4K思维链数据集。

大晓机器人联合南洋理工大学 S-Lab、上海人工智能实验室发布全新人–场景交互重建研究 HSImul3R]

论文提出StreamErase，通过将双向基础模型的擦除能力迁移到单向流式生成器，在单张GPU上实现最高26 FPS、亚秒级延迟的流式视频物体移除。

CoDance 框架以双人舞为任务，从单段双人舞蹈视频出发，将动作重定向为机器人参考与移动伙伴，并通过多链接顺从性增强把运动学演示转化为力感知训练数据，使人形机器人在持续双手接触下与伙伴协调步伐并保持稳定自然的运动。

论文提出Ego2Act基准，包含来自110个真实任务的2,640段视频，用于评估视频生成模型在执行多步骤、目标导向操作时预测环境动态变化的能力，弥补现有基准偏重单一短动作的不足。

同一预测核心，跨七类系统验证]

IT之家 9 月 23 日消息，在今天（23 日）的年度创作者活动 Made on YouTube 上，YouTube 宣布升级 2025 年推出的 AI 创作工具。 YouTube 带来了一款帮助创作者在后台优化频道的智能体，其能够查看频…

剪映Hub+剪映助手，好用]

世界模型的终极形态是可交互的 3D 世界。五年的技术跃迁——NeRF 用神经网络「记住」一个场景，3DGS 用高斯点云把渲染速度提升百倍，生成式 3D 让模型从一张图「想象」出完整三维体——正在把「看视频的 AI」变成「住在场景里的 AI」。本篇拆解三代场景表示技术、生成式 3D 的路线、以及空间智能与具身智能的交汇。

WHO、AAP 与中国国家卫健委的口径高度一致：越早越少、越少越好、共看优先。屏幕的主要问题不是「辐射」，而是挤占互动、游戏与睡眠，以及低龄儿童特有的「视频缺陷」。本文拆解三套指南的时间表、四条机制证据与常见误区，给一份可执行的家用媒体公约。

田, 晏林* 2026-10-09 11:52:21 来源：量子位 星动纪元选择将视频预测与动作学习分阶段训练，重点不是「视频、动作一锅炖」，而是把两者「解耦」，重新「排序」。 田晏林 发自 凹非寺 量子位 | 公众号 QbitAI 好家…

Apertus 1.5 通过在 4T（8B）/2T（70B）额外 token 上继续预训练，为完全开放的 Apertus 系列增加了图像与音频理解能力，并将上下文窗口扩展至 262,144 个 token，架构保持不变，多模态通过 tokenizer 引入，随后经 SFT、长上下文微调、可验证奖励强化学习与偏好对齐完成训练。

9月10日，阿里巴巴集团旗下高德正式发布全球首个3D原生城市世界模型ABot-Earth 0.7。]

量子位的朋友们* 2026-11-03 14:29:11 来源：量子位 TeleAI智慧看护助手 近日，彭博社记者马克·古尔曼（Mark Gurman）爆料，苹果公司正在研发一款“不录制视频”的智能家居摄像头，代号为J450，通过AI分析…

扩散模型统治图像生成数年后，自回归阵营（GPT-4o 原生图像、Gemini 的原生多模态生成）带着「理解与生成同源」的旗帜反攻。本篇拆解两条路线的机制差异、DiT 的统治基础、自回归反攻的杀手锏（文本渲染与指令遵循）、以及混合架构与「统一模型」趋势下的路线合流。

周五晚上 11 点，AI 大神 Karpathy 打开 YouTube，想找个视频看看。 结果首页全是夸张的封面、看过无数遍的老话题。受不了这些算法推荐的他，第二天干脆打开 Claude，给自己重新做了一个 YouTube。 整个过程只花了…

当日涨星 906 的知识图谱项目：代码用本地 tree-sitter AST 零 LLM 额度建图，文档/图片才走语义趟；52 文件混合语料单次查询 token 降 71.5 倍，LOCOMO recall@10 0.497，每条边带 EXTRACTED/INFERRED/AMBIGUOUS 置信标签。