语音大模型：从 Whisper 到「听说想」一体化

语音大模型：文本范式向声音的迁移

语音是人类的母语交互界面，但在大模型版图里它长期是「配套模块」：识别交给 ASR，合成交给 TTS，理解交给文本模型，三段式流水线各管一段。过去四年，这个格局被两波浪潮重塑：第一波以 OpenAI 的 Whisper 为代表，把「大规模弱监督」的文本预训练哲学搬到语音，让识别的鲁棒性跨上台阶；第二波以 AudioLM、VALL-E 到 GPT-4o Realtime 为代表，把语音变成离散 token 序列，让「下一 token 预测」的范式吞并整个语音链路——听、说、想开始共用一个 Transformer。本文梳理这条统一建模之路的关键节点、数字与遗留问题。

Whisper：弱监督规模化的胜利

OpenAI 的 Radford 等人 2022 年的《Robust Speech Recognition via Large-Scale Weak Supervision》（ICML 2023）思路朴素到近乎反直觉：不清洗数据，直接从网络上抓取 68 万小时的多语言音频（约 43.9 万小时英文转写、12.5 万小时翻译、11.7 万小时其他语言转写），用「弱标签」训练一个多任务编码解码 Transformer，最大 15.5 亿参数。模型用统一的任务 token 同时承担转写、翻译、语言识别、时间戳与静音检测。结果证明了规模对数据质量的替代：LibriSpeech 测试集干净子集词错率约 1.8%，与 fully supervised 的专用系统持平；而在 Whisper 真正的强项——跨域鲁棒性上，传统专用系统出了 LibriSpeech 就性能大跌，Whisper 在未见过 finetune 的噪声、口音、专业领域数据上普遍只需两三倍的词错率退化。论文的核心论断「规模化的弱监督胜过小规模的精标注」自此成为语音领域的配方共识，Google 后来的 USM（Zhang 等人 2023）把它推到约 1200 万小时、三百多种语言，进一步验证了低资源语言随数据规模持续受益的趋势。

Whisper 的局限同样有代表性。长音频切窗转写时的误差漂移与循环幻觉是已知短板；Koenecke 等人 2024 年针对听障创作者音频的研究发现，Whisper 在约 14 小时素材上幻觉率约百分之一，部分幻觉内容涉及暴力等有害文本——对依赖转写的听障用户构成实际伤害。多语言性能分层也明显：头部语言与英文的差距以十倍计，部分低资源语言词错率超过三成。此外模型不做说话人分离，这在会议场景是硬伤。

AudioLM 与 VALL-E：语音变成 token 之后

第二波浪潮的关键动作是「离散化」。Google 的 Borsos 等人 2022 年的《AudioLM》第一次证明纯语言建模可以生成连贯语音：把语音拆成两级 token——由自监督模型 w2v-BERT 提取的语义 token（承载「说了什么」）与 SoundStream 编码的声学 token（承载音色与音质），按「语义到粗声学到细声学」的层级做下一 token 预测。模型无需任何文本标注，仅凭几秒提示就能续写保持说话人音色与韵律的语音，还能续写钢琴演奏。它确立了一个范式转换：语音生成问题被归约为序列生成问题，文本侧的全部规模化经验（更多数据、更大模型）随之平移过来。

Microsoft 的 VALL-E（Wang 等人 2023）把这个范式拧到了零样本 TTS 上：用 EnCodec 的离散 token 把 TTS 变成条件语言建模，在 6 万小时 LibriLight 上训练后，仅凭 3 秒注册音频就能克隆音色，词错率约 1.68%（同期零样本系统 YourTTS 约 6.01%），说话人相似度与真人录音基本持平。Meta 2023 年的 Voicebox 换用流匹配路线（非自回归），在 5 万小时数据上做到相当的零样本质量、生成速度快约二十倍，还支持降噪与内容编辑。VALL-E 的音色克隆能力同时敲响了滥用警钟——「3 秒素材克隆声音」自此成为语音安全讨论的基准场景，音频水印（如 Meta 2024 年的 AudioSeal）与反欺骗检测随之成为配套研究方向。

统一建模：听说想共用一个模型

2023 到 2025 年的主线是让语音与文本住进同一个模型。复旦的 SpeechGPT（Zhang 等人 2023）先把离散语音单元与文本混训，通过「先出文本再出语音」的链式模态指令微调实现任意到任意的对话。Meta FAIR 的 SpiRit-LM（Nguyen 等人 2024）走得更纯粹：在十亿级参数的单个 Transformer 里交替混排文本 token 与 HuBERT 语音单元，用文本主导的混合语料训练，结果模型在文本任务上不损失原有能力，同时获得跨模态的语音理解与续写，情感语义在文本与语音两个模态间保持一致——证明了「同一套参数、两种模态」的可行性。开源侧，Kyutai 的 Moshi（2024）实现了全双工对话：7B 参数、自研 Mimi 编码器把语音压到每秒 12.5 帧、内部「独白」机制先草拟文本再驱动语音，理论延迟约 200 毫秒，能自然处理抢话与插话。产品侧的分水岭是 OpenAI 2024 年 10 月的 GPT-4o Realtime：语音到语音的端到端对话，平均语音延迟约 320 毫秒（最快 232 毫秒），相比传统「ASR 加 LLM 加 TTS」流水线动辄两秒以上的延迟与情感丢失，端到端模型保留了语气、停顿与情绪，并支持随时打断。2025 年，阿里开源的 Qwen2.5-Omni 把四模态输入（文本、图像、音频、视频）与流式语音输出统一进 Thinker-Talker 架构（思考模型出文本、发声模型流式合成），用时间对齐的位置编码同步两路输出，把「全模态一体」做成了可复现的开源配方。

flowchart TD
    A["传统三段式流水线"] --> B["ASR 识别"]
    B --> C["LLM 生成文本回复"]
    C --> D["TTS 合成语音"]
    D --> E["延迟 2 秒以上，语气丢失"]
    F["端到端语音大模型"] --> G["语音离散化为 token"]
    G --> H["单一 Transformer 统一听说想"]
    H --> I["延迟约 300 毫秒，保留情感与韵律"]
    A --> J["模块化：易控、可审计"]
    F --> K["一体化：低延迟、自然对话"]

评测、规模化与遗留问题

评测侧，语音领域正在经历与文本相同的「从任务指标到能力基准」的迁移：词错率仍是识别的金标准，但对端到端对话模型，SUPERB 类的多任务套件与 MMAU 这类音频理解推理基准（2024 年发布，覆盖声学场景、音乐、专业音频共 27 类任务）更能反映真实能力——首批测试里最强模型得分约在 57% 上下、人类约 82%，说明「听懂弦外之音」仍是短板；语音对话的指令遵循与安全性评测（如 SpeechMap 类社区基准）刚刚起步。遗留问题可以归为四类。幻觉与安全：静音与噪声段的凭空生成对听障用户与司法转写是真实风险，长音频的漂移尚未根治。滥用：3 秒克隆与端到端生成把语音伪造成本降到零，水印、检测与行业规范仍在追赶。多语言公平：Whisper 与后续模型在低资源语言上的词错率差距以数倍计，语音侧的数据墙比文本更陡——标注成本远高于文本。架构之争：端到端的低延迟与情感保留对阵流水线的可控与可审计，短期内混合架构（端到端为主、文本侧校验为辅）仍是工程最优解。

规模化的地基与理解能力的深水区

Whisper 的成功站在自监督表征研究的肩膀上。wav2vec 2.0（Baevski 等人 2020）、HuBERT（Hsu 等人 2021）与 w2v-BERT（Chung 等人 2021）用对比学习或掩码预测从未标注音频里学出通用表征；XLS-R（Babu 等人 2021）以 42.8 万小时、128 种语言验证了跨语言迁移。AudioLM 的语义 token 正是取自 w2v-BERT——「离散单元」是把自监督表征与语言建模缝合起来的关键针脚，没有这条地基，后面的 token 化路线都无从谈起。

语言覆盖的极限测试由两条线完成。Meta 2023 年的 MMS 把自监督路线推到一千一百多种语言，语料主要来自《新约》等宗教文本朗读——量大而域窄，直接暴露了「覆盖」与「质量」的区别，配套的 FLEURS 基准提供 102 种语言的对照。USM 则证明弱监督持续扩容（约 1200 万小时）能让低资源语言持续受益，语音侧的缩放定律在 2023 年前后得到系统验证：只要数据管道能扩，尾部语言的词错率就还在下降。

理解的深水区在词错率之外。说话人分离长期由 pyannote 等专用系统承担，端到端统一模型至今没有真正拿下这个模块；情感、讽刺、迟疑等副语言信息的建模仍以辅助任务为主；MMAU（2024）的音频理解推理基准显示最强模型约 57%、人类约 82%，二十五个点的差距集中在「把声学线索与知识结合」的推理题上。这说明「一体化」仍有清晰的工程边界：识别与生成已经统一，理解与推理还在各自为战。

安全与治理是这条线的阴影面。三秒克隆让语音伪造成本归零，配套防御包括音频水印——Meta 2024 年的 AudioSeal 支持定位水印片段、检测速度接近实时——与 ASVspoof 系列挑战赛推动的反欺骗检测。Whisper 类模型的静音幻觉对司法转写与听障用户是高风险缺陷，Koenecke 等人的研究之后，幻觉率监测正在成为语音产品的一级指标，与词错率并列考核。

小结

语音大模型四年的主线是一场范式迁移：Whisper 证明了「弱监督规模化」在语音成立，AudioLM 与 VALL-E 把语音归约为 token 序列从而接通了文本侧的全部规模化经验，SpiRit-LM、Moshi 与 GPT-4o Realtime 则把听、说、想装进同一个模型，把对话延迟从秒级压到三百毫秒级。这条迁移的净效应是：语音正在从「文本模型的附属外设」变成「统一多模态模型的一个原生模态」。对工程团队，选型逻辑可以从延迟与可控性两个轴出发——延迟敏感、情感重要的对话场景选端到端，可审计、多语言转写场景选流水线或 Whisper 类底座；对研究者，音频理解推理（人类与模型仍有二十五分的差距）与低资源语音的数据墙，是比「把词错率再降半点」更值得投入的方向。