一百种语言与一种思维：多语言大模型与语言公平

多语言大模型：七千种语言的不平等

地球上现存语言超过七千种，Joshi 等人 2020 年的《The State and Fate of Linguistic Diversity and Inclusion in the NLP World》给出了一个常被引用的估计：约百分之八十八的语言只有低或中等资源——没有足够语料、标注与工具。而大语言模型的训练配方高度英语中心：主流开源与闭源模型的预训练语料里，英语占比通常在七成到九成之间。于是出现了这个领域最核心的张力：模型以一种语言为主食，却被期望服务说其他语言的用户。本文梳理这条研究线的三个层次：编码器时代的跨语言迁移基础、LLM 时代「以英语为思维枢轴」的机制发现，以及低资源语言的数据墙与语言公平问题。

编码器时代：迁移、诅咒与规模解药

跨语言迁移的奠基工作是 Facebook AI 的 XLM-R。Conneau 等人 2020 年 ACL 的《Unsupervised Cross-lingual Representation Learning at Scale》用 2.5TB 的 CC-100 语料以一百种语言训练 RoBERTa 规模的编码器，在 XNLI 跨语言推理基准上：mBERT 零样本迁移平均约 66%，XLM-R 提升到约 81%，平均高出十四个百分点，其中斯瓦希里语提升约 11 个点、乌尔都语约 2 个点——低资源语言恰恰是收益最大的地方。XLM-R 同时命名了这个领域最重要的权衡：多语言诅咒（curse of multilinguality）。固定模型容量下，塞进的语言越多，每种语言的表征质量越差——语言之间在共享参数里互相挤压。解药同样是规模：模型越大，可容纳的语言越多而不互相侵蚀。这条「规模换语言容量」的经验，后来成了多语言 LLM 配方的默认前提。同期 Google 的 mT5 用 mC4 语料以一百零一种语言训练 T5 家族，把多语言翻译与问答的规模上限推进到 13B。

LLM 时代：英语枢轴与跨语言思维

LLM 时代多语言研究的第一个重大发现来自推理侧。Shi 等人 2022 年的 MGSM 基准把 GSM8K 的二百五十道小学数学题人工翻译成十种语言（含斯瓦希里语、泰卢固语、孟加拉语、泰语等），测试思维链推理的跨语言表现：PaLM 540B 用思维链提示平均拿到约 55%，说明「用非英语推理」在强模型上可行但损耗明显。Huang 等人 2023 年的跨语言思维提示（cross-lingual thought prompting）顺势提出了一个取巧方案：让模型用英语思考、用目标语言作答——显式分离推理语言与输出语言，在低资源语言上带来约二十个点的提升。方案有效本身就是一个诊断：模型的推理能力绑定在英语上，其他语言只被当作「输出皮肤」。

第二个发现来自机制侧。Wendler 等人 2024 年的《Do Llamas Work in English? On the Latent Language of Multilingual Transformers》（EPFL）逐层追踪 Llama-2 处理非英语输入时的内部表征，发现一个稳定的「三段式」：浅层表征贴近源语言，中间层表征突然转向英语——概念在模型的「思维」里被切换成了英语——深层再转回目标语言生成输出。作者用「英语枢轴」（English pivot）描述这一现象，并用「英语偏差」指标量化了中间层的英语化程度。这篇工作把「大模型用英语思考」从开发者直觉变成了可测量的机制事实，也直接解释了跨语言思维提示为什么有效：它顺应了模型的内部工作语言。

flowchart TD
    A["非英语输入：泰卢固语数学题"] --> B["浅层：源语言表征"]
    B --> C["中间层：表征转向英语（英语枢轴）"]
    C --> D["深层：推理在英语语义空间完成"]
    D --> E["输出层：转回目标语言作答"]
    E --> F["损耗来源：枢轴往返的语义损失"]
    F --> G["低资源语言损耗最大：训练分布与对齐语料双重稀缺"]

低资源语言：数据墙与本地化努力

低资源语言面临的第一堵墙是预训练数据本身。Meta 2022 年的 NLLB-200（No Language Left Behind 项目）是目前翻译方向最系统的工程：545 亿参数的稀疏 MoE 编码解码模型，覆盖两百种语言（其中非洲语言五十五种），配套 FLORES-200 评测集与 mined 数据管线，相比此前最优系统平均相对提升约四成 BLEU，专攻的正是「没有电商价值的语言」。社区侧的努力同样值得记录：Masakhane 以非洲研究者为开源主力自建语料与基准；Cohere For AI 2024 年的 Aya 项目动员了数十个国家的标注者，构建了约五亿条多语言指令数据并发布 101 语言、13B 的 Aya 101，在多语言聚合评测上超过 mT0 与 BLOOMZ 等同期开源多语言模型；区域性模型（中文的 Qwen、印地语系的 Sarvam、东南亚的 SEA-LION 等）则以「深耕一种语系」对抗英语中心模型的迁移损耗。

第二堵墙是分词器。Petrov 等人 2023 年的《Language Model Tokenizers Introduce Unfairness Between Languages》量化了「生育率」不公平：同样一段话，孟加拉语在主流分词器下消耗的 token 数可达英语的约十倍。这意味着三重惩罚——上下文有效长度缩水、API 按量计费贵十倍、生成速度慢十倍。分词器的不公平完全由训练语料的语言分布决定，是「数据不平等」向「计费不平等」的直接转译。

语言公平：性能、成本与文化三重鸿沟

综合来看，语言公平呈现三重鸿沟。性能鸿沟：GPT-4 技术报告把 MMLU 翻译成二十六种语言评测，英语 85.5%，低资源语言如泰卢固语跌到六成出头，而同期最好的英语中心模型在多数非英语语言上反而不如 GPT-4 的英语成绩——跨语言迁移有上限，弥补差距最终要靠目标语言数据。成本鸿沟即上述生育率惩罚。文化鸿沟更隐蔽：评测题目预设西方语境（美国的法律条文、欧洲的历史事件），模型在低资源语言里给出冗长的含糊回答或直接的文化错配；方言处境比小语言更糟——阿拉伯语各方言、印地-乌尔都语混写（Hinglish）在「标准语」评测里系统性失分，因为它们根本不被当作独立语言对待。研究前沿上，多语言缩放定律与语料配比优化、低资源的合成数据增强、文化敏感性基准（DOSA 等）与「英语枢轴能否被打破」是四个活跃方向；机制研究则提示了一个务实的中间路线：与其强行端到端多语言推理，不如显式管理枢轴——检索与推理用资源丰富的语言，呈现与交互用用户语言。

训练配方与评测实践

多语言训练的第一课是语料采样。XLM-R 用重要性采样平衡语言分布——对低资源过采样、高资源欠采样，但过采样太猛会导致低资源小语料的过拟合，反噬整体质量，这个权衡在所有多语言训练里反复出现。LLM 时代的方法论延续为温度式采样加人工配比，而英语中心的格局并没有根本改变：以 Llama 3 为例，官方披露 15 万亿 token 的预训练语料中多语言数据约 5%、覆盖约 30 种语言。规模换语言容量的定律依然成立，但「哪些语言进配方」始终是商业决策而非技术决策。

指令微调给了多语言一条捷径。Muennighoff 等人 2022 年的 mT0 与 BLOOMZ 用 xP3 多语言提示集做多任务指令微调，发现任务能力可以跨语言迁移：在英语指令上训练，目标语言指令的零样本成绩同样上升，且优于只用目标语言数据训练——这为低资源语言提供了「借英语数据养任务能力」的路径，也再次印证了英语枢轴机制。社区模型方面，BLOOM 的 46 种语言 ROOTS 语料是学术界第一次有意识地组织多语言数据治理，Cohere 的 Aya 项目则把「人写指令数据」推进到约五亿条规模。

评测实践有三件套：XTREME 覆盖 40 种语言九个任务的判别式任务，FLORES-200 与 Belebele（Bandarkar 等人 2023，122 种语言阅读理解）覆盖翻译与理解。但翻译型基准有两重失真——译文风格偏书面、且大概率已入训练语料——社区因此转向原生创作基准与人工评估。文化维度的评测（文化常识、本地习俗、敏感话题处理）2024 年后密集出现，但覆盖仍以十几种语言为主，离七千种语言的数量级还很远。

方言与语码混用是被系统性忽略的一层。阿拉伯语各方言、印地-英语混用（Hinglish）、西非皮钦语在实际用户流量里占比很高，却几乎全部被训练与评测当成「标准语」处理，带来隐性失分；用户为了获得母语体验而付出的额外沟通成本——可以称为方言溢价——是多语言产品里尚未被充分量化的问题。有趣的对照是语音侧反而走在文本前面：Meta 的 MMS 类语音模型已经覆盖一千一百多种语言，因为语音数据的采集成本结构与文本不同，方言录音的边际成本更低。语言公平的下一程，很可能从语音与多模态侧反向倒逼文本侧。

低资源语言还有一类容易被评测掩盖的失真：冗长与语言漂移。多项研究发现，模型在低资源语言上倾向于给出冗长、含糊的回答，或者中途切换成英语——「答案正确但语言不对」在只比对最终答案的自动评测里会被记为通过，用户体验却是失败的。因此多语言评测需要单独的「语言一致性」指标（回答是否坚持目标语言、术语翻译是否地道），而分词器侧的修复方向——脚本感知的分词、字节级与多分辨率方案——也在把生育率不公平从架构层面压低。

小结

多语言大模型研究的版图由三层拼成：迁移层，XLM-R 确立了「规模换语言容量」与多语言诅咒的权衡；机制层，「英语枢轴」发现揭示了非英语推理的内部路径与损耗来源；公平层，数据墙、分词器生育率与文化错配构成三重系统性鸿沟。工程结论也清晰：低资源场景优先考虑「英语推理加本地输出」的显式枢轴策略与区域深耕模型，不要指望跨语言零样本迁移补齐最后二十个点；评测必须用目标语言原生基准，翻译基准的污染与语言文化失真会让分数失去意义。七千种语言里，模型目前真正「会思考」的不过十几种——语言公平的下一步，取决于低资源语料生产能否像 NLLB 与 Aya 那样被组织成系统工程。