以十个问答讲清 Scaling Laws：幂律为什么可外推、Chinchilla 如何修正参数与数据的配比、6ND 公式怎么当算力换算器、数据枯竭与推理时算力这两条新变量，以及这门「经验定律」对大公司与创业者的不同含义。

2017 年 6 月，八位 Google 研究员在一篇机器翻译论文里抛弃了循环网络，标题只有五个词：Attention Is All You Need。此后九年：GPT-3 证明规模即能力、ChatGPT 两个月一亿用户、Scaling Laws 驱动军备竞赛、DeepSeek 用十分之一成本撼动算力叙事、推理模型开启第二条扩展曲线。本文是「机器学习简史」系列完结篇，所有 2024 年后的关键事实均经联网核实，带你看清截至 2026 年 10 月的大模型版图，与依然悬而未决的终极争论。

2017 年 Ali Rahimi 领奖时说「机器学习变成了炼金术」，LeCun 当场反驳；八年过去，模型能力涨了几个数量级，「为什么泛化」的数学解释仍然是一堆可解模型里的定理。本文盘点深度学习数学基础的现状：随机标签实验、双下降、NTK、grokking、scaling laws 各自被解释到了哪一步，哪一步仍然卡住，以及 2026 年「学习力学」的学科宣言算不算转折点。

Most modern multimodal large language models (MLLMs) build on a pretrained visual encoder that provides a strong visual …

GPT-3 有 1750 亿参数却不会「听懂指令」，InstructGPT 用 13k 条示范、33k 条偏好排序和 PPO 强化学习，让 1.3B 的小模型在人类评测里反超大 100 倍的前辈。本文逐层拆解 RLHF 三阶段——SFT、奖励模型、PPO——以及 KL 惩罚、标注员分歧、模式坍缩这些决定成败的细节。

DeepSeek-V3 有 671B 参数，每个 token 却只动用 37B 的计算量——这不是营销话术，而是混合专家架构（MoE）把「模型容量」和「每 token 算力」拆开的结果。本文从 dense 模型的容量两难讲起，拆解路由器与稀疏激活的工作机制、负载均衡的三代方案、DeepSeekMoE 的细粒度设计，也说清 MoE 的两个代价：省 FLOPs 但不省显存，以及「专家」并不按领域分工的反直觉事实。

提出基于JEPA的机器人世界模型RoboJEPA，在覆盖12种机器人本体的数据集上训练，发现其想象误差随算力呈二阶幂律，可预测模型质量与下游规划性能的扩展规律。

大语言模型吃的是万亿 token 网络文本，机器人能吃的真机数据却以「万条轨迹」计。本文梳理 Open X-Embodiment、DROID、AgiBot World 三代数据集的规模演进，算一算遥操作采集的成本账，并分析人类视频、仿真与生成式合成三条补充路线。

Mamba 把 SSM 参数改成输入的函数，让固定大小的状态学会按内容取舍；再靠并行扫描与 kernel 融合把状态装进 SRAM，线性复杂度落地——3B 匹敌两倍大的 Transformer，5 倍推理吞吐，线性扩展到百万长度。文末梳理截至 2026-10 它与 Attention 的分工现状。

《Language Models are Few-Shot Learners》（Brown et al., 2020）把 GPT-3 推到 175B 参数，真正的发现却是另一个：只靠提示词里放几个例子，模型就能完成没训过的任务——in-context learning 从此改写了 NLP 的工作方式。本文精读这篇论文的机制、数据与遗留争议。

推理时多花算力能换准确率：self-consistency 投票、过程奖励模型引导搜索、budget forcing 强制续想，三条路线各有边界。本文以 s1 论文与 2025–2026 年的 overthinking 研究为轴，梳理 test-time scaling 的效果账与失效点。

Bidirectional video diffusion models denoise entire videos in parallel, yet when trained on effectively unlimited in-dis…

在OpenAI工作三年半、负责主要产品发布安全报告撰写的David Robinson在大西洋月刊发表文章宣布离职，认为公司文化已经崩坏，其言论与此前离职研究员Jacob Coxon对AI安全的警告相呼应。

Sponsored In partnership withUniphore Enterprise AI is no longer a future ambition. It is in full operational flight. Mo…

MIT Technology Review ExplainsRead more MIT Technology Review Explains*: Let our writers untangle the complex, messy wor…

Sep 27, 2026 Nano Banana Pro prompted by THE DECODER Key Points OpenAI and Anthropic are investigating tens of thousands…

Sep 23, 2026 Basecamp Research / GPT-Image-2 prompted by THE DECODER Basecamp Research has raised $140 million from inve…

This is today's edition of* *The Download*,*our weekday newsletter that provides a daily dose of what's going on in the …

Despite impressive visual quality, state-of-the-art video diffusion models often generate content that violates real-wor…

California Governor Gavin Newsom signed an executive order seeking independent auditors inside AI labs and a "kill switc…

This week two conversations about AI safety went viral that demonstrate just how hard it is to discern AI fact from fict…

Not everyone agrees with Amodei's call for globally coordinated action for AI safety.]

Anthropic and OpenAI want to embed independent safety evaluators inside their AI labs. Researchers welcome the unprecede…

There may be a simpler and more effective fix for rogue agents, hiding in plain sight.]

This is today’s edition of The Download, our weekday newsletter that provides a daily dose of what’s going on in the wor…

We introduce LimiX-2, a new model in the LimiX family, developed through model and data scaling guided by our previously…

The rapid progress of artificial intelligence is reshaping robotics and accelerating the adoption of learning-based appr…

Scientific agents contribute to hypothesis discovery by synthesizing evidence, assessing proposals, and developing new e…

把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点，并给出优先级表与算法工程师/产品经理的行动建议。