从 Attention Is All You Need 的 encoder-decoder 原型，到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰，本文系统拆解基础 Transformer 的架构原理，梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线，并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。

九年过去，Transformer 的骨架纹丝未动，外围部件却几乎换了一遍：归一化从 Post-LN 走到 QK-Norm，位置编码从正弦函数走到 RoPE 与 NoPE 混布，注意力从 MHA 走到 GQA 与 MLA。本文以 12 家旗舰模型的官方配置为据梳理这条演进主线，并回答一个问题——模型之间的差距，还剩多少在架构里？

从 Peebles 与谢赛宁的 DiT 论文到 Sora 的时空 patch，讲清 Diffusion Transformer 的三个关键设计：patch 化、adaLN-Zero 条件注入与以计算量为标尺的可扩展性。

2017 年的 Transformer 之后，架构研究沿三条主线展开：把注意力做便宜、把注意力换掉、把 FFN 做稀疏。本文梳理稀疏注意力、FlashAttention、SSM、混合架构与 MoE 的脉络，并给出读新架构论文的三问。

提出一种无需重训的方法，通过可松弛的神经元与注意力头联合排序，将预训练 Transformer 转化为可随算力预算动态伸缩的单一模型。

2017 年 6 月，八位 Google 研究员在一篇机器翻译论文里抛弃了循环网络，标题只有五个词：Attention Is All You Need。此后九年：GPT-3 证明规模即能力、ChatGPT 两个月一亿用户、Scaling Laws 驱动军备竞赛、DeepSeek 用十分之一成本撼动算力叙事、推理模型开启第二条扩展曲线。本文是「机器学习简史」系列完结篇，所有 2024 年后的关键事实均经联网核实，带你看清截至 2026 年 10 月的大模型版图，与依然悬而未决的终极争论。

2025-2026 年发布的前沿模型几乎清一色是 MoE：Llama 4、gpt-oss、Qwen3、Kimi K2，直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控，到细粒度专家与无辅助损失均衡的完整演进线，算清「省算力不省显存」的工程账，也正视微调难、训练不稳与成本争议。

Transformer architectures exhibit cross-layer redundancies, yet post-training compression pipelines typically optimize l…

混合专家（MoE）让模型参数量与计算量解耦，但代价是引入了一个训练时最容易翻车的部件——路由器。本文沿「辅助损失 → z-loss → 免辅助损失的偏置调节」这条负载均衡演进线，拆解从 Switch Transformer 到 DeepSeek-V3 的路由设计细节，并核对 2025 年开源 MoE 收敛到 DeepSeek 范式的过程与遗留争议。

Video scene graph generation (VidSGG) aims to capture objects and their evolving relationships in videos. This requires …

While Large Language Models (LLMs) rely on highly non-linear components, in this work we demonstrate that they exhibit f…

Optical flow methods typically rely on task-specific inductive biases, such as correlation volumes, feature warping, and…

Image relighting is traditionally tackled via complex inverse rendering pipelines, which suffer from ill-posed optimizat…

Decision trees are among the most widely used models in machine learning, largely due to their transparent decision logi…

2012 年 10 月，一个用两块游戏显卡训练了五六天的神经网络，把 ImageNet 图像识别错误率从 26% 砍到 15%，整个领域为之改宗。此后五年：ResNet 越过人眼基准、注意力机制埋下 Transformer 的种子、AlphaGo 4:1 击败李世石让全世界重新认识机器学习。本文是「机器学习简史」系列第三篇，用一手论文数据复盘深度学习的黄金五年，也不回避这五年里的「炼金术」之争。

文章提出 Next-Concept Modeling（NCM），通过多尺度残差 VQ-VAE 将文本编码为层级离散码，再由 transformer 逐层并行生成，在 LM1B 上以更强生成困惑度超越扩散语言模型基线并提速 21 倍。

BigCell 在超过 12 万张公开 WSI 上训练 2048×2048 的 flow-matching transformer，首次实现原生千兆像素分辨率的全切片病理图像生成，并可通过病理基础模型嵌入进行条件控制。

「线性注意力取代 Transformer」喊了六年，结局出人意料：2026 年一线开源模型的注意力层占比从 100% 压到了 10%-25%，压掉的部分由 Mamba、Gated DeltaNet、KDA 这类常数状态层接管。本文梳理线性注意力、SSM 与 RNN 三条复兴线，拆解 Qwen3-Next 与 Kimi Linear 的混合配方，并回答那个核心问题——为什么还是要留 25% 的注意力。

In this work, we show that a single Transformer block, applied recurrently, can match the accuracy of a full-depth visio…

作者从头预训练了3B参数的像素空间文生图Transformer Iris-3B，并将预训练的潜在空间模型FLUX.2 Klein base 4B转换为像素空间，在单目深度估计和图像修复/超分辨率任务上微调，发现像素空间生成先验并未带来显著提升。

论文提出EngramEdit方法，利用DeepSeek Engram式条件记忆架构，在不改动Transformer骨干的情况下对事实知识进行解耦更新，并应对不同表述激活不同n-gram嵌入及共享嵌入误伤其他事实预测的挑战。

模仿学习的老问题是「多峰动作分布」——两种都对的做法被回归平均成一种错的。Diffusion Policy 用条件去噪扩散直接建模动作分布，在 12 个任务、4 个基准上平均成功率提升 46.9%，此后 DP3、DPPO 相继跟进，π0 的流匹配与 GR00T 的扩散 Transformer 把它推成了 VLA 时代的标配动作头。

Mamba 把 SSM 参数改成输入的函数，让固定大小的状态学会按内容取舍；再靠并行扫描与 kernel 融合把状态装进 SRAM，线性复杂度落地——3B 匹敌两倍大的 Transformer，5 倍推理吞吐，线性扩展到百万长度。文末梳理截至 2026-10 它与 Attention 的分工现状。

从自注意力不识顺序的痛点讲起，用二维复数把旋转位置编码的推导一次讲透：内积为何只依赖 m−n、高维频率如何分配，配一份本地跑通的 numpy 最小实现与整体平移不变性实验，再谈 PI、NTK-aware、YaRN 的长上下文扩展路线与 ALiBi 的取舍。

LayerNorm 把统计量搬回单样本，RMSNorm 再省掉中心化，换来 7%~64% 的归一化提速；而归一化挂在残差内侧还是外侧，决定梯度随深度指数衰减还是多项式失衡。本文推导公式，并用可运行的 numpy 演示把这笔训练稳定性账算给你看。

用 numpy 从零实现 Multi-Head Attention 前向（含 causal mask），45 行核心代码；附逐步形状账与参数量核算，三个实测断言验证因果依赖、softmax 归一与参数量，全部本地跑通。

MoE 架构让模型总参数可以做得很大，而每个 token 实际经过的计算却不大，这是「变胖不变贵」的关键。本文讲清路由器与专家的分工、总参数与激活参数的区别、路由塌缩与负载均衡的难点，最后给出 MoE 与稠密模型的选型判断。

Pruning large pre-trained transformer-based ASR models such as OpenAI's Whisper has seen great adoption, as pruning the …

Alibaba's Qwen team has released Qwen-Image-2.1, a 7B diffusion transformer that handles text-to-image generation, multi…

Modern Transformer design and compression both reduce to allocating capacity under a budget. The standard scalars for th…

Transformer representations evolve through learned additive transformations that either preserve their current direction…

The KV cache is a primary bottleneck for Transformer decoding: its memory footprint and cache-read traffic grow with seq…

A transformer can make an attribute linearly decodable in its residual stream at a depth where that attribute does not y…

We present 'RenderFormer-V2', a unified learned transformer-based neural rendering model, complementary to modern physic…

Sora 基于扩散模型与 Transformer 架构，可直接从文本生成长达一分钟的高保真视频，展示了对物理世界'世界模拟器'式的理解潜力。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

European retailers are using open models and physical intelligence across use cases — from a commerce platform cutting i…

Cinematic video generation requires both temporal inference from limited inputs (i.e., sparse rather than frame-by-frame…

This paper studies category-level RGB-D object pose estimation, which recovers an object's 3D rotation and translation w…

英伟达开源多变量时间序列预测模型 Kumo Forecast，冻结 MOMENT 预训练主干、仅训练预测头，将表示与预测分离，并支持历史模式检索与可解释输出。

To increase productivity, accelerate innovation and create new opportunities for economic growth, Europe’s industrial le…

🚗SpaceX 与特斯拉成立合并讨论委员会，AI 已成最大收入来源 🧠混元扩至近 2000 人，员工称姚顺雨想把 DeepSeek「卷到加班」 🎬报告：中国以外头部平台三季度新短剧，三分之二由 AI 生成 🏛️车灯国标征求意见：拟限…

Vision-language-action (VLA) models have shown strong promise for generalist robotic manipulation, but their inference c…

Oct 14, 2026 Nano Banana Pro prompted by THE DECODER OpenAI is racing to finish its next flagship model, which uses the …

Dial in the next gaming session this GFN Thursday. New NVIDIA DLSS 4.5 controls give GeForce NOW members more choice ove…

阶跃终端正式发布大模型原生智能体手机STEPX Neo，采用复古未来设计，配备侧边AI键与Step AOS系统，支持Loop循环执行、自主Tool Call及Skill和MCP工具调用。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…