DeepSeek-V3 有 671B 参数，每个 token 却只动用 37B 的计算量——这不是营销话术，而是混合专家架构（MoE）把「模型容量」和「每 token 算力」拆开的结果。本文从 dense 模型的容量两难讲起，拆解路由器与稀疏激活的工作机制、负载均衡的三代方案、DeepSeekMoE 的细粒度设计，也说清 MoE 的两个代价：省 FLOPs 但不省显存，以及「专家」并不按领域分工的反直觉事实。

2026 年，1M token 上下文已成为头部旗舰的标配，但 RULER 与 NoLiMa 评测反复证明「宣称上下文」远大于「有效上下文」。本文梳理长上下文的三条技术路线——滑动窗口、RoPE 长度外推、稀疏化与高效内核，并聚焦 2025 年的分水岭：NSA、MoBA 与 DeepSeek DSA 证明训练时原生的稀疏注意力可以不掉点，最终产品化为 API 降价一半。

从叠加假说、稀疏自编码器到归因图，机械可解释性在 2026 年第一次跑进生产线：Anthropic 能画出 Claude 的思维回路，OpenAI 从 GPT-4 抽出 1600 万特征，Goodfire 本周把内部探针做成低价监测产品。本文梳理核心进展、落地场景与「SAE 是否找到真实特征」的根本性质疑。

提出联合子空间稀疏注意力（JSSA），通过学习共享低维查询-键子空间并给出可求解的谱闭式解，在token级稀疏注意力中兼顾选择精度与解码延迟，降低长上下文LLM解码中占主导的KV缓存流量。

混合专家（MoE）让模型参数量与计算量解耦，但代价是引入了一个训练时最容易翻车的部件——路由器。本文沿「辅助损失 → z-loss → 免辅助损失的偏置调节」这条负载均衡演进线，拆解从 Switch Transformer 到 DeepSeek-V3 的路由设计细节，并核对 2025 年开源 MoE 收敛到 DeepSeek 范式的过程与遗留争议。

2025-2026 年发布的前沿模型几乎清一色是 MoE：Llama 4、gpt-oss、Qwen3、Kimi K2，直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控，到细粒度专家与无辅助损失均衡的完整演进线，算清「省算力不省显存」的工程账，也正视微调难、训练不稳与成本争议。

2026 年 7 至 8 月，月之暗面 Kimi K3（2.8 万亿参数）与阿里 Qwen3.8（2.4 万亿）先后开放权重，开放模型首次站上万亿量级。本文基于官方模型卡核查两个旗舰的架构与成绩单，拆解稀疏 MoE、低精度量化与注意力降本如何让万亿参数可行，同时审视部署门槛、许可证限制与「参数营销」争议——开放的是权重，不是人人可跑的乌托邦。

从 Attention Is All You Need 的 encoder-decoder 原型，到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰，本文系统拆解基础 Transformer 的架构原理，梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线，并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。

2017 年的 Transformer 之后，架构研究沿三条主线展开：把注意力做便宜、把注意力换掉、把 FFN 做稀疏。本文梳理稀疏注意力、FlashAttention、SSM、混合架构与 MoE 的脉络，并给出读新架构论文的三问。

激活参数仅27B]

9月9日，墨芯人工智能亮相以"共创AI新经济"为主题的2026 Inclusion·外滩大会。]

2018 年 10 月至 2019 年 3 月，波音 737 MAX 8 连续两起空难带走 346 条生命，祸根是 MCAS 系统依赖单一传感器且未对飞行员培训。埃航次日波音声明「对安全性充满信心」，三天后才被中国民航局率先停飞倒逼全球停飞；公司用「飞行员反应」甩锅，用四个月才承认 MCAS 在两起事故中均被激活。最终代价：全球停飞 20 个月、超 200 亿美元直接损失、与司法部 25 亿美元和解——罪名不是事故本身，而是「欺骗监管者」。本系列第十八篇复盘人命级安全危机：当公关的一切技巧失效后，剩下的唯一形态是说真话的时点与彻底的技术修复。

日涨 1949 星的编码智能体技能：用「先爬梯子再写码」的决策梯子和三条生命周期钩子，把智能体产出的代码量、token 与成本压掉四到五成，正确性与安全检查反而略升。JetBrains 第三方复测确认成本下降显著，但也指出了宣称幅度与激活条件两个关键保留意见。

蚂蚁百灵宣布开源总参数约 560B、每 Token 激活约 25B 的 Ling-3.1-flash 模型，最高支持 1M 上下文，并介绍了 MXFP4 量化、长上下文并行推理、投机解码等部署优化方案。

英伟达推出采用 MoE 架构（总参数 1200 亿、激活 120 亿）的开放多模态模型 Nemotron 3.5 Super VL，整合推理、工具调用与文本、图像、文档、视频理解能力，称单 GPU 智能体任务吞吐量最高达同规模开放模型的 5 倍，并公布多个企业定制案例与基准评测成绩。

70B 模型 FP16 要 140 GB 显存，量化到 4-bit 只剩 35 GB——一张 RTX 4090 就装得下，代价是平均每个权重从 2 字节压到 0.5 字节后的精度损失。本文拆解 GPTQ 的二阶误差补偿、AWQ 的激活感知保护、GGUF k-quants 的命名规则，以及「量化伤推理」争议的实测边界。

MoE 架构让模型总参数可以做得很大，而每个 token 实际经过的计算却不大，这是「变胖不变贵」的关键。本文讲清路由器与专家的分工、总参数与激活参数的区别、路由塌缩与负载均衡的难点，最后给出 MoE 与稠密模型的选型判断。

IT之家 9 月 19 日消息，中国电信于 9 月 17 日发布新一代星辰大模型 Xing4.0-29B-A4B，该模型总参数量 29B，激活参数仅 4B，原生支持 256K 上下文，可扩展至 512K， 是国内首个基于国产算力与国产框架完…

深度求索开源 671B 参数（激活 37B）的 MoE 模型 DeepSeek-V3，训练仅用约 278 万 H800 GPU 小时，以极低成本比肩头部闭源模型。

从骁龙 8 Elite Gen 5 的 Hexagon NPU 到苹果 AFM 3 端侧模型家族，梳理 2026 年手机端侧大模型的硬件底座（NPU 算力与约 85 GB/s 的内存带宽瓶颈）、3B 级模型格局、4-bit 量化与主流端侧推理框架，以及哪些场景仍必须回云。

文婷* 2026-09-29 15:59:46 来源：量子位 文婷 发自 凹非寺 量子位 | 公众号QbitAI 别眨眼。** 星空下，一辆白橙色的反重力赛车如利刃出鞘，猛地切进弯道，丝滑拐弯，在赛道上拖拽出一道道冰蓝光带，溅起金黄色的摩…

把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点，并给出优先级表与算法工程师/产品经理的行动建议。

「线性注意力取代 Transformer」喊了六年，结局出人意料：2026 年一线开源模型的注意力层占比从 100% 压到了 10%-25%，压掉的部分由 Mamba、Gated DeltaNet、KDA 这类常数状态层接管。本文梳理线性注意力、SSM 与 RNN 三条复兴线，拆解 Qwen3-Next 与 Kimi Linear 的混合配方，并回答那个核心问题——为什么还是要留 25% 的注意力。

10 月 17 日，DeepSeek 将 V4.1 Flash 静默升级至 V4.1-Flash-1017：11 项基准全部提升、输出更短更快、价格不变，主打「许愿式编程」，并同步敲定 Search/Fetch API 计价。本文基于官方模型卡、定价页与中外多方评测，拆解这次更新的真实成色、架构底座与争议点。

汇总当日科技要闻，涵盖苹果 HomeView 等新品发布、Gemini 4 Argon 上线、字节成立模型安全部门、英伟达中国 AI 芯片份额下滑、Character.ai 申请破产保护、阶跃智能体手机发布等多条动态。

★36,402、Apache-2.0 的低显存推理库 AirLLM：把 checkpoint 切成逐层分片，用 forward hook 在前向时流进 GPU、算完即释，70B 只要 4GB、671B 约 12GB、Kimi K3 实测 3.72GB。拆解 meta device + 2GiB pin 上限 + MoE 按专家流式的取舍，以及社区实测 5–35 秒/token 的真实代价。

2017 年 6 月，八位 Google 研究员在一篇机器翻译论文里抛弃了循环网络，标题只有五个词：Attention Is All You Need。此后九年：GPT-3 证明规模即能力、ChatGPT 两个月一亿用户、Scaling Laws 驱动军备竞赛、DeepSeek 用十分之一成本撼动算力叙事、推理模型开启第二条扩展曲线。本文是「机器学习简史」系列完结篇，所有 2024 年后的关键事实均经联网核实，带你看清截至 2026 年 10 月的大模型版图，与依然悬而未决的终极争论。

智谱、MiniMax 年初上市后深度回撤，DeepSeek 与月之暗面带着新技术与新融资竞速 IPO，通义与豆包以生态碾压单点。本文以可核实数据梳理 2026 年国产大模型的资本座次、技术路线分化与商业化三条路。

文章通过在Qwen3-1.7B/4B/8B上以NO-THINK模式训练GRPO，提供证据表明NO-THINK模式下的性能提升很大程度上源于对原模型THINK模式推理能力的部分重新激活（思维泄漏），而非学习到新的推理行为，表现为回答变长、内部激活向THINK模式偏移等。

JetBrains 推出面向编码智能体的开源模型 Mellum2.1，总参数 12B、每 token 激活 2.5B，主要通过在真实软件环境中的强化学习带来提升，以 Apache 2.0 协议在 Hugging Face 发布，可自托管运行。

九年过去，Transformer 的骨架纹丝未动，外围部件却几乎换了一遍：归一化从 Post-LN 走到 QK-Norm，位置编码从正弦函数走到 RoPE 与 NoPE 混布，注意力从 MHA 走到 GQA 与 MLA。本文以 12 家旗舰模型的官方配置为据梳理这条演进主线，并回答一个问题——模型之间的差距，还剩多少在架构里？

多头潜在注意力（MLA）是 DeepSeek-V2/V3 与 Kimi K2 的注意力底座：把 K/V 低秩压缩进一个 512 维潜在向量，推理时缓存量只有完整 MHA 的约 1.8%，官方口径质量反而强于 MHA。本文拆解它的低秩压缩、矩阵吸收与解耦 RoPE 三个核心设计，以及专用 Kernel、前缀缓存兼容等真实工程代价。

论文提出EngramEdit方法，利用DeepSeek Engram式条件记忆架构，在不改动Transformer骨干的情况下对事实知识进行解耦更新，并应对不同表述激活不同n-gram嵌入及共享嵌入误伤其他事实预测的挑战。

2026 年开放权重阵营的旗手已换成 GLM-5（744B，MIT）、Qwen3.5-397B-A17B（Apache 2.0）、DeepSeek V3.2（MIT）、Kimi K2 系与 Llama 4。本文按许可证、架构与部署成本三条线做全景对照，给出自托管、微调、企业集成三类场景的选型建议。

《Language Models are Few-Shot Learners》（Brown et al., 2020）把 GPT-3 推到 175B 参数，真正的发现却是另一个：只靠提示词里放几个例子，模型就能完成没训过的任务——in-context learning 从此改写了 NLP 的工作方式。本文精读这篇论文的机制、数据与遗留争议。

NAMVIS 提出免扩散的几何条件下一尺度自回归框架，通过少量粗到细尺度步骤并行预测离散视觉令牌，并结合多尺度投影位姿编码注入相机几何信息，用于稀疏视角新视角合成。

🏠曝苹果进军智能家居，拟于 10 月 13 日推出家庭中枢 📱iPhone 18 Pro 中国首销 3 天销量超上代首周，苹果周份额达 33% 🌐Google 发布 Gemini 4 Argon，先向网络防御者开放测试 🏢机构预计 …

· Google Gemini 安全测试越界，误攻 3 家真实企业 · 长鑫存储 G5 DRAM 平台量产，单片晶圆裸片数提升至少 50% · 智谱 MaaS 平台将上线数据内容不留存机制 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：i…

模型入海，阶跃走向人群 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。 ]

1亿Tokens人人免费领]

骨质疏松不只是「缺钙」。读懂破骨与成骨的盈亏账、钙与维生素 D 的吸收经济学，再看 DXA、FRAX 与药物的硬证据——30 岁前就该开始存「骨骼本钱」，确诊之后单靠补钙远远不够。

根据发表在《科学》期刊上的一项研究，朝鲜在万塔山（Mt. Mantap）进行的地下核试验对该地区周边地壳产生了持久且延迟的影响，引发了在核爆结束后持续数年——甚至不断加剧——的地震活动。朝鲜位于万塔山下的丰溪里（Punggye-ri）核试验…

从孟子"是不为也，非不能也"出发，拆解"和稀泥"与"拉踩"为何是默认出现的低成本次优解、账单由谁承担，以及一个想守住原则的人具体该怎么做——含五条生成机制、七场景话术对照表、表态前四问自检，以及给管理者的四条激励改造建议。

2024 年 9 月 o1 用「先想一会儿」在 AIME 上打出 83% 对 13%，2025 年 1 月 DeepSeek-R1 把整套方法开源复现，到 2026 年 10 月，推理档位已成各大模型 API 的标准旋钮。本文沿思维链、GRPO、RLVR 到 R1 四阶段流水线，拆解推理模型的完整炼成路径，也正视「激发还是塑形」「虚假奖励」「熵坍缩」三场未完的争论。

血压不是体检单上的孤立数字，而是心输出量与外周阻力的乘积。本文拆解血压的生成与调节机制，对照中国与 ACC/AHA 指南分级，解释高血压为何伤心脑肾眼，并用试验数字给降压药与生活方式干预算一笔「毫米汞柱」账。

📱曝苹果削减 iPhone 18 Pro 订单，供应链称总量变化不大 💰苹果调整并购团队架构，7 年来首次重新归入财务部门 🫘豆包据称在建设水电燃气缴费等生活服务能力 💸小米 17 Ultra 官网全系涨价 1000 元，华为 no…

构建个体专属AI助理]

许多女性在孕期或使用口服避孕药时，经常会有忘记物品摆放、难以集中注意力的经历。这种常被戏称为“孕傻” （Mom Brain）的现象，长期以来缺乏明确的生物学解释。发表在《Science Bulletin》上的一项研究揭示了持续水平高雌激素并…

· 曝 Anthropic 接近确定 IPO 核心承销商 · 康宁 CCO：AI 让玻璃基封装与光互连走到台前 · 《西雅图时报》和《新闻日报》起诉 OpenAI 与微软 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精…

过敏不是免疫力差，而是免疫系统的识别与调节出了偏差。本文走完从 IgE 致敏、肥大细胞脱颗粒到症状发作的全链条，讲清卫生学假说的现状、化验单的正确读法，以及回避、药物、肾上腺素与脱敏治疗各自的位置。