法国初创公司 Mistral AI 以 Apache 2.0 协议开源 7B 模型，以更小参数量比肩 Llama 2 13B，GQA 分组查询注意力等设计影响深远。

As tensions mount over who gets access to top-end artificial intelligence , French company Mistral has released a new fr…

Mistral and Mozilla are teaming up to offer AI-powered browsing that puts privacy first. The article Mozilla's new Smart…

法国 AI 公司 Mistral 与 Mozilla 合作推出注重隐私保护的 AI 浏览助手 Firefox Smart Window(beta)。Smart Window 使用了 Mistral 的开放权重模型，能帮助用户梳理复杂搜索，记…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

「开源大模型」多数只是权重可下载。本文按约束强度梳理三层谱系：真 OSI 开源（Apache 2.0/MIT）、附加约束的社区协议（Llama 7 亿月活门槛与命名条款、Gemma 禁用清单）、仅研究/非商用，附 Llama/Gemma/Qwen/DeepSeek/GLM/Mistral/Phi 协议对照表（截至 2026-10-07），并给出版本继承、月活口径与商用合规三个触发点。

IT之家 9 月 18 日消息，据路透社今天（18 日）报道，此前，阿莫迪、奥尔特曼和马斯克先后发出警告，能力不断增强的 AI 系统可能带来风险，故有必要 控制其发展节奏 ，但欧洲企业和官员对此表现出明显怀疑。 法国初创企业 Mistral…

IT之家 9 月 17 日消息，Mozilla 昨日（9 月 16 日）发布博文，宣布携手 AI 公司 Mistral，在法国推出 Firefox Smart Window 测试版， 让火狐 Firefox 浏览器里的 AI 助手变得更“懂…

To increase productivity, accelerate innovation and create new opportunities for economic growth, Europe’s industrial le…

NVIDIA is expanding its family of open models across language, robotics, biology, and quantum computing, giving develope…

Demand from AI-natives is pulling the European AI cloud ecosystem forward faster than ever. Developers need compute clos…

Large language models need effective ways to acquire and use external knowledge beyond what they retain from pretraining…

Oct 15, 2026 Nano Banana Pro prompted by THE DECODER Key Points Nvidia has released Nemotron 3.5 Super VL, an open multi…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

Companies in France are deploying agentic computing across industries spanning space, financial services, the public sec…

FrontierMath 发布时最好的模型不到 2%，一年半后最高分冲到约 52%；可同一时期，GSM1k 证明部分模型的高分有背题成分，FrontierMath v2 修正了四成多题目，25 位菲尔兹奖得主联名批评「竞逐名题」。本文梳理数学评测五年演进、数据污染的实锤机制、FrontierMath 资助风波，以及 2026 年评测范式向证明题与开放问题的转向。

2017 年 6 月，八位 Google 研究员在一篇机器翻译论文里抛弃了循环网络，标题只有五个词：Attention Is All You Need。此后九年：GPT-3 证明规模即能力、ChatGPT 两个月一亿用户、Scaling Laws 驱动军备竞赛、DeepSeek 用十分之一成本撼动算力叙事、推理模型开启第二条扩展曲线。本文是「机器学习简史」系列完结篇，所有 2024 年后的关键事实均经联网核实，带你看清截至 2026 年 10 月的大模型版图，与依然悬而未决的终极争论。

大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token，整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史，算清每一代省下的账，讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价，以及 GQA 与 MLA 两大阵营至今未歇的路线之争。

2025-2026 年发布的前沿模型几乎清一色是 MoE：Llama 4、gpt-oss、Qwen3、Kimi K2，直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控，到细粒度专家与无辅助损失均衡的完整演进线，算清「省算力不省显存」的工程账，也正视微调难、训练不稳与成本争议。

从 Attention Is All You Need 的 encoder-decoder 原型，到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰，本文系统拆解基础 Transformer 的架构原理，梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线，并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。

2026 年，1M token 上下文已成为头部旗舰的标配，但 RULER 与 NoLiMa 评测反复证明「宣称上下文」远大于「有效上下文」。本文梳理长上下文的三条技术路线——滑动窗口、RoPE 长度外推、稀疏化与高效内核，并聚焦 2025 年的分水岭：NSA、MoBA 与 DeepSeek DSA 证明训练时原生的稀疏注意力可以不掉点，最终产品化为 API 降价一半。

九年过去，Transformer 的骨架纹丝未动，外围部件却几乎换了一遍：归一化从 Post-LN 走到 QK-Norm，位置编码从正弦函数走到 RoPE 与 NoPE 混布，注意力从 MHA 走到 GQA 与 MLA。本文以 12 家旗舰模型的官方配置为据梳理这条演进主线，并回答一个问题——模型之间的差距，还剩多少在架构里？

多头潜在注意力（MLA）是 DeepSeek-V2/V3 与 Kimi K2 的注意力底座：把 K/V 低秩压缩进一个 512 维潜在向量，推理时缓存量只有完整 MHA 的约 1.8%，官方口径质量反而强于 MHA。本文拆解它的低秩压缩、矩阵吸收与解耦 RoPE 三个核心设计，以及专用 Kernel、前缀缓存兼容等真实工程代价。

一篇汇总多条科技行业新闻的早报，涵盖苹果新品曝光、GPT-6 推送、DeepSeek 融资传闻、Claude Haiku 5.5 发布、诺贝尔奖揭晓、汽车与能源行业变化等内容。

DeepSeek-V3 有 671B 参数，每个 token 却只动用 37B 的计算量——这不是营销话术，而是混合专家架构（MoE）把「模型容量」和「每 token 算力」拆开的结果。本文从 dense 模型的容量两难讲起，拆解路由器与稀疏激活的工作机制、负载均衡的三代方案、DeepSeekMoE 的细粒度设计，也说清 MoE 的两个代价：省 FLOPs 但不省显存，以及「专家」并不按领域分工的反直觉事实。

每个 LLM 基准都逃不过同一条生命周期曲线：出生时区分力强 → 大家刷分 → 分数挤在 90% 以上失去区分度 → 被质疑数据污染 → 退役换下一代。本文用 MMLU 的饱和与 Scale AI 的 GSM1k 对照实验拆解这条曲线的两个关键节点，并给出一套读分数的自查清单——看完你就知道哪些榜单数字可以直接划掉。

自回归生成每产出一个 token，都要回看之前所有 token 的 K 与 V——不缓存，计算量随序列平方爆炸；缓存了，显存又成了新瓶颈。本文算清 KV cache 的显存账（Llama-2-7B 4096 上下文约 2 GB），拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法，以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。

从自注意力不识顺序的痛点讲起，用二维复数把旋转位置编码的推导一次讲透：内积为何只依赖 m−n、高维频率如何分配，配一份本地跑通的 numpy 最小实现与整体平移不变性实验，再谈 PI、NTK-aware、YaRN 的长上下文扩展路线与 ALiBi 的取舍。

2026 年开放权重阵营的旗手已换成 GLM-5（744B，MIT）、Qwen3.5-397B-A17B（Apache 2.0）、DeepSeek V3.2（MIT）、Kimi K2 系与 Llama 4。本文按许可证、架构与部署成本三条线做全景对照，给出自托管、微调、企业集成三类场景的选型建议。

2026 年三季度全球风险投资 1590 亿美元、AI 占 64%；27 笔十亿美元级巨额轮创历史纪录，Databricks 与 SSI 各 50 亿美元领衔。钱加速流向算力与数据中心，应用层在巨额轮名单集体缺席；IPO 与并购通道同步打开，一二级市场估值分化开始显形。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

Manuel Uth Oct 4, 2026 Nano Banana Pro prompted by THE DECODER Chinese AI models frequently toe the party line when aske…

IBM 宣布其智能体软件开发平台 Bob 的自托管版本正式商用，支持企业在本地、私有云/主权云及物理隔离网络中运行，覆盖代码理解、规划、执行与验证全生命周期。

IT之家 10 月 2 日消息，英伟达今天正式对外披露 DGX Spark 产品更新，推出 64GB 内存版本 DGX Spark 桌面 AI 计算机，起售价 4,999 美元（现汇率约合 33,566 元人民币），将于 10 月 23 日…

Datalab**has released OmniExtractBench, an open benchmark for structured document extraction. It tests how accurately a …

Nokia’s applied research team has open-sourced AnyJev, a Python library that turns an open LLM into a decision model. It…

Large language models can hold knowledge they do not report. A model may sandbag on a capability evaluation, or answer a…

Direct preference alignment methods are widely used to align large language models (LLMs) with human preferences because…

Concurrent local LLM serving on unified-memory desktops must preserve memory headroom and output fidelity, which speed-o…

· 三星借 iPhone Duo 发布调侃苹果「热剩饭」 · OpenAI 限制图像和音频生成竞品在 ChatGPT 投放广告 · 曝奥迪在华重划双品牌：一汽负责四环、上汽主攻 AUDI #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：if…

把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点，并给出优先级表与算法工程师/产品经理的行动建议。

· DeepSeek 内测 V4.1 Flash · 两部门要求车企定期报告供应商账期，重点企业每年接受评估 · 曝微信 PC 版接入 AI 助手「小微」，可操作聊天与小程序 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更…

面向工程师的 OpenClaw 架构深度长文：四层设计总览、Gateway 单进程控制平面、Agent Loop 完整生命周期、Markdown 记忆管线、四槽插件体系、安全模型与多代理路由，还原一个生产级 AI Agent 运行时的设计取舍。

Meta 与微软合作开源 Llama 2（7B/13B/70B），允许商用，直接催生了全球开源与微调大模型的生态繁荣。