Reinforcement learning (RL) has become a key technique for improving the reasoning and agentic abilities of large langua…

单日涨星破千的老牌项目迎来第二春：三天连发 v0.41/v0.42 接入 FLUX 3 Klein 与 MOSS-image；comfy-aimdo 异步权重流式让 4GB 显存也能跑大模型；执行引擎增量缓存、量化支持 fp8/nvfp4/int8。本文拆解架构、场景与横向对比。

阶跃星辰开放 Step 5 Preview 模型权重（BF16/FP8 双版本），华为昇腾、壁仞、沐曦、摩尔线程宣布 0Day 支持，1024 卡 Atlas 950 SuperPoD 液冷超节点同步上线点亮。

自回归生成每产出一个 token，都要回看之前所有 token 的 K 与 V——不缓存，计算量随序列平方爆炸；缓存了，显存又成了新瓶颈。本文算清 KV cache 的显存账（Llama-2-7B 4096 上下文约 2 GB），拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法，以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。

训练换 FP16 提速省显存，小梯度却会成批归零。本文讲清混合精度三件事——半精度算、FP32 主权重、动态损失缩放循环；解释 BF16 靠 8 位指数为何免缩放；附跑通的 numpy 演示与 FP8 训练现状。

深度求索开源 671B 参数（激活 37B）的 MoE 模型 DeepSeek-V3，训练仅用约 278 万 H800 GPU 小时，以极低成本比肩头部闭源模型。

同一块 GPU 上，prefill 是计算受限的短跑冲刺，decode 是带宽受限的长跑——挤在一起互相拖累，一个长 prefill 能把解码速度拖慢最多 30 倍。本文讲透 2026 年成为默认架构的 PD 分离：干扰从哪来、KV cache 怎么搬、DistServe 与 Mooncake 交出的成绩单，以及什么时候该拆、什么时候千万别拆。

蚂蚁百灵宣布开源总参数约 560B、每 Token 激活约 25B 的 Ling-3.1-flash 模型，最高支持 1M 上下文，并介绍了 MXFP4 量化、长上下文并行推理、投机解码等部署优化方案。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

IT之家 10 月 12 日消息，微软今天正式发布 Maia 300 人工智能芯片。这款产品配备 288GB HBM4 内存，带宽达到 18TB/s，FP4 算力可达 13.8 PFLOPS，基于台积电 N2P 制程工艺打造，计划 2027…

2026 年 7 至 8 月，月之暗面 Kimi K3（2.8 万亿参数）与阿里 Qwen3.8（2.4 万亿）先后开放权重，开放模型首次站上万亿量级。本文基于官方模型卡核查两个旗舰的架构与成绩单，拆解稀疏 MoE、低精度量化与注意力降本如何让万亿参数可行，同时审视部署门槛、许可证限制与「参数营销」争议——开放的是权重，不是人人可跑的乌托邦。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

闻乐* 2026-10-09 15:11:55 来源：量子位 答不答得对，得看Token站位 闻乐 发自 凹非寺 量子位 | 公众号 QbitAI DeepSeek的神鬼二象性被字节Seed团队逮到了。 同一道题，什么都没改，只在前面多塞…

FlashAttention 不近似、不改公式，却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标：分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配，以及它管不了的事：KV cache 与自定义 mask。

从 Attention Is All You Need 的 encoder-decoder 原型，到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰，本文系统拆解基础 Transformer 的架构原理，梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线，并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。

2026 年，1M token 上下文已成为头部旗舰的标配，但 RULER 与 NoLiMa 评测反复证明「宣称上下文」远大于「有效上下文」。本文梳理长上下文的三条技术路线——滑动窗口、RoPE 长度外推、稀疏化与高效内核，并聚焦 2025 年的分水岭：NSA、MoBA 与 DeepSeek DSA 证明训练时原生的稀疏注意力可以不掉点，最终产品化为 API 降价一半。

全量微调 7B 模型，光 Adam 优化器状态就要吃掉 84GB 显存。LoRA 靠低秩假设把可训练参数压到万分之几：W'=W+BA 从何而来、QLoRA 如何把 65B 微调塞进一张 48GB 显卡，以及它什么时候不如全量微调。

标准注意力的瓶颈不在算力而在显存读写：O(N²) 的注意力矩阵要在 HBM 里反复进出。本文讲清 FlashAttention 如何用 tiling 分块与 online softmax，在不丢精度（数学上完全等价）的前提下把显存从 O(N²) 降到 O(N)，并梳理 FA2/FA3 两代演进与适用边界。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

Prime Intellect 发布 Prime Inference 推理服务平台，提供无服务器端点和预留 GPU 容量，公开前内部日均处理近万亿 token，主要来自 RL rollout、合成数据生成、评测和长时编码智能体，补全其开源训练栈的服务环节。

H Company has released Holo4, a family of generalist computer-use models for AI agents. One set of weights clicks and ty…

田, 晏林* 2026-09-26 17:01:00 来源：量子位 GitHub现在最火热的大模型开源小蜂鸟Colibrì是个啥？ 闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 25GB笔记本硬跑744B GLM-5.2，32GB…

🏢任正非重申「华为不造车」，将继续帮助东风造好车 📈曝 DeepSeek 年化收入运行率达 10 亿美元，数月内翻倍 🎵网易云音乐鸿蒙版正式上线，支持歌单同步与多终端使用 💬余承东回应问界调整：赛力斯主动提出主导，华为将聚焦其余四界…

Sep 24, 2026 Black Forest Labs is releasing FLUX 3 Action, an open AI model designed for robotics.** It builds on the mu…

Black Forest Labs (BFL), the lab behind the FLUX image models, has released FLUX 3 Action. It is a 7B open-weights World…

BottleCap AI has released ThinkingCap-Qwen3.8-27B, the second model in its ThinkingCap series. It is a fine-tune of the …

思邈* 2026-09-24 22:17:48 来源：量子位 1.5台6000D跑赢1台B300！ 允中 发自 凹非寺 量子位 | 公众号QbitAI 随着大模型对算力需求持续攀升，**GPU卡的采购成本、供给约束持续加剧。** AI推理…

“IT早报”时间，大家好，现在是 2026 年 9 月 23 日星期三，今天的重要科技资讯有： 1. “2026 中国民营企业 500 强”发布：京东、阿里、恒力集团、华为、比亚迪位居前五 全国工商联 9 月 22 日在天津发布“2026 …

Alibaba's Qwen team has released Qwen-Image-2.1, a 7B diffusion transformer that handles text-to-image generation, multi…

StepFun has released Step 5 Preview, a sparse Mixture-of-Experts model with 600B total parameters and 27B active per tok…

GGUF, GPTQ, AWQ, EXL2, and EXL3 solve the same problem in different ways. This guide separates file containers from quan…

CANN跨过拐点，华为补上软件生态]

IT之家 9 月 17 日消息，华为全联接大会 2026 于今日在上海启幕。华为副董事长、轮值董事长汪涛在大会上发表了“ 智启新未来，打造智能世界的硅基黑土地 ”的主题演讲，与产业界共同探讨在智能浪潮中如何携手合作，打造强大的 AI 基础设…

GLM已经开始参与构建GLM了]

Nunchux AI has released VC-Attention, a training-free low-bit attention kernel built for video Diffusion Transformers (D…

一位亲手写下 DeepSeek V4.1 主 Attention 算子的工程师公开判断：AI 将在半年到一年内追平顶级人类算子工程师。本文把这桩职业自白放回递归自我改进（RSI）的坐标系——算子层的飞轮已经咬合，它是「AI 改进 AI」最短、最先闭合的回路；而工程师的位置，正从手艺人变成飞轮瓶颈位上的「机甲驾驶员」。

Learn how to leverage NVIDIA’s cuDNN Frontend Graph API to build custom kernel fusions, autotuning engine configurations…

IT之家 9 月 16 日消息，在 SEMICON Taiwan 2026 活动中，谷歌宣布其 TPU 系统已扩展至 100 万芯片级规模， 而电力供应成为 AI 基础设施扩张的核心瓶颈。 IT之家注：这里的“100 万芯片级规模”是指谷歌…

Prior Labs released TabPFN-3.5, a tabular foundation model pretrained only on synthetic data that beats Otto's winning s…

卡位具身智能规模化落地“最后一公里”！]

Diffusion Transformers deliver state-of-the-art video generation, but their long spatiotemporal sequences make attention…

In this work, we present ZGCM-1, a fully open 7B dense foundation model trained from scratch with extreme data, system, …

· 三星借 iPhone Duo 发布调侃苹果「热剩饭」 · OpenAI 限制图像和音频生成竞品在 ChatGPT 投放广告 · 曝奥迪在华重划双品牌：一汽负责四环、上汽主攻 AUDI #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：if…

系统梳理英伟达数据中心级 GPU 从 Pascal 到 Rubin 的完整产品谱系，附七代完整规格对比表、中国市场特供线专题、AMD/Intel 竞品对比、选型指南与 TCO 数据，数据截至 2026 年 9 月。

一比根号二的小胖折叠]

IT之家 9 月 9 日消息，科技媒体 Wccftech 昨日（9 月 8 日）发布博文，报道称开发者成功在 M5 Pro 等苹果 Apple Silicon 芯片上， 非官方移植英伟达的 DLSS 5。 开发者 @iamwavecut 已…

Frontier intelligence is going local. At IFA 2026, NVIDIA, Microsoft and its partners are teaming up to provide faster i…

解读 R1 在强化学习范式下的推理能力涌现，及其对开源生态的影响