大模型逐 token 生成，注意力却要看全部历史，KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算，给出 KV Cache 显存的估算公式并代入典型 7B 配置，解释长上下文为何是推理瓶颈，并列出三个优化方向。

单卡装不下权重、装不下 KV Cache、吞吐不够——三条痛点对应三种并行策略。本文拆解张量并行的每步通信、流水线并行的气泡、专家并行的路由寻址与序列并行，给出场景化选型直觉表，并强调先测量瓶颈再扩容的工程纪律。

自回归解码每步只出一个 token，GPU 大量算力在等显存。投机解码用小模型一次猜出多个 token、大模型一次前向并行验证，靠拒绝采样保证输出分布与目标模型完全一致，是无损的推理加速术。本文讲清它的原理、加速比来源与适用边界。

「LLM 缓存」其实指两种东西：推理层的前缀缓存复用已算好的 KV Cache，几乎零风险；应用层的语义缓存按问题含义命中旧答案，省钱但可能错。本文对比两者机制与适用场景，给出先做前缀缓存的行动顺序。

o1 系列通过强化学习训练模型'先思考再回答'，在数学、代码与科学推理上大幅跃升，开创了推理时扩展（Test-time Compute）的新 Scaling 维度。

同等能力的模型 API 价格在几年间下降了一个数量级以上，这不是赔本赚吆喝，而是推理成本结构性下降的传导。本文拆解大模型服务的成本结构，讲清硬件、推理效率、MoE 架构与规模化利用率四条降本路径，并给出开发者应对建议。

思邈* 2026-09-24 22:17:48 来源：量子位 1.5台6000D跑赢1台B300！ 允中 发自 凹非寺 量子位 | 公众号QbitAI 随着大模型对算力需求持续攀升，**GPU卡的采购成本、供给约束持续加剧。** AI推理…

DeepSeek 发布并开源 R1 推理模型，纯强化学习激发推理能力，性能比肩 OpenAI o1，API 价格仅为后者数十分之一，引发全球市场震动。

「让我们一步步思考」为什么能让模型答对更多题？本文梳理思维链与推理时计算的研究脉络：从 few-shot 与 zero-shot 提示，到计算外化的核心解释，再到自一致性、结果奖励与过程奖励的分野，最后讨论假推理与验证瓶颈两条边界。

Nala Ginrut 写道： HardenedLinux 最近发布了可用于推理CosyVoice的Velum，它用modern C++开发，编译成一个单一的可执行文件，方便部署。 CosyVoice是目前比较优秀的一款 TTS 模型，但其…

IT之家 9 月 23 日消息，夏威夷时间 9 月 22 日 9 点（北京时间 9 月 23 日 3 点）召开的 2026 骁龙峰会上，高通宣布携手阶跃、无量火及江波龙，基于第六代骁龙 8 超级至尊版移动平台，**端侧适配与推理优化阶跃 S…

卡位具身智能规模化落地“最后一公里”！]

芯片发布一场接一场，参数眼花缭乱。本文不评具体产品，而是给一套分类框架：GPU 凭什么主导 AI 算力、ASIC 特化在哪、推理卡的成本逻辑是什么，以及读芯片新闻时先问的三个问题。

VectifyAI 开源的无向量 RAG 引擎 PageIndex（当日涨星 +1,095、★38,082、MIT）：把长文档编译成 JSON 层级树，让 LLM 逐节点推理导航，取代切块+向量相似度。基于它的 Mafin 2.5 在 FinanceBench 全量 10,231 题报告 98.7%。拆解两阶段架构、三模式 TOC 自校验回退、三工具检索循环、成本口径，以及多文档规模化与数据主权的真实边界。

程浅 发自 凹非寺 量子位 | 公众号QbitAI “Navier–Stokes千禧年难题的突破，10000个Agent最多占了10%的功劳。” 此判断出自OpenAI研究员，o1核心作者NoamBrown之口。 NoamBrown，**人…

听雨* 2026-09-26 15:12:05 来源：量子位 vLLM人马创业公司团队出品 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 16块谷歌TPU v7跑Kimi K3，每秒跑出了709个Token，比老黄的GB200快了…

9月9日，墨芯人工智能亮相以"共创AI新经济"为主题的2026 Inclusion·外滩大会。]

多请求并发时 KV Cache 的预留式分配让 GPU 显存大量空转、吞吐卡死。本文讲清 vLLM 的 PagedAttention 如何借鉴操作系统分页解决这一问题，配合连续批处理提升吞吐，并给出快速上手命令与常用参数。

2026 年 9 月 17 日，唐杰与 GLM 团队披露：GLM-5.3 驱动的 Infra Agent 在超过 10 万张国产芯片组成的集群上，参与完成 GLM-5.3-Flash 整套推理服务的适配、诊断与优化，不到两周把端到端吞吐提升到同一硬件初始基线的 3 倍。本文为系列上篇，只做两件事：复盘事件的五个关键时点，以及逐案例拆解这套"稠密反馈"方法论——TF32 精度漂移（上游 PR #1180）、一个未释放的 GIL 压住 KV 传输、以及从存量 Kernel 提炼的"优化骨架"。每个案例给出"现象→归因→修复→验证"完整链条，并附同业坐标对照表。全系列共三篇：上篇讲技术，中篇做 RSI 分级定位与七组数字的口径核查，下篇谈边界、风险与行动清单。

IT之家 9 月 15 日消息，苹果今日向 iPhone 和 iPad 用户推送了 iOS / iPadOS 27.0 更新（内部版本号：24A437）。 iOS 27 迎来多项性能优化，包括应用启动、显示照片、网络切换、AirDrop、硬…

微软发布 Edge 开发者更新，新增软导航等性能指标、JS 自分析标记、WebMCP API 及 OpaqueRange API，帮助开发者优化网页应用性能并让 AI 智能体调用网页能力。

Google 发布 Gemini 4 系列首个旗舰模型 Argon，主打长周期深度推理，聚焦真实场景编程、企业知识工作与网络防御。

Prime Intellect 发布 Prime Inference 推理服务平台，提供无服务器端点和预留 GPU 容量，公开前内部日均处理近万亿 token，主要来自 RL rollout、合成数据生成、评测和长时编码智能体，补全其开源训练栈的服务环节。

据知情人士，Modal Labs接近完成由Accel领投的7.5亿美元融资，投前投后估值为157.5亿美元，较四个月前的46.5亿美元估值增长逾两倍，背景是推理服务需求激增。

衡宇* 2026-09-24 08:48:02 来源：量子位 乔不迟 发自 凹非寺 量子位 | 公众号 QbitAI 过去评价一座数据中心，行业习惯看三个指标： 卡数、算力规模和PUE（电能利用效率）。 大模型进入规模化推理阶段后，这套标…

从"控制流所有权"这一第一性原理出发，拆解 Workflow（DAG 编排、确定性执行）与 Agent（ReAct 循环、涌现式控制流）的技术原理差异；详解 Agentic Workflow"图做骨架、节点内自主"的三层混合架构，以及提示链/路由/并行化/编排者-执行者/评审-优化五种经典编排模式与工程选型经验。

IT之家 9 月 20 日消息，阿里千问今日宣布，开源千问图像系列当前兼顾生成效果、推理效率与使用成本的开源图像模型 Qwen-Image-2.1。 Qwen-Image-2.1 将文生图与图像编辑整合在同一模型中，视觉生成部分仅有 7B …

Agent 工程系统学习第 12 章：把 Agent 规模化。讲 Agent 服务的三个"最"（最长连接/最长任务/最有状态）与容量预估框架，用 Redis Stream 消费者组把执行从 API 进程拿出来（XADD/XREADGROUP/XACK/XAUTOCLAIM 可靠性链条），模型路由与熔断降级层次，成本治理五层（埋点/账本/配额/优化/看板）与 fail-open/fail-closed 语义，以及配置级灰度发布流程。

从 WWDC26 初亮相，到 8 个 Beta 版一路“打怪升级”，iOS 27 终于在 9 月 15 日转正上岗了， 苹果在昨天向广大 iPhone 用户推送 iOS 27 正式版更新 。 历经 iOS 27 这几个 Beta 版体验下来…

把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点，并给出优先级表与算法工程师/产品经理的行动建议。

量子位的朋友们* 2026-09-23 17:56:53 来源：量子位 商汤大装置异构混推创新实践与技术演进 Token经济加速爆发，算力需求发生结构性反转，推理需求已取代训练，成为算力增长主引擎。 随之而来的，是AI基础设施面临的全新命…

IT之家 9 月 16 日消息，当地时间 9 月 15 日，谷歌宣布推出 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking。谷歌称这是其迄今最先进的实时对话模型，在智能和并行推理方面有重…

梳理 RSI 从 Good 1965 到 2026 的思想史、技术图谱与一手实证：Anthropic 承认其代码库 >80% 合并代码由 Claude 撰写、METR 测得 AI 可完成任务时长约每 4 个月翻倍、AlphaEvolve 优化了支撑自身的计算栈。核心判断——有界自我精炼已工程化，开放式 RSI 尚未发生；而进步与安全共享同一个「验证瓶颈」。

解读 R1 在强化学习范式下的推理能力涌现，及其对开源生态的影响

中篇回答一个容易被标题带偏的问题：这次在递归自我改进（RSI）坐标系里站在哪一级？用本站 L0–L5 阶梯逐级排除，结论是 L3 命中、L4 未到；用验证层级解释"为什么基础设施最先闭合"；用闭环四问定性为"RSI 前体"。随后拼上 GLM-6.0 的三支柱（数据自产／环境自造／基础设施自我优化），指出只有第三支柱拿到了 A 级公开证据，另两根仍在公告层面。最后逐条核查七个流传最广的数字：3 倍的分母是同硬件初始基线、1/40 是价格比而非成本比、10 万卡型号未官方确认、62 万亿是双平台 6 天累计量，并给出 8 项未获取清单与 4 条可证伪条件。

「它」指代谁？Attention 让每个 token 拿自己的 Q 去和所有 token 的 K 算相似度，再加权平均它们的 V，让上下文信息在 token 之间流动。本文用检索类比讲清 Q、K、V、缩放点积、多头与因果掩码，并连到推理工程的 KV Cache。

田, 晏林* 2026-09-26 17:07:41 来源：量子位 Simate将训练、推理与评测全流程接入自研Infra，通过极致的任务编排与资源调度，同时并行推进数十条相互独立的研究路线。 Jay 发自 凹非寺 量子位 | 公众号 Q…

IT之家 9 月 23 日消息，AI 模型在数学、编程和推理能力上进步迅速，写作水平却停滞不前，甚至有所退步，Anthropic 的 Claude 同样也存在这一问题。 为何 Opus 4.6 会成为 Anthropic 最后一款写作表现出…

阿里巴巴 CEO 吴泳铭在阿里云年度云栖大会上透露，该公司的千问（Qwen）团队正持续研究模型架构与数据优化，目标是完成更复杂、长周期任务，向人工智能超级智能（artificial superintelligence）前进。阿里巴巴的旗舰模…

一位亲手写下 DeepSeek V4.1 主 Attention 算子的工程师公开判断：AI 将在半年到一年内追平顶级人类算子工程师。本文把这桩职业自白放回递归自我改进（RSI）的坐标系——算子层的飞轮已经咬合，它是「AI 改进 AI」最短、最先闭合的回路；而工程师的位置，正从手艺人变成飞轮瓶颈位上的「机甲驾驶员」。

IT之家 9 月 23 日消息，在今天（23 日）的年度创作者活动 Made on YouTube 上，YouTube 宣布升级 2025 年推出的 AI 创作工具。 YouTube 带来了一款帮助创作者在后台优化频道的智能体，其能够查看频…

IT之家 9 月 14 日消息，荣耀产品维护与升级 @荣耀小芳哥 今日分享了荣耀笔记本 9 月升级内容，主要升级了 YOYO Claw 等功能。 IT之家整理如下： YOYO Claw 体验优化升级 提供专业的编码能力，方便用户基于 YOY…

Jay* 2026-09-25 14:14:07 来源：量子位 一场物理世界的基模实验 程浅 发自 凹非寺 量子位 | 公众号 QbitAI 数亿元资金，投向了一场物理世界的基模实验。 Physical AI创业公司**息壤开物**宣布，…

以十个问答讲清 Scaling Laws：幂律为什么可外推、Chinchilla 如何修正参数与数据的配比、6ND 公式怎么当算力换算器、数据枯竭与推理时算力这两条新变量，以及这门「经验定律」对大公司与创业者的不同含义。

“IT早报”时间，大家好，现在是 2026 年 9 月 15 日星期二，今天的重要科技资讯有： 1. 苹果 iOS / iPadOS 27.0 正式版发布：性能优化、升级 Siri AI，增强家长管控... 苹果 9 月 15 日向 iPh…

2026年 9 月 15 日，AI基础设施公司基元律动（TokenRhythm）与无问芯穹（Infinigence AI）签署战略合作协议。]

鹭羽* 2026-10-01 23:06:30 来源：量子位 用ImageNet训练encoder 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 教会AI做ARC抽象推理题的，竟然是猫猫？ 何恺明团队最新论文提出了**NAT-AR…

IT之家 9 月 10 日消息，AI 推理芯片制造商 d-Matrix 美国加州当地时间 10 日宣布加入 NVIDIA（英伟达） NVLink Fusion 生态系统。 d-Matrix 的机架级 XPU 系统将采用 NVIDIA 的 M…

2026 年 9 月 17 日 Anthropic 首次公开内部指标：截至 8 月 Claude 已「主导」（AL4）26% 的 AI 研发工作，半年前不足 1%，同时约 3 万个 Agent 在线、单月超 10 亿次决策。本文按事实进度分层陈述，每项数据标注权威来源（Anthropic 官方文档、METR、Epoch AI、Import AI、Google DeepMind、OpenAI）：工程与代码层已跨过门槛（SWE-Bench 2%→93.9%、CORE-Bench 21.5%→95.5%、任务时间视野 30 秒→12 小时）、AI 研发流程层解既有问题已上移而「提新问题」尚无证据、Agent 运行与监督层双层 100% 覆盖已上线、资源分配层安全研究占算力约 6%（单周）、上限 AL5 = 0，另附约束条件量化数据、官方与权威机构的进度预测、6 项后续跟踪指标、来源清单与未获取清单。

一篇读懂 2026 年最容易被混为一谈的一对概念：RSI（递归自我改进）改进的是自己的"改进能力"，打在权重与 AI 研发流程上、跨用户且不可逆；Agent 自进化不重新训练模型，靠记忆、技能与 harness 让部署后的表现持续变好。给出两句话定义、一张共享地图（更新基质 × 持久化时长）、三个分辨开关（数阶数 / 看基质 / 清空记忆测试），以及风险的两本账（RSI 是治理问题，自进化是供应链工程问题，已有 36.82% 技能含安全缺陷的审计数据）。本文同时为「一叶一世界」栏目开篇。