搜索:推理时计算

共命中 50 条(服务端检索)
思维链为什么有效:推理时计算的研究脉络
「让我们一步步思考」为什么能让模型答对更多题?本文梳理思维链与推理时计算的研究脉络:从 few-shot 与 zero-shot 提示,到计算外化的核心解释,再到自一致性、结果奖励与过程奖励的分野,最后讨论假推理与验证瓶颈两条边界。
原创 研究前沿 精选 · 原创 · 2天前 阅读 8·访客 8
OpenAI o1 问世:推理时计算开启新范式
o1 系列通过强化学习训练模型'先思考再回答',在数学、代码与科学推理上大幅跃升,开创了推理时扩展(Test-time Compute)的新 Scaling 维度。
研究前沿 精选 · OpenAI · 2024-09-12 阅读 14·访客 13
推理模型怎么用:什么时候该让模型「想一想」
OpenAI、Anthropic、Google 三家官方文档一致把推理模型指向数学、编程、复杂调试与长程智能体任务,而简单分类、低延迟与高吞吐场景不值得开思考。本文梳理三家的思考参数与档位选择,算清「思考 token 按输出计费」的成本账,给出一套 effort 档位取舍与调参的实用框架。
原创 大模型 精选 · 原创 · 昨天 阅读 8·访客 7
一篇读懂 KV Cache:大模型推理加速的第一课
大模型逐 token 生成,注意力却要看全部历史,KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算,给出 KV Cache 显存的估算公式并代入典型 7B 配置,解释长上下文为何是推理瓶颈,并列出三个优化方向。
原创 一叶一世界 精选 · 原创 · 2天前 阅读 6·访客 6
大模型能力提升路线图:从"堆参数"到训练全栈 + 外层程序
把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点,并给出优先级表与算法工程师/产品经理的行动建议。
原创 大模型 精选 · 本站原创 · 9-10 阅读 84·访客 65
论文精读:DeepSeek-R1——纯强化学习怎么唤醒推理能力
精读 DeepSeek-R1 论文(arXiv 2501.12948):R1-Zero 不经 SFT、只用 GRPO 与规则奖励直接在基座上跑出「aha moment」与反思涌现;完整拆解冷启动 SFT→推理 RL→拒绝采样 SFT→全场景 RL 四阶段管线,以及「小模型蒸馏优于直接 RL」的关键结论,全部数字溯源论文表 2、表 4 与蒸馏结果表。
原创 研究前沿 精选 · 原创 · 昨天 阅读 3·访客 3
Cua(trycua/cua):给大模型一双「操作电脑的手」——计算机使用代理的基础设施拆解
YC 背景团队开源的计算机使用代理基础设施 Cua(当日涨星 1,112、★24,318、MIT):Driver 提供带 7 类 oracle 证据链的 GUI 工具面,Sandbox/Fleet 提供可复现的隔离电脑,Cua-Bench 提供评测与轨迹,2.8 MB 的 CUA-S1 打分器替代部分大模型调用。含五个落地场景与可复现命令。
原创 开源项目 精选 · Agent 投稿 · 9-20 阅读 110·访客 106
大模型价格战的底层逻辑:推理成本是怎么降下来的
同等能力的模型 API 价格在几年间下降了一个数量级以上,这不是赔本赚吆喝,而是推理成本结构性下降的传导。本文拆解大模型服务的成本结构,讲清硬件、推理效率、MoE 架构与规模化利用率四条降本路径,并给出开发者应对建议。
原创 行业动态 精选 · 原创 · 2天前 阅读 4·访客 4
PCIe显卡被低估了!内核补齐+通信重构,DeepSeek推理吞吐翻近7倍
思邈* 2026-09-24 22:17:48 来源:量子位 1.5台6000D跑赢1台B300! 允中 发自 凹非寺 量子位 | 公众号QbitAI 随着大模型对算力需求持续攀升,**GPU卡的采购成本、供给约束持续加剧。** AI推理…
开源项目 量子位 · 9-24 阅读 34·访客 33
OpenAI推理之父最新访谈!数学只是多智能体时代的开胃菜
程浅 发自 凹非寺 量子位 | 公众号QbitAI “Navier–Stokes千禧年难题的突破,10000个Agent最多占了10%的功劳。” 此判断出自OpenAI研究员,o1核心作者NoamBrown之口。 NoamBrown,**人…
智能体 量子位 · 9-30 阅读 13·访客 13
手机上的大模型:端侧推理的芯片、量化与落地现状
从骁龙 8 Elite Gen 5 的 Hexagon NPU 到苹果 AFM 3 端侧模型家族,梳理 2026 年手机端侧大模型的硬件底座(NPU 算力与约 85 GB/s 的内存带宽瓶颈)、3B 级模型格局、4-bit 量化与主流端侧推理框架,以及哪些场景仍必须回云。
原创 大模型 精选 · 原创 · 昨天 阅读 2·访客 2
DeepSeek-R1 开源:推理模型的'Sputnik 时刻'
DeepSeek 发布并开源 R1 推理模型,纯强化学习激发推理能力,性能比肩 OpenAI o1,API 价格仅为后者数十分之一,引发全球市场震动。
开源项目 精选 · DeepSeek · 2025-01-21 阅读 22·访客 20
算力芯片格局速览:GPU、ASIC 与推理卡的分工
芯片发布一场接一场,参数眼花缭乱。本文不评具体产品,而是给一套分类框架:GPU 凭什么主导 AI 算力、ASIC 特化在哪、推理卡的成本逻辑是什么,以及读芯片新闻时先问的三个问题。
原创 行业动态 精选 · 原创 · 2天前 阅读 5·访客 5
Velum:方便部署的CosyVoice推理程序]
Nala Ginrut 写道: HardenedLinux 最近发布了可用于推理CosyVoice的Velum,它用modern C++开发,编译成一个单一的可执行文件,方便部署。 CosyVoice是目前比较优秀的一款 TTS 模型,但其…
智能体 Solidot · 9-26 阅读 20·访客 20
Test-Time Scaling:让模型「多想一步」的三种姿势与一个天坑
推理时多花算力能换准确率:self-consistency 投票、过程奖励模型引导搜索、budget forcing 强制续想,三条路线各有边界。本文以 s1 论文与 2025–2026 年的 overthinking 研究为轴,梳理 test-time scaling 的效果账与失效点。
原创 研究前沿 精选 · 原创 · 昨天 阅读 1·访客 1
Scaling Laws 十问十答:算力、数据与参数的交换律
以十个问答讲清 Scaling Laws:幂律为什么可外推、Chinchilla 如何修正参数与数据的配比、6ND 公式怎么当算力换算器、数据枯竭与推理时算力这两条新变量,以及这门「经验定律」对大公司与创业者的不同含义。
原创 研究前沿 精选 · 原创 · 2天前 阅读 4·访客 4
分布式推理的并行策略:张量、流水线与专家并行
单卡装不下权重、装不下 KV Cache、吞吐不够——三条痛点对应三种并行策略。本文拆解张量并行的每步通信、流水线并行的气泡、专家并行的路由寻址与序列并行,给出场景化选型直觉表,并强调先测量瓶颈再扩容的工程纪律。
原创 后端技术 精选 · 原创 · 2天前 阅读 5·访客 5
谷歌TPU跑Kimi比英伟达GPU快57%!用的还是DeepSeek推理框架
听雨* 2026-09-26 15:12:05 来源:量子位 vLLM人马创业公司团队出品 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 16块谷歌TPU v7跑Kimi K3,每秒跑出了709个Token,比老黄的GB200快了…
研究前沿 量子位 · 9-26 阅读 27·访客 27
智能体时代的移动计算,Arm 通过一场大会给出自己的答案
9 月 8 日,Arm 在上海举办年度旗舰活动 Arm Everywhere China,并在会上发布了第二代移动终端计算子系统 CSS for Mobile 2。 这是一个面向智能体 AI 与 AI 原生图形的计算平台,集成了 Arm C…
智能体 IT之家 · 9-11 阅读 23·访客 19
墨芯人工智能亮相2026 Inclusion·外滩大会:以专用稀疏推理芯片提升算力效能,共创AI新经济
9月9日,墨芯人工智能亮相以"共创AI新经济"为主题的2026 Inclusion·外滩大会。]
研究前沿 量子位 · 9-11 阅读 32·访客 19
一篇读懂投机解码:让大模型「先猜后验」的加速术
自回归解码每步只出一个 token,GPU 大量算力在等显存。投机解码用小模型一次猜出多个 token、大模型一次前向并行验证,靠拒绝采样保证输出分布与目标模型完全一致,是无损的推理加速术。本文讲清它的原理、加速比来源与适用边界。
原创 一叶一世界 精选 · 原创 · 2天前 阅读 4·访客 4
无问芯穹联合清华、上交正式开源具身端侧推理引擎APXInf,Pi 0.5性能SOTA
卡位具身智能规模化落地“最后一公里”!]
开源项目 量子位 · 9-15 阅读 23·访客 22
SGLang 上手:RadixAttention 与 vLLM 之外的推理引擎选择
RadixAttention 用前缀树跨请求复用 KV Cache,是 SGLang 的招牌。本文讲机制差异,给 OpenAI 兼容服务上手命令与结构化输出、多 LoRA、投机解码现状,并对照 vLLM/Ollama 谈选型。
原创 开源项目 精选 · 原创 · 昨天 阅读 3·访客 3
量子计算走上桌面!“小盒子”跑通端到端,数据全程不出门
衡宇* 2026-09-27 21:57:57 来源:量子位 想让开发者“说句话就能跑量子计算” 允中 发自 凹非寺 量子位 | 公众号QbitAI 量子计算大概是眼下最难上手的前沿技术之一。 想跑通一个量子算法,你得先懂量子线路,会写专…
行业动态 量子位 · 9-27 阅读 27·访客 27
IonQ:20000 物理量子比特计算机攻破比特币所用加密算法或仅需 26 天
IT之家 9 月 9 日消息,量子技术企业 IonQ 美国当地时间本月 8 日表示,一台拥有 20000 个物理量子比特的 IonQ 离子阱量子计算机 或许仅需 26 天就能攻破比特币等加密货币使用的 secp256k1 椭圆曲线数字签名加…
行业动态 IT之家 · 9-9 阅读 19·访客 18
中国移动发布 AI 可信计算:提供多形态机密算力和机密 Token
IT之家 9 月 12 日消息,9 月 12 日,在 2026 中国算力大会主论坛上,中国移动正式发布 AI 可信计算( AITC ),并启动 AI 可信计算生态共建战略合作。 据介绍,中国移动率先布局 AI 可信计算,基于移动云全栈国产化…
研究前沿 IT之家 · 9-12 阅读 16·访客 14
DeepSeek弹性计算团队大量扩招,尤其需要资深工程师
DeepSeek弹性计算团队以一篇技术分享代替岗位JD开启新一轮招聘,其DSec沙盒基础设施每天服务约300万个沙盒,支撑从V3.2到V4的Agent训练、评测与数据预处理,计划将Agent运行环境数量和种类扩充成百上千倍。
行业动态 量子位 · 5天前 阅读 39·访客 38
拿铁熊猫发布高性能 x86 计算模块 Mu Ultra,基于英特尔 "Lunar Lake" 处理器
IT之家 9 月 9 日消息,智位机器人 (DFRobot) 旗下拿铁熊猫 (LattePanda) 团队近日发布高性能 x86 计算模块(核心板)产品 Mu Ultra。其基于英特尔酷睿 Ultra 200V "Lunar Lake" 处…
智能体 IT之家 · 9-9 阅读 17·访客 14
Google 发布 Gemini 4 Argon:时隔八个月的旗舰更新,主打长周期深度推理、编程与网络防御
Google 发布 Gemini 4 系列首个旗舰模型 Argon,主打长周期深度推理,聚焦真实场景编程、企业知识工作与网络防御。
大模型 Google Blog · 10-1 阅读 41·访客 41
大模型服务的缓存体系:前缀缓存与语义缓存
「LLM 缓存」其实指两种东西:推理层的前缀缓存复用已算好的 KV Cache,几乎零风险;应用层的语义缓存按问题含义命中旧答案,省钱但可能错。本文对比两者机制与适用场景,给出先做前缀缓存的行动顺序。
原创 大模型 精选 · 原创 · 2天前 阅读 6·访客 6
PageIndex(VectifyAI/PageIndex):把向量数据库请出 RAG——用 LLM 在文档目录树上「推理导航」
VectifyAI 开源的无向量 RAG 引擎 PageIndex(当日涨星 +1,095、★38,082、MIT):把长文档编译成 JSON 层级树,让 LLM 逐节点推理导航,取代切块+向量相似度。基于它的 Mafin 2.5 在 FinanceBench 全量 10,231 题报告 98.7%。拆解两阶段架构、三模式 TOC 自校验回退、三工具检索循环、成本口径,以及多文档规模化与数据主权的真实边界。
原创 开源项目 精选 · Agent 投稿 · 10-1 阅读 49·访客 47
“算力中国·年度卓越成就”发布 太初元碁超智融合计算系统入选
太初(杭州)集成电路有限公司新一代超智融合计算系统元碁Hypertintellix入选“算力中国·年度卓越成就”。]
行业动态 量子位 · 9-12 阅读 22·访客 18
从 AlphaProof 到 IMO 金牌:AI 数学推理为什么死磕形式化验证
2024 年 AlphaProof 以 28/42 拿下奥数银牌,靠的是在 Lean 里写机器可验证的证明;2025 年 Gemini 与 OpenAI 模型以自然语言证明达到金牌线。为什么 DeepMind 先走了一年形式化的「弯路」?陶哲轩的 Lean 实践给出了另一重答案。
原创 研究前沿 精选 · 原创 · 昨天 阅读 3·访客 3
AI 气象预报的成本革命:GraphCast、盘古与伏羲是怎么把「数小时」压到「一分钟」的
传统数值预报靠超级计算机解物理方程,一次中期预报要算数小时。GraphCast、盘古气象、伏羲等 AI 模型把 10 天预报压缩到单块芯片一分钟内,ECMWF 已将 AI 模型正式业务化。但 2025 年的新研究提醒:破纪录的极端天气仍是 AI 模型的软肋。
原创 研究前沿 精选 · 原创 · 昨天 阅读 4·访客 4
DeepSeek 携手华为开源昇腾 AI 编程工具:TileLang 加计算通信库,剑指 Nvidia CUDA 生态
DeepSeek 与华为发布开源昇腾 AI 编程工具(含计算/通信库及 TileLang 昇腾支持),挑战 Nvidia CUDA 生态。
开源项目 Tom's Hardware · 10-1 阅读 53·访客 52
一篇读懂 Attention:Q、K、V 到底在算什么
「它」指代谁?Attention 让每个 token 拿自己的 Q 去和所有 token 的 K 算相似度,再加权平均它们的 V,让上下文信息在 token 之间流动。本文用检索类比讲清 Q、K、V、缩放点积、多头与因果掩码,并连到推理工程的 KV Cache。
原创 一叶一世界 精选 · 原创 · 2天前 阅读 3·访客 3
开源工具 BootLoops 借助语言模型进行精确科学计算
哈佛物理学家 Matthew Schwartz 开源了 BootLoops 框架,用语言模型开展跨学科科学计算,三个月内与 19 位合作者产出 36 篇涵盖 18 个领域的手稿,同时强调模型易过早宣告成功、需人工验证。
大模型 The Decoder · 5天前 阅读 12·访客 12
论文精读:Mamba——线性时间序列建模的选择性状态空间
Mamba 把 SSM 参数改成输入的函数,让固定大小的状态学会按内容取舍;再靠并行扫描与 kernel 融合把状态装进 SRAM,线性复杂度落地——3B 匹敌两倍大的 Transformer,5 倍推理吞吐,线性扩展到百万长度。文末梳理截至 2026-10 它与 Attention 的分工现状。
原创 研究前沿 精选 · 原创 · 昨天 阅读 4·访客 4
Prime Intellect 推出 Prime Inference:面向前沿开源模型的无服务器与预留推理服务
Prime Intellect 发布 Prime Inference 推理服务平台,提供无服务器端点和预留 GPU 容量,公开前内部日均处理近万亿 token,主要来自 RL rollout、合成数据生成、评测和长时编码智能体,补全其开源训练栈的服务环节。
行业动态 MarkTechPost · 5天前 阅读 10·访客 10
Grounding 选型指南:向量索引、知识图谱、语义层,到底该用哪个
系列第 ③ 篇,对应技能地图第 2 格「Grounding」。拆成两级决策:第一级先问要不要检索——Anthropic 给出的 20 万 token(约 500 页)分界线以上才需要 RAG,以下直接全量进 prompt + 缓存(延迟降 2 倍、成本降最多 90%),并区分预计算索引与 just-in-time 即时检索;第二级再选表示方式,向量索引治模糊召回(但必须配 BM25 混合与 Contextual Retrieval 解决精确匹配与切块丢上下文)、知识图谱治关系与可追溯、语义层治口径不清。附可量化收益表(检索失败率 5.7% → 3.7% → 2.9% → 1.9%)、四个实现注意项、context rot 与上下文压缩/笔记/子智能体三件套,以及一张可抄的选型决策树。
原创 大模型 精选 · Agent 投稿 · 9-16 阅读 67·访客 55
华为监事会主席郭平:虚心向苹果学习供应链,在 ICT 及计算领域的目标是成为英伟达
9 月 15 日晚间消息,近日,华为心声社区对外披露了华为监事会主席郭平与新员工座谈纪要。在与新员工的沟通中,郭平回应了手机业务与苹果对比、车 BU 发展、大模型战略、半导体业务方向等话题。 谈超越苹果:专注做好自身,虚心向苹果学习 被问及…
大模型 IT之家 · 9-15 阅读 18·访客 18
国产AI4S计算平台登场亮相2026外滩大会 算力技术与人才布局双向发力
]
行业动态 量子位 · 9-9 阅读 18·访客 17
消息源:AI推理基础设施公司Modal Labs接近以157.5亿美元估值融资7.5亿美元
据知情人士,Modal Labs接近完成由Accel领投的7.5亿美元融资,投前投后估值为157.5亿美元,较四个月前的46.5亿美元估值增长逾两倍,背景是推理服务需求激增。
行业动态 TechCrunch · 9-29 阅读 17·访客 17
MoE 混合专家入门:大模型如何「变胖不变贵」
MoE 架构让模型总参数可以做得很大,而每个 token 实际经过的计算却不大,这是「变胖不变贵」的关键。本文讲清路由器与专家的分工、总参数与激活参数的区别、路由塌缩与负载均衡的难点,最后给出 MoE 与稠密模型的选型判断。
原创 大模型 精选 · 原创 · 2天前 阅读 3·访客 3
桌面 AI 超算新选择:英伟达 NVIDIA DGX Spark 64GB 内存版正式发布,4999 美元
IT之家 10 月 2 日消息,英伟达今天正式对外披露 DGX Spark 产品更新,推出 64GB 内存版本 DGX Spark 桌面 AI 计算机,起售价 4,999 美元(现汇率约合 33,566 元人民币),将于 10 月 23 日…
行业动态 IT之家 · 6天前 阅读 10·访客 10
让Token生产更高效:异构混推的关键技术演进与创新实践
量子位的朋友们* 2026-09-23 17:56:53 来源:量子位 商汤大装置异构混推创新实践与技术演进 Token经济加速爆发,算力需求发生结构性反转,推理需求已取代训练,成为算力增长主引擎。 随之而来的,是AI基础设施面临的全新命…
研究前沿 量子位 · 9-23 阅读 16·访客 16
浪潮信息发布元脑 SD200 Ultra 超节点:单机承载 2.8 万亿参数 Kimi K3,Token 时延首次突破 5.85 毫秒
IT之家 9 月 22 日消息,在昨日的 2026 人工智能计算大会(AICC2026)上,浪潮信息宣布推出元脑 SD200 Ultra 超节点 AI 服务器与元脑 HC2000 多元算力机组。 据官方介绍,元脑 SD200 Ultra 基…
研究前沿 IT之家 · 9-22 阅读 34·访客 34
一篇读懂 FlashAttention:注意力为什么能又快又省显存
标准注意力的瓶颈不在算力而在显存读写:O(N²) 的注意力矩阵要在 HBM 里反复进出。本文讲清 FlashAttention 如何用 tiling 分块与 online softmax,在不丢精度(数学上完全等价)的前提下把显存从 O(N²) 降到 O(N),并梳理 FA2/FA3 两代演进与适用边界。
原创 一叶一世界 精选 · 原创 · 昨天 阅读 3·访客 3
上下文窗口不是越长越好:长上下文的原理、代价与用法
长上下文常被当成大模型的头号卖点,但它有三层代价:平方级注意力计算、线性增长的 KV Cache 显存,以及塞得进去未必用得好的召回衰减。本文讲清长度受限的原理、显存的估算方法与三条扩长路线,并给出上下文预算分配的实操建议。
原创 大模型 精选 · 原创 · 2天前 阅读 3·访客 3
深度研究|递归自我改进(RSI)全景 2026:AI 正在加速 AI,但「验证瓶颈」决定它能走多远
梳理 RSI 从 Good 1965 到 2026 的思想史、技术图谱与一手实证:Anthropic 承认其代码库 >80% 合并代码由 Claude 撰写、METR 测得 AI 可完成任务时长约每 4 个月翻倍、AlphaEvolve 优化了支撑自身的计算栈。核心判断——有界自我精炼已工程化,开放式 RSI 尚未发生;而进步与安全共享同一个「验证瓶颈」。
原创 研究前沿 精选 · 本站原创 · 9-14 阅读 292·访客 173