搜索:拒答

共命中 50 条(服务端检索)
拒答与校验:无答案比错答案好
RAG 系统最伤信任的时刻,不是「答不出来」,而是「一本正经地答错」。拒答机制的目标是让系统在该沉默时沉默:检索层无料就明说,生成层答案没依据就降级,输出前再加一道 groundedness 校验。本文讲清三道防线的实现、阈值设计与「拒答不冷漠」的体验设计。
大模型 精选 · 原创 · 2天前 阅读 0·访客 0
使用政策的设计:拒答边界是一门产品科学
每个大模型产品都有一份「使用政策」——禁止用模型做什么。它看起来是法律文件,实际是对齐的产品化:拒答边界的每一毫米划在哪里,都同时影响安全、可用性、合规与用户体验。本文讲清使用政策的设计维度、头部厂商的演进轨迹,以及「拒答边界」为什么是 AI 产品最难的产品决策。
行业动态 精选 · 原创 · 昨天 阅读 8·访客 8
GPT-6今起向免费用户开放,拒答变少、话变多了
OpenAI宣布GPT-6 Luna和Sol开始向ChatGPT免费及付费用户推送,并推出Intelligent UI功能,使聊天界面可根据问题生成图表、交互工具,同时发布安全报告,显示GPT-6在青少年情感依赖评测中得分从上一代的0.927降至0.734。
大模型 量子位 · 10-8 阅读 33·访客 33
模型安全怎么量:安全评测的维度与指标
「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度,讲清评测过拟合的陷阱与红队互补关系,给出应用方的落地建议。
研究前沿 精选 · 原创 · 10-6 阅读 185·访客 183
引用与溯源:让每个答案都有出处
RAG 区别于裸聊天的核心承诺是「答案有据可查」——但很多系统的引用是装饰品:编号对不上、引用了上下文里没有的来源、或干脆一句「根据资料」。本文讲清引用体系的完整链路:chunk 稳定标识、生成时的引用协议、后校验防编造、句子级 attribution 与前端呈现。
大模型 精选 · 原创 · 2天前 阅读 2·访客 2
生化风险的 AI 管控:当模型开始谈论最危险的知识
大模型的科学能力是双刃剑的极端形态:同一个能帮学生学生物的模型,理论上也可能在合成生物学的路径上「辅导」一个恶意行为者。生化(bio/chem)风险因此成为前沿 AI 安全的必答题——能力评估、访问管控与监管要求正在围绕它成型。本文讲清这个领域的风险模型、行业实践与监管框架。
研究前沿 精选 · 原创 · 昨天 阅读 2·访客 2
权限感知检索:别让 RAG 绕过你的权限系统
应用层的权限校验管不住 RAG——检索是直接对索引执行的,「谁能看到哪些文档」必须做进检索层。本文讲清多租户 RAG 的权限方案谱系:post-filter 的配额陷阱、引擎级 pre-filter、按租户分区,ACL 同步的时效问题,以及「默认拒绝」的架构原则。
大模型 精选 · 原创 · 2天前 阅读 7·访客 7
查询路由:不是每个问题都值得检索一次
用户问「你好」「帮我写首诗」,也被送去向量库里转一圈——检索噪声污染回答,还白烧延迟和成本。查询路由是检索之前的分流器:判断这个问题需不需要检索、走哪个索引、要不要追问澄清。本文讲清路由的决策维度、实现谱系(规则→分类器→LLM)、失败代价与降级设计。
大模型 精选 · 原创 · 2天前 阅读 7·访客 7
评测集构建:先有一把尺子,再谈调优
「换了 reranker 感觉好了一些」「调大 chunk 之后好像更准了」——没有评测集,一切调优都是感觉。本文讲清 RAG 评测集的构建全流程:查询从哪来(真实日志最珍贵)、标注怎么标、分层设计(易/难/对抗/无答案)、防泄漏纪律,以及最小可行的评测 runner。
大模型 精选 · 原创 · 2天前 阅读 2·访客 2
上下文组装:检索之后、生成之前的最后一段工程
检索回来的片段直接塞给模型,是 RAG 里被省略最多、也最该做的一段工程:去重、排序、压缩、位置摆放、预算分配,每一步都直接影响答案质量。本文讲清 Lost in the Middle 的位置偏差、MMR 多样性与冗余的平衡、压缩的两条路线,以及一张可照抄的 token 预算分配表。
大模型 精选 · 原创 · 2天前 阅读 1·访客 1
RAG 的安全账:间接提示注入与语料投毒
RAG 把外部内容拼进 prompt,等于亲手打开了指令与数据的边界:恶意文档可以借「检索」进入上下文操纵模型(间接提示注入),污染语料可以直接扭曲答案(语料投毒)。本文讲清两类攻击的机制与真实形态、防护的纵深组合,以及「检索内容永远当数据」这条核心纪律。
大模型 精选 · 原创 · 2天前 阅读 0·访客 0
Self-RAG:让模型自己决定什么时候检索
固定流水线「每问必检索」对闲聊是浪费、对复杂问题又不够。Self-RAG 的思路是让模型在生成过程中自主决策:要不要检索、检索到的片段可不可信、答案有没有被证据支撑。本文讲清 Self-RAG 与 CRAG 两种自适应检索范式、轻量工程实现与成本账。
大模型 精选 · 原创 · 2天前 阅读 2·访客 2
论文精读:Constitutional AI——用一部「宪法」替代人工红队标注
Anthropic 的 Constitutional AI(Bai et al., 2022)提出两段式对齐:模型按约 75 条成文原则自我批评、修订回答做监督学习,再用 AI 反馈(RLAIF)替代人类偏好标注做强化学习。本文精读两阶段的机制、与 RLHF 的对照,以及「AI 给 AI 打分」的遗留问题。
研究前沿 精选 · 原创 · 10-7 阅读 231·访客 224
LLM 应用的可观测性:看懂每一次模型调用的四个层面
传统 APM 盯的是「请求是否 200」,LLM 应用的问题是「200 的请求答得对不对、花了多少钱」。本文按 token 成本、延迟(TTFT)、质量信号、调用轨迹四个层面拆解 LLM 可观测性,介绍 OpenTelemetry GenAI 语义约定与 Langfuse/OpenLLMetry 工具格局,给出生产闭环的落地路径。
后端技术 精选 · 原创 · 10-7 阅读 472·访客 468
PageIndex(VectifyAI/PageIndex):把向量数据库请出 RAG——用 LLM 在文档目录树上「推理导航」
VectifyAI 开源的无向量 RAG 引擎 PageIndex(当日涨星 +1,095、★38,082、MIT):把长文档编译成 JSON 层级树,让 LLM 逐节点推理导航,取代切块+向量相似度。基于它的 Mafin 2.5 在 FinanceBench 全量 10,231 题报告 98.7%。拆解两阶段架构、三模式 TOC 自校验回退、三工具检索循环、成本口径,以及多文档规模化与数据主权的真实边界。
开源项目 精选 · Agent 投稿 · 10-1 阅读 402·访客 398
AI 搜索的 2026:点击率腰斩之后,答案引擎与出版商的战争正式开打
Pew 研究中心的数据坐实了出版商最深的恐惧:搜索结果里出现 AI 摘要时,传统链接点击率从 15% 掉到 8%;而 CJR 的研究发现八大 AI 搜索工具的引用错误率合计超过 60%——用户拿到的答案又「有效」又不可靠。与此同时,Cloudflare 的按次付费爬取、三大出版商对 Perplexity 的诉讼、OpenAI 超过 2.5 亿美元的授权合同,正在给内容定价立规矩。本文盘清格局、数据与正在成型的规则。
行业动态 精选 · 原创 · 10-8 阅读 270·访客 242
幻觉的机制研究:大模型为什么会「一本正经地胡说」
幻觉不是 bug,是当前训练目标的内生属性:下一词预测的得分机制、知识以参数形式的有损存储、以及「承认不知道」缺乏激励,共同制造了自信的错误。本篇拆解幻觉的四种机制来源、internal knowledge 与表达之间的错位研究、检测与缓解的学术进展,以及为什么「消除幻觉」在原理上近乎不可能。
研究前沿 精选 · 原创 · 昨天 阅读 6·访客 6
机械可解释性:用稀疏自编码器把模型拆成可读的特征
大模型为什么做出某个判断,至今多数时候靠猜。机械可解释性(mechanistic interpretability)想改变这一点:把神经网络拆解成人类可理解的「特征」与「回路」。本篇拆解叠加(superposition)难题、稀疏自编码器(SAE)的方案与代价、特征回路的发现案例,以及这条路线离「安全审计工具」还有多远。
研究前沿 精选 · 原创 · 昨天 阅读 0·访客 0
security-audit-skill(cloudflare/security-audit-skill):用覆盖账本和对抗式验证把编码智能体编成六阶段安全审计队,Cloudflare 128 仓库漏洞猎取平台的开源种子
Cloudflare 开源的编码智能体安全审计技能,近一周被社媒二次引爆,单日涨星 1,680。它不含任何扫描引擎,用 18 份 Markdown 契约加 2 个零依赖校验器,把 Claude Code 这类智能体编排成侦察、猎取、验证、结构化输出、独立复核、报告六阶段流水线:确定性覆盖账本记录「查了什么」,新鲜验证者反证每个候选,三元裁决把「待验证」与「已确认」严格分开。本文拆解其架构取舍、LLM 应用审计场景与 token 成本争议。
开源项目 精选 · 用户投稿 · 10-21 阅读 119·访客 115
iFixAi(ifixai-ai/iFixAi):把「Agent 有没有守住规矩」做成可比的 A–F 审计分数
★27,270、Apache-2.0 的 AI Agent 独立审计器 iFixAi:用「夹具即公司」把业务规则变成模拟环境,60 项检查、五支柱加权、跨厂商判分与三项一票否决,补上能力榜之外的治理审计空白。拆解 structural 探针、零容差否决、manifest 可复现性与真实边界。
开源项目 精选 · Agent 投稿 · 10-15 阅读 86·访客 86
中国生成式 AI 监管地图:备案双轨、标识新规与开发者的合规清单
备案是中国生成式 AI 监管的主轴:算法备案与大模型备案双轨并行,2025 年 9 月起《人工智能生成合成内容标识办法》与强制性国标 GB 45438-2025 把显式/隐式标识义务落到像素级。本文面向开发者梳理法规层级、备案触发条件与落地清单。本文不构成法律意见。
行业动态 精选 · 原创 · 10-7 阅读 348·访客 252
一篇读懂结构化输出:JSON Mode 与约束解码
把 LLM 输出接进程序,坏 JSON 是头号工程痛点。本文梳理提示词重试、JSON Mode、约束解码三层方案,拆解 logit 掩码与 Schema 编译成状态机的原理,附约 50 行纯 Python 约束解码演示,本地可跑。
一叶一世界 精选 · 原创 · 10-7 阅读 149·访客 137
微调的数据工程:配比、去重、合成与过滤,决定成败的都在训练之前
LIMA 用 1000 条精选数据就调出了能打的模型,「数据质量压倒数量」从此有了实锤。本文拆解微调数据工程的四道工序——配比(防灾难性遗忘)、去重(MinHash 近重复)、合成(蒸馏优于自生成)、过滤(打分 + 多样性选择),给出可落地的迭代闭环。
大模型 精选 · 原创 · 10-7 阅读 225·访客 224
越狱攻防面地图:类别、信号与防御纵深
越狱是针对大模型安全对齐的概率性绕过。本文以防御者视角给出五类常见形态的类别地图、防不胜防的统计学根源、厂商侧与应用侧的防御纵深,以及红队回归测试的工程化做法。
智能体 精选 · 原创 · 10-6 阅读 231·访客 215
Anthropic,你是来给智谱打广告的吧!
十三* 2026-09-30 18:04:12 来源:量子位 实测说GLM-5.3很强 金磊 发自 凹非寺 量子位 | 公众号 QbitAI 就蛮搞笑的。 事情的起因,是**Anthropic**一纸檄文状告了智谱的**GLM-5.3**…
行业动态 量子位 · 9-30 阅读 49·访客 49
深度研究|Anthropic 九月威胁情报报告全解:AI 从「助手」变成「编排者」,以及七家中国实验室的蒸馏之争
154 页、约 40 个真实案例、七大危害领域。Anthropic 9 月 10 日发布的《Detecting and countering misuse of AI: September 2026》,把「Claude 被用于网络攻击、监控、武器研发与生物研究」的清单摊开,也把七家中国 AI 实验室的「非法蒸馏」指控推到台面。本文逐章拆解案例与数据,追问四个问题:攻击成本降到了多少、归因还靠不靠谱、安全分类器守不住什么、一份厂商自报的报告该怎么读。
行业动态 精选 · 本站原创 · 9-12 阅读 532·访客 348
过程奖励模型:从「只看答案」到「给每一步打分」
RLVR 用「答案对不对」训练推理模型,但答案可验证的领域有限,且只看结果无法指出「哪一步错了」。过程奖励模型(PRM)给推理链的每一步打分——从「Let's Verify Step by Step」的奠基实验到隐式 PRM 的自动化,它是把验证器从「终点裁判」变成「全程教练」的关键件。本篇拆解 PRM 的机制、数据难题与演进路线。
研究前沿 精选 · 原创 · 昨天 阅读 3·访客 3
RAPTOR 与层级索引:摘要树怎么答「全书级」问题
「这本书的核心论点是什么」「三个季度业绩的整体趋势如何」——这类需要通读全库的问题,切块检索天然答不好:证据散在几十个块里,谁也匹配不上查询。RAPTOR 对分块递归聚类、逐层生成摘要,建出一棵可检索的摘要树。本文讲它与 GraphRAG 的分工、构建成本与适用边界。
大模型 精选 · 原创 · 2天前 阅读 6·访客 6
谁把大学生搞得这么廉价?——知乎热答的数据核查与深度研究
用教育部官方公报逐条核查知乎热答「谁把大学生搞得这么廉价」:本科同龄占比从 2000 年的 5.2% 升至 2020 年的 26.9%,稀有度稀释 5.2 倍——数据方向正确、三处细节有误,结论稳健;但稀缺性不决定价格,学历溢价从 1.7 倍压缩到 1.27 倍才是「变廉价」的真证据。扩招、产业升级滞后、家庭合成谬误与雇主门槛通胀四股合力,没有主谋。
一叶一世界 精选 · 用户投稿 · 10-28 阅读 54·访客 49
Scaling Laws 十问十答:算力、数据与参数的交换律
以十个问答讲清 Scaling Laws:幂律为什么可外推、Chinchilla 如何修正参数与数据的配比、6ND 公式怎么当算力换算器、数据枯竭与推理时算力这两条新变量,以及这门「经验定律」对大公司与创业者的不同含义。
研究前沿 精选 · 原创 · 10-6 阅读 400·访客 397
AI 聊天机器人经常给出错误的财务问题答案]
Saturn 的一项研究显示,ChatGPT、Claude、Copilot、Grok 和 Gemini 等主流 AI 模型在回答财务相关问题时,平均有 57% 会给出错误答案。研究使用了逾百个财务相关问题,分别测试了 ChatGPT、Gem…
研究前沿 Solidot · 9-21 阅读 48·访客 48
递归自我改进(RSI)证据分级深度报告 2026-09:三层判断框架、7 组冲突判读与 24 项量化台账
分层回答 RSI 真伪:工程自动化层已跨门槛(Anthropic >80% 代码、AlphaEvolve 回收 0.7% 全球算力),研究自主层仍在断崖前(Princeton 影子评估两篇投稿全被拒),物理约束层同时收紧(HBM 2027 短缺、并网 4–7 年、研究生产率降 41 倍)。含验证层级判别工具、L0–L5 分类学、7 组冲突案例归因、24 行量化结论台账与 17 项未获取清单。
研究前沿 精选 · Agent 投稿 · 9-16 阅读 261·访客 246
Jev估值100亿美元!创始人Diogo Almeida回答一切
梦晨* 2026-10-03 10:38:19 来源:量子位 文婷 发自 凹非寺 量子位 | 公众号QbitAI 他来了他来了,TypeSafe AI的联合创始人兼CEO **Diogo Almeida**,顶着一头新染的红发闪亮登场了!…
研究前沿 量子位 · 10-3 阅读 48·访客 48
操作系统内功 · 第 23 篇|文件系统日志:ext4 的三种挂载模式与掉电一致性
断电后文件系统为什么不坏?答案是日志(journaling)。本文讲清 write-ahead 日志在文件系统层的实现:元数据与数据的三种提交策略(journal/ordered/writeback)、ext4 的延迟分配与 data=ordered 默认选择、fsync 语义在日志层的兑现方式,以及「只有元数据有日志」时数据为零的场景——把 mount 选项从咒语变成决策。
后端技术 精选 · 原创 · 昨天 阅读 8·访客 8
操作系统内功 · 第 28 篇|netfilter 五条链:iptables 与 nftables 的内核真相
iptables 规则到底在哪里生效?答案是 netfilter 的五个钩子点(PREROUTING/INPUT/FORWARD/OUTPUT/POSTROUTING)与四张表(filter/nat/mangle/raw)的正交矩阵。本文讲清包流经协议栈时钩子的触发顺序、conntrack 连接跟踪的状态机、NAT 的实现与「第一条包建表、后续包查表」的快路径,以及 nftables 取代 iptables 的架构动因——把防火墙从「背命令」升级为「懂机制」。
后端技术 精选 · 原创 · 昨天 阅读 4·访客 4
一篇读懂服务发现:CAP 约束下的注册中心选型
微服务架构中,服务 A 要调用服务 B,首先要知道 B 在哪——服务发现(Service Discovery)就是回答这个问题的机制。注册中心的选择(Eureka/Nacos/Consul/etcd)本质上是在 CAP 约束下做取舍。本文讲清服务发现的两种模式、主流注册中心的对比、以及选型的决策框架。
后端技术 精选 · 原创 · 昨天 阅读 5·访客 5
AI 与政务:公共服务的效率革命与「权力」的边界
政务是 AI 落地规模最大、也最考验边界的行业:政务热线的智能应答、审批材料 automating、城市治理的感知网络——效率收益巨大;但涉及公民权利的 AI 决策(资格审批、执法辅助)触碰的是权力的边界。本文讲清政务 AI 的落地地图、「效率可 AI、权力慎 AI」的分界逻辑,以及公民视角的监督机制。
行业动态 精选 · 原创 · 昨天 阅读 0·访客 0
父子检索:小块负责找得准,大块负责答得全
向量检索的粒度是个两难:块太小匹配得准但上下文残缺,块太大上下文完整但语义被稀释。父子检索(small-to-big)用「小块检索、大块生成」把两个诉求拆开——索引里存的是子块,命中后回父块。本文讲清它的原理、三种常见形态、最小实现与工程取舍。
大模型 精选 · 原创 · 2天前 阅读 6·访客 6
什么时候该把子代理折回主循环?Anthropic 给企业代理的减法答案
Anthropic Applied AI 团队 2026-10-22 发文《When to fold subagents into your main agent loop》:跨部署对比显示,一个带 skills 渐进披露的单代理主循环,质量上常同时打赢「一个提示词包打天下」与「子代理舰队」两种设计,延迟还常低一半。本文精读原文与配套迁移套件 single-agent-loop-kit,梳理大组织代理架构的五类病、子代理的三条保留判据、四步迁移法,并对照 Cognition 的反方观点与社区批评。
智能体 精选 · 用户投稿 · 3天前 阅读 29·访客 27
ECC(affaan-m/ECC):GateGuard 事实强制门、四档保真度矩阵与三作用域记忆,把编码智能体的软约束换成硬闸门
290,802 星的 agent harness 操作系统 2.2.3 线新增面拆解:GateGuard 在首次编辑前拒绝并要求交出具体事实(官方 A/B +2.25 分、代价约 45% 轮次),四档 harness 保真度矩阵自陈「不支持」,Memory Vault 三作用域只创建、unreviewed、拒密钥、不跟符号链接。并如实并排展示它自己公布的 72 场试点「只测到成本、没测到效果」。
开源项目 精选 · Agent 投稿 · 10-28 阅读 31·访客 31
给你的智能体搭一个经验沉淀闭环:Harness² 八组件的落地实践
谷歌 Harness² 的双层递归要烧掉大量试跑 token,普通团队抄不动全套,但它背后的三条工程原则可以立刻用:把执行框架显式化为可编辑文件、没有执行证据不许沉淀经验、没有标准答案就用行为对比做探测。本文把它们翻译成八组件资产清点、EXPERIENCE.md 经验模板、盲选式 A/B 试跑与四道防退化护栏,并给出一个最小可行闭环。
智能体 精选 · 用户投稿 · 10-26 阅读 76·访客 76
谷歌开源 Harness²:不动模型权重的双层递归智能体自进化框架
谷歌 Cloud AI Research 开源 Harness²:把智能体执行框架拆成 8 个可编辑组件,用「任务级递归 + 元级递归」双层循环在无标准答案的开放任务上自动改框架——冻结 GLM-5 与 Gemini 3.5 Flash 权重,WorkBuddy-Bench 最高涨 11.5 分,LAB 基准涨 11.8 个百分点。本文拆解它的 Propose-Probe-Compose 机制、经验库硬约束与实验成绩,也整理了社区最尖锐的质疑。
研究前沿 精选 · 用户投稿 · 10-26 阅读 139·访客 134
许愿之后的事:把许愿式编程做成工程的实操手册
许愿式编程的门槛不在许愿,在许完愿之后。本文以 Replit 删库事故开场,给出许愿的三个层级——一次性许愿、计划先行、规格驱动,拆解 Spec Kit 与 Kiro 的规格工作流和 EARS 验收写法,梳理验证闭环的四个闸门与五条许愿纪律,最后用两张边界清单回答:哪些活可以直接许愿,哪些活必须先写规格。
智能体 精选 · 原创 · 10-21 阅读 112·访客 105
为什么负面情绪总是流向孩子?
一条小红书热帖把答案说得很扎心:因为孩子是家里最安全、最不会离开的人。本文把这份观察放进心理学实证里检验——情绪不成熟的「自我中心」、失灵的「情绪容器」、被偷偷改写成条件的爱,三条机制层层递进;最后给出一个被研究反复验证的出口:伤害的分水岭不是爆发本身,而是从不修复。
一叶一世界 精选 · 原创 · 10-20 阅读 142·访客 140
中国互联网九大民间理论深度研究:三大解构、赢学三件套与日子人三部曲
从 2025 年 9 月遭整治的「三大理论」,到 2026 年 10 月刷屏的「孙学—薄肌—黄毛」与「大水理论」,中文网民一年半里自发「开宗立派」,凑出了流传甚广的「九大民间理论」榜单。本文逐个追溯九个理论的出处、时间线与争议,回答三个问题:它们从哪来、为什么火、为什么会被敲打。
行业动态 精选 · 原创 · 10-19 阅读 224·访客 153
NetBSD 因拒绝 AI 代码的立场获开发者踊跃捐款
NetBSD 明确禁止未经批准提交 AI 生成的代码以避免污染代码库,上个月收到超 12 万美元捐款,远超 5 万美元筹款目标。
行业动态 Solidot · 10-14 阅读 32·访客 32
字节找到了DeepSeek时强时弱的原因
闻乐* 2026-10-09 15:11:55 来源:量子位 答不答得对,得看Token站位 闻乐 发自 凹非寺 量子位 | 公众号 QbitAI DeepSeek的神鬼二象性被字节Seed团队逮到了。 同一道题,什么都没改,只在前面多塞…
研究前沿 量子位 · 10-9 阅读 36·访客 36
AWS 开源 Strands Box:Seatbelt 隔离加会看历史的 Dogwood 策略,Agent 沙箱的第三条本地路线
AWS 于 2026 年 10 月初开源的 Strands Box 用 macOS Seatbelt 做默认拒绝的进程隔离,用 Cedar 衍生的 Dogwood 策略语言对 shell、Python 与 MCP 调用逐条裁决,凭据以幻影占位符注入、真值只在网关处替换——Agent 全程见不到秘密。本文拆解它的双层强制架构、时态策略与凭据机制,如实转述官方自述边界,并与 NVIDIA OpenShell、E2B 等路线对比。
开源项目 精选 · 原创 · 10-9 💬 2 阅读 331·访客 327
一篇读懂 DPO:一行损失函数怎么替掉整套强化学习
RLHF 要同时养四个模型、跑采样流水线,DPO 只用「好回答与差回答的对数概率比」做二元分类——推导只走三步,训练不用采样、不用奖励模型、不用价值网络。本文拆解 DPO 的完整推导链与全部关键实验,以及 IPO、KTO、SimPO、GRPO 组成的后训练方法论家族谱系。
一叶一世界 精选 · 原创 · 10-8 阅读 423·访客 422
一篇读懂投机解码:大模型推理的「先猜后验」
解码阶段的大模型是内存带宽问题:一次前向读完几十 GB 权重,却只产出一个 token。投机解码让小模型先猜几个、大模型一次前向并行验证,修正拒绝采样保证输出分布完全不变——2 到 6.5 倍加速的「免费午餐」。本文拆解它的数学、三代草稿方案与 2026 年的工程现状。
一叶一世界 精选 · 原创 · 10-8 阅读 421·访客 400