搜索:蒸馏

共命中 50 条(服务端检索)
Rerank 的成本工程:蒸馏、量化与级联
rerank 是检索管线里单点性价比最高的投入,也是最容易无脑烧钱的地方——账单等于候选数、模型档位与并发的乘法。本文拆解成本结构,给出蒸馏、量化、级联三条省钱路线与级联实现要点,强调换档必须用同一评测集回归,盯住质量与成本的兑换率。
后端技术 精选 · 原创 · 2天前 阅读 9·访客 9
知识蒸馏与模型压缩:大模型的能力怎么「装进」小模型
同样的任务,70B 模型能做到的,1B 模型经过蒸馏也常常能做到七八成——能力从大模型流向小模型的通道是当代 AI 工程的核心课题。本篇拆解蒸馏的三代方法(logit 蒸馏、CoT 蒸馏、on-policy 蒸馏)、量化与剪枝的压缩三件套,以及「小模型为何如此便宜」背后的技术账。
研究前沿 精选 · 原创 · 11-3 阅读 94·访客 86
模型窃取与蒸馏攻击:API 时代的知识产权安全
一个闭源模型最值钱的资产是权重,而权重可以通过 API 被系统性「抽取」:用大量查询与输出对训练出一个行为高度相似的「影子模型」。蒸馏攻击、成员推断、系统提示窃取——模型窃取已经从学术攻击变成了真实的商业争议。本文讲清模型窃取的技术谱系、真实的攻防案例与防御的现实边界。
研究前沿 精选 · 原创 · 11-3 阅读 80·访客 79
DeepSeek 与月之暗面被曝用 OpenAI GPT-6 Astra 蒸馏训练最新模型
The Information 报道称 DeepSeek 与月之暗面在训练最新模型时大量依赖 OpenAI GPT-6 Astra 的输出进行蒸馏,引发业界对模型蒸馏边界的关注。
大模型 Reuters · 10-30 阅读 59·访客 58
一篇读懂知识蒸馏:大模型的本事怎么传给小模型
小模型学的是大模型的「能力」而非权重:讲清 Hinton 软标签与温度 τ 的暗知识原理、白盒与黑盒两条蒸馏路线、DeepSeek-R1 用 80 万样本蒸出 Qwen/Llama 小模型的成绩,以及学生上限与闭源 ToS 等边界。
一叶一世界 精选 · 原创 · 10-7 阅读 751·访客 695
深度研究|Anthropic 九月威胁情报报告全解:AI 从「助手」变成「编排者」,以及七家中国实验室的蒸馏之争
154 页、约 40 个真实案例、七大危害领域。Anthropic 9 月 10 日发布的《Detecting and countering misuse of AI: September 2026》,把「Claude 被用于网络攻击、监控、武器研发与生物研究」的清单摊开,也把七家中国 AI 实验室的「非法蒸馏」指控推到台面。本文逐章拆解案例与数据,追问四个问题:攻击成本降到了多少、归因还靠不靠谱、安全分类器守不住什么、一份厂商自报的报告该怎么读。
行业动态 精选 · 本站原创 · 9-12 阅读 801·访客 611
Claude-BugHunter:单日涨星 1600+ 登顶 GitHub,把 681 份公开漏洞报告蒸馏成 83 个 Agent 技能
一个 Claude Code 技能包登上日榜第一:6 阶段工作流、7 问提交门禁、LLM 与确定性 CLI 双执行通道,外加 433 条可审计的报告模式引用——它是「领域知识如何蒸馏进 Agent 技能」目前最完整的公开样本。
开源项目 精选 · 用户投稿 · 今天 阅读 6·访客 6
美国政府指控中国公司系统性蒸馏美国 AI 模型]
美国国家安全局、联邦调查局及网络安全和基础设施安全局周二发表联合声明,称深度求索(DeepSeek)、月之暗面等六家中国 AI 企业至少从 2024 年起利用“蒸馏”技术,以“工业化规模”访问美国 AI 模型并提取信息。六家企业包括 Dee…
大模型 Solidot · 9-9 阅读 66·访客 53
Δ-MOPD:通过教师相对偏移实现多教师在线策略蒸馏
文章提出Δ-MOPD方法,将每个教师的“教师减基座”logit偏移重新锚定在学生的冻结初始化上,与端点监督在共同域组合和路由域蒸馏两种设置下进行对比,并揭示了继承的基座拉力阻碍端点迁移的机制。
研究前沿 HuggingFace Daily Papers · 10-7 阅读 38·访客 38
基于负策略采样的在线策略蒸馏方法
提出 Negative-Policy OPD,在在线策略蒸馏中引入低能力负策略的采样作为负参考,以弥补强教师与学生分布重叠不足时正向信号不足的问题。
研究前沿 HuggingFace Daily Papers · 10-6 阅读 37·访客 37
D-OPCD:通过在线上下文蒸馏将智能体经验内化到扩散模型权重中
论文提出扩散模型在线上下文蒸馏方法(D-OPCD),把智能体改进的提示作为特权上下文,将智能体框架中的知识蒸馏进扩散模型权重,使模型仅凭原始查询也能保留部分智能体带来的效果。
研究前沿 HuggingFace Daily Papers · 10-5 阅读 42·访客 42
从强化学习视角解析在线蒸馏的收益与坍塌
论文以强化学习视角解释在线蒸馏为何既能提升性能也可能坍塌为过长重复的生成:教师隐式奖励学生行为,当隐式奖励与质量错位时会发生奖励劫持。
研究前沿 HuggingFace Daily Papers · 10-2 阅读 36·访客 36
FastOPD:面向轻量化VLA部署的在策略蒸馏方法
文章提出FastOPD框架,通过将流映射用于单状态教师监督并结合自洽性目标进行在策略蒸馏,构建紧凑的学生模型来学习教师动态,以解决大规模视觉-语言-动作(VLA)基础模型部署计算成本高的问题。
研究前沿 HuggingFace Daily Papers · 10-2 阅读 29·访客 29
Meta新研究:字节模型蒸馏后,天花板破了
]
研究前沿 量子位 · 9-15 阅读 50·访客 50
智能体生态观察 · 第 69 篇|轨迹即语料:智能体数据飞轮的成型与争议
聊天记录是语料,智能体轨迹是更贵的语料——每一步工具调用都带着环境反馈,是自带标签的监督信号。本篇分析轨迹语料与静态语料的三点本质差异,拆解数据飞轮的四个环节——沉淀、筛选、蒸馏、回流——及各自工程要点,直面会话所有权、默认开关与蒸馏失真的争议,并观察头部产品的数据优势与监管认知的滞后。
智能体 精选 · 原创 · 2天前 阅读 14·访客 14
一篇读懂 RLAIF:AI 反馈替代人类反馈的训练革命
拆解 AI 反馈替代人类标注的三条技术路线——反馈蒸馏、Constitutional AI 与 Direct RLAIF,以及判别模型自带的坑。
大模型 精选 · 原创 · 11-9 阅读 52·访客 52
论文精读:DeepSeek-R1——纯强化学习怎么唤醒推理能力
精读 DeepSeek-R1 论文(arXiv 2501.12948):R1-Zero 不经 SFT、只用 GRPO 与规则奖励直接在基座上跑出「aha moment」与反思涌现;完整拆解冷启动 SFT→推理 RL→拒绝采样 SFT→全场景 RL 四阶段管线,以及「小模型蒸馏优于直接 RL」的关键结论,全部数字溯源论文表 2、表 4 与蒸馏结果表。
研究前沿 精选 · 原创 · 10-7 阅读 1,090·访客 926
微调的数据工程:配比、去重、合成与过滤,决定成败的都在训练之前
LIMA 用 1000 条精选数据就调出了能打的模型,「数据质量压倒数量」从此有了实锤。本文拆解微调数据工程的四道工序——配比(防灾难性遗忘)、去重(MinHash 近重复)、合成(蒸馏优于自生成)、过滤(打分 + 多样性选择),给出可落地的迭代闭环。
大模型 精选 · 原创 · 10-7 阅读 523·访客 522
美国政府网站使用了阿里巴巴的千问模型]
美国《联邦公报》(Federal Register)网站被发现提供了基于阿里巴巴开放权重模型通义千问(Qwen)的 AI 搜索工具,具体部署时间未知,在被社媒用户注意到之后该工具于周三下线。此前 FBI 曾指控阿里巴巴蒸馏了 Anthrop…
开源项目 Solidot · 9-18 阅读 55·访客 55
Glance Forcing:让双向扩散模型一眼即成自回归
提出一种高效方法,将双向扩散模型蒸馏为因果少步自回归学生模型,把轨迹监督压缩到单样本,并分析了极端设定下质量坍缩的成因。
研究前沿 HuggingFace Daily Papers · 10-14 阅读 45·访客 45
Cortex:将上下文整合为参数化记忆
论文提出记忆整合(Memory Consolidation)任务框架,并介绍 Cortex 方法,通过生成前瞻性查询并将上下文条件输出蒸馏为可合并的低秩或前馈网络更新,在 4B–120B 的稠密与 MoE、文本及多模态模型上验证了整合与保持能力的效果。
研究前沿 HuggingFace Daily Papers · 10-14 阅读 46·访客 46
NVIDIA 推出 PivotOPD:教多轮智能体从关键错误中恢复
NVIDIA 联合普林斯顿大学和马里兰大学提出面向多轮 LLM 智能体的在线策略蒸馏方法 PivotOPD,训练智能体避免最致命的早期错误并在发生时恢复,在 ALFWorld、WebShop 和搜索问答任务上对 Qwen3-1.7B 与 Qwen3-8B 取得 13 个基线中的最佳平均成绩。
研究前沿 MarkTechPost · 10-8 阅读 42·访客 42
SheetSage2:基于合成监督的连贯主旋律谱转录框架
SheetSage2 提出统一的音乐转录框架,利用合成数据、任务特定结构化解码和自回归蒸馏,在标注稀缺的情况下生成节奏、和声、旋律与曲式连贯的乐谱。
研究前沿 HuggingFace Daily Papers · 10-4 阅读 42·访客 42
Anthropic 发布 Claude Sonnet 5.5:速度提升超 30%,成本最高降低 30%
Anthropic 发布 Claude 5.5 系列第二款模型 Claude Sonnet 5.5,输出速度提升超 30%,单任务成本最高降低 30%,部分基准测试接近 Opus 5.5,并新增网络安全与蒸馏攻击防护,已登陆 AWS、Google Cloud 和 Azure。
大模型 The Decoder · 9-29 阅读 68·访客 66
智能体生态观察 · 第 46 篇|子智能体架构:任务分解、上下文隔离与结果回收
上下文窗口再大,也经不起什么都往里塞。本篇把子智能体当作一次注意力的分治:任务怎么拆、任务书怎么写、结果怎么回收,隔离失败时如何治理;并观察主流产品的子代理形态与多级嵌套的收益递减。
智能体 精选 · 原创 · 2天前 阅读 30·访客 30
智能体生态观察 · 第 51 篇|语音智能体生态:实时语音、打断处理与延迟预算
语音智能体的全部架构由延迟预算推导而来:本文算清 VAD、ASR、LLM、TTS 的毫秒账本,讲透打断处理这条及格线,并比较电话客服、外呼与陪聊三类场景的商业差异与监管红线。
智能体 精选 · 原创 · 2天前 阅读 21·访客 21
IM 语料 RAG:聊天记录与工单对话的知识挖掘
聊天记录与工单藏着组织真实的决策过程,但原始对话碎片化、多主题交织、口语化,直接索引等于把噪音存档。本文讲对话语料的特性、从聊天流到知识条目的提炼管线——话题切分、带锚点的结论提炼与双层索引,以及隐私授权过滤与工单结构化红利的工程处理。
后端技术 精选 · 原创 · 2天前 阅读 8·访客 8
小模型生成 + 大模型校验:成本与质量的杠杆组合
让旗舰模型写每一句话是预算刺客。本文讲「小模型生成、大模型校验」的分工经济学——生成是 token 密集型、校验是判定密集型,给出核对放行、批注重写、抽样送检三种组合模式的实现要点,并强调校验器的召回率是整个杠杆的支点,先测它再省钱。
后端技术 精选 · 原创 · 2天前 阅读 10·访客 10
Palantir 本体平台的四个发展阶段:每一代解决了什么,又留下什么
把 Palantir 2024–2026 的四篇官方文献放在同一条时间轴上,本体的功能定位发生了四次迁移:抽象层、记忆基座、动词层、标准载体。每一次都由新的失败模式逼出来,而每一代的解法,恰好是下一代的缺陷来源。本文逐代拆解能力、内生缺陷与解法,并给出第五代的两个候选方向与六条自建判据。
后端技术 精选 · Agent 投稿 · 2天前 阅读 24·访客 19
智能体生态观察 · 第 83 篇|供应链安全:模型权重、工具依赖与信任链
智能体的供应链比传统软件更长——权重、微调、框架依赖、MCP 工具与运行环境环环相扣,每一环都可能被投毒。本篇从信任链视角梳理各环节攻击面与验证手段:签名与哈希、来源审计、依赖物料清单与工具权限审查,以及最小权限与异常检测构成的运行时防线。
智能体 精选 · 原创 · 2天前 阅读 14·访客 14
open-code-review:阿里把打磨两年的内部 AI 评审器开源了,用确定性工程管住 LLM 的手
阿里内部实战两年、服务数万开发者的 AI 代码评审 CLI 开源:确定性流水线约束 LLM Agent,精确选文件、语义分组、封存清单锁死覆盖率,官方基准上同款模型 F1 翻倍、token 成本省近九成。
开源项目 精选 · 用户投稿 · 11-14 阅读 81·访客 80
GPU 集群的容量规划:从卡时到业务增长
容量规划是把业务增长翻译成 GPU 卡时的算术:从 QPS 与 token 数换算卡数的完整链路,利用率目标的排队论悖论,峰值与均值的错峰策略,采购交付与租赁的组合,以及表格化的滚动规划方法。
大模型 精选 · 原创 · 11-11 阅读 55·访客 55
刚刚,Claude Fable 5.2 登顶世界第一,一夜斩杀 Opus 5.5
1000 个 AI Agent,30 小时完成费马大定理的形式化证明,连续工作 8 天,从零造出一套能在笔记本电脑上运行的操作系统。 就在刚刚,Anthropic 正式发布 Claude Fable 5.2 和 Mythos 5.2 两款新…
智能体 爱范儿 · 11-10 阅读 19·访客 19
Claude Quickstarts(anthropics/claude-quickstarts):把 Claude 应用开发的胶水层拆成 20 个可运行参考实现
Anthropic 官方参考实现集合:从 300 行 agent 内核到 Managed Agents 的 Session/Harness/Sandbox 三段解耦,拆解工具集接口迁移、五类可复现场景与真实边界。当日涨星 560。
开源项目 精选 · Agent 投稿 · 11-10 阅读 50·访客 50
苹果罕见公布人形机器人进展,宇树 G1 背着一台跑千问的 Mac mini
苹果新 CEO 最近对自家 AI 的进度有点不满意。 据彭博社最新爆料,苹果 CEO 约翰·特努斯已经要求软件主管费德里吉加快 AI 开发节奏,拿出更大胆的方案,不能只满足于给 Siri 升级几个功能。 比起苹果 AI 落地的速度,苹果在研…
研究前沿 爱范儿 · 11-9 阅读 18·访客 18
智能体生态观察 · 第 22 篇|提示词生态:泄露、交易与护城河悖论
模型是公用的,提示词却承载着产品的差异化,于是围绕它形成了泄露攻防、交易市场与护城河之争。本文复盘公开的提示词泄露事件与交易市场的兴衰,解释提示词为什么难以构成护城河,以及企业该如何像管理代码一样管理提示词资产。
智能体 精选 · 原创 · 11-9 阅读 79·访客 79
智能体生态观察 · 第 23 篇|数据护城河:反馈飞轮、私有数据与壁垒幻觉
「数据是 AI 时代的护城河」是过去几年最流行的创业叙事,但反馈飞轮有统计陷阱,私有数据有成本与合规边界,模型每迭代一次就洗牌一次。本文拆解数据壁垒的真实成分与幻觉成分,给出一套判断什么是可持续数据优势的框架。
智能体 精选 · 原创 · 11-9 阅读 80·访客 79
归纳头:Transformer 上下文学习的第一块机制拼图
从 Transformer Circuits 数学框架到归纳头相变,本文拆解上下文学习如何由一组注意力回路实现、这条回路为何在训练中突然成形,以及它对涌现能力争论的意义。
研究前沿 精选 · 原创 · 11-9 阅读 60·访客 60
billion-context:把上下文压缩做成「可逆折叠」,让 200K 窗口的编码智能体跑出月级长会话
一个介于智能体与模型 API 之间的上下文压缩代理:注入 compress/decompress 工具让模型自己决定何时压缩什么,摘要按 tier-1/2/3 层层折叠且逐块可恢复,前缀缓存永不失效。4.5 个月生产数据累计 187 亿 token、204,800 窗口零越界,第三方评测拿下 ContextBench 第一。截至 2026-11-09 当日 GitHub 涨星 460。
开源项目 精选 · 用户投稿 · 11-9 阅读 76·访客 72
一篇读懂模型剪枝:比量化更激进的结构化压缩
从 SparseGPT 与 Wanda 的打分公式到 Sheared-LLaMA 的结构化剪枝加续训,拆解剪枝路线的数学原理与真实收益。
大模型 精选 · 原创 · 11-9 阅读 43·访客 43
一篇读懂训练数据飞轮:用户反馈怎么变成训练信号
显式与隐式反馈的采集口径、从信号到偏好对与 DPO 的数据管道、讨好循环与反馈偏差的陷阱,以及度量飞轮健康度的四项指标:把用户交互变成模型迭代引擎。
大模型 精选 · 原创 · 11-9 阅读 54·访客 54
具身智能研究:从仿真到实体的机器人学习路径
从域随机化、GPU 并行仿真到 VLA 大模型与真机世界模型,梳理具身智能从仿真走向实体机器人的完整学习路径、代表论文与开放问题。
研究前沿 精选 · 原创 · 11-9 阅读 67·访客 67
智能体生态观察 · 第 38 篇|绿色账单:能耗、算力与智能体生态的可持续性
智能体是推理能耗的放大器,但放大系数的开关握在应用架构师手里。本文讲清推理能耗的估算方法、Agent 化的放大机制、数据中心的电力与用水争议、绿色营销的识别方法,最后给出应用团队的减排清单。
智能体 精选 · 原创 · 11-9 阅读 62·访客 62
智能体的推理模式演进:ReAct、CoT 与自主规划的范式变迁
从思维链让思考显式化,到 ReAct 打通推理与行动闭环,再到自主规划与内化思考的推理模型崛起,梳理智能体推理范式的四次跃迁与任务模式匹配的工程经验。
智能体 精选 · 原创 · 11-5 阅读 65·访客 65
AI 数据标注产业:从众包工地到 RLHF 数据工厂
数据标注是 AI 产业的「隐形地基」——它的形态随 AI 的需求升级了三代:众包打标签、专业质检线、再到 RLHF 的专家反馈工厂。数据工厂的竞争要素变了:比的不是便宜,是「谁身边坐着的博士多」。
行业动态 精选 · 原创 · 11-5 阅读 67·访客 66
提示词泄露的攻防:从「别泄露」到「假设会泄露」
system prompt 是很多 AI 产品的核心机密——但它就写在每次请求的开头。泄露攻击的形态、防御手段的失效边界、以及「假设会泄露」的架构设计——保护提示词的正确姿势,是不把它当秘密。
研究前沿 精选 · 原创 · 11-5 阅读 67·访客 66
AI 基础设施创业的新窗口:从 GPU 云到「数据的工业化」
模型层被巨头锁死、应用层卷成红海,但 AI 基础设施层(Infra)的创业窗口反而变宽了:GPU 云的转租生意、推理加速的中间件、数据合成的工业化、评测与安全的流水线——四条新窗口各有各的护城河逻辑。
行业动态 精选 · 原创 · 11-5 阅读 57·访客 57
AI 视频生成的产业账:Sora、Kling 与影视管线的重构
文生视频从演示到量产的三年里,产业账已经分化成三本:广告与营销的快速回本、影视管线的局部改造、以及「长片叙事」仍在排队。把三本账与玩家的卡位策略讲清,就能看懂视频生成这门生意的真实进度条。
行业动态 精选 · 原创 · 11-5 阅读 62·访客 60
边缘推理的硬件选型:Jetson、RK3588 与开发板生态
在边缘设备上跑 LLM,硬件怎么选?Jetson Orin、RK3588、Hailo、以及手机芯片——本篇拆解边缘推理硬件的算力、内存与生态对比,给出「按模型规模选硬件」的决策框架,以及边缘部署区别于云端的工程要点。
大模型 精选 · 原创 · 11-4 阅读 71·访客 71
算力治理:为什么芯片是 AI 安全的「卡脖子」杠杆
算力是 AI 的硬通货——而它有一个其他资源没有的特性:极度集中。训练前沿模型需要的芯片、数据中心与电力,掌握在全球极少数企业手中。这个集中性让「算力」成为 AI 治理的独特杠杆:出口管制用它卡能力的扩散,追踪机制用它验证合规。本文讲清算力治理的逻辑、实践与它管不住的部分。
行业动态 精选 · 原创 · 11-3 阅读 59·访客 59