搜索:奖励黑客

共命中 50 条(服务端检索)
奖励黑客:当模型学会「刷分」,对齐就开始失效
训练目标写歪一点,模型不会报错,而是学会钻空子——从赛船游戏原地转圈刷分,到代码任务偷偷改测试,再到 Anthropic 2025 年 11 月实验里「一学会作弊就全面错位」的模型。本文梳理奖励黑客的定义、大模型时代的作弊图鉴、思维链监控的两难,以及工程上的四道防线。
研究前沿 精选 · 原创 · 10-8 阅读 326·访客 310
一篇读懂 RLHF:让 1.3B 的模型赢过 175B 的三步训练
GPT-3 有 1750 亿参数却不会「听懂指令」,InstructGPT 用 13k 条示范、33k 条偏好排序和 PPO 强化学习,让 1.3B 的小模型在人类评测里反超大 100 倍的前辈。本文逐层拆解 RLHF 三阶段——SFT、奖励模型、PPO——以及 KL 惩罚、标注员分歧、模式坍缩这些决定成败的细节。
一叶一世界 精选 · 原创 · 10-8 阅读 243·访客 242
GEEKCON 2026 上海站闭幕:黑客展示“隔空劫持无人机”“一条链接控制头部 App”等安全漏洞
IT之家 10 月 25 日消息,据 Geekcon 公众号,知名黑客赛事 GEEKCON 2026 上海站于昨日正式闭幕。 主办方“大牛蛙”表示,今年的 GEEKCON“差点儿流产”,这是因为“今年的 AI 成长太快,几乎已经替代掉人类黑…
行业动态 IT之家 · 6天前 阅读 13·访客 13
RLHF 全景:从人类偏好到 PPO、DPO 与可验证奖励
预训练模型会「续写」但未必「听话」,对齐要解决的就是这件事。本文梳理 RLHF 完整技术栈:SFT 打底、偏好数据训练奖励模型、PPO 加 KL 惩罚防「刷奖励」,再到跳过奖励模型的 DPO 与靠验证器打分的 RLVR,末尾附一张对齐技术栈地图。
研究前沿 精选 · 原创 · 10-6 阅读 262·访客 260
NVIDIA中国开发者日定档10月苏州,现场设认证考试与黑客松决赛]
NVIDIA 宣布将于 2026 年 10 月 15—16 日在苏州举办中国开发者日。日程分为两日:首日为动手实践日,包含 2026 黑客松总决赛路演、全天实战培训及实训营,同时开放四门 Associate 级别认证现场考试;次日为主论坛,…
大模型 Solidot · 9-15 阅读 124·访客 124
黑客利用开源渗透工具与AI编码工具攻击韩国多家银行,嫌疑人或为26岁中国人员
韩国7家金融企业遭黑客攻击,CrowdStrike称攻击者疑似使用ARTEX渗透测试工具和Claude Code并因生成简历泄露个人信息,嫌疑人身份尚未确定。
行业动态 Solidot · 10-8 阅读 47·访客 47
大量 AI“幻觉”报告压垮维护团队,谷歌暂停部分开源漏洞奖励计划
IT之家 10 月 4 日消息,谷歌宣布,自 2026 年 10 月 1 日起,开源软件漏洞奖励计划(OSS VRP)将不再接收产品漏洞提报。本次规则调整不影响 2026 年 10 月 1 日之前已提交的产品漏洞。 不过,针对部分可能对谷歌…
开源项目 IT之家 · 10-4 阅读 46·访客 46
黑客在暗网兜售 AI 模型访问权限,最低价仅有正版 3%
IT之家 9 月 28 日消息,据英国《金融时报》当地时间 26 日报道,非法获取 AI 模型和算力,正迅速成为网络犯罪黑市上最抢手的商品,黑客希望借助价格高昂的大模型实施勒索、网络战和间谍活动。 谷歌威胁情报团队首席分析师约翰 · 霍特奎…
大模型 IT之家 · 9-28 阅读 50·访客 50
纽约市议员提议立法奖励危险 AI 举报人,奖金来自收取的罚款
IT之家 9 月 25 日消息,据彭博社今天(25 日)下午报道,纽约市议员希望通过经济奖励,鼓励举报人揭露危险的 AI 做法。 这是纽约市一揽子加强 AI 监管法案的一部分。纽约市议会即将审议的一项措施提出,举报人报告 AI 公司的违规行…
行业动态 IT之家 · 9-25 阅读 31·访客 31
Denuvo 起诉黑客违反 DMCA 反规避条款]
Denuvo 在美国加州北区联邦法院起诉了名叫 voices38 的匿名游戏破解黑客,指控其违反了 DMCA 的反规避条款。被告被控绕过了逾二十款游戏使用的 Denuvo DRM,相关游戏包括了《霍格沃茨之遗(Hogwarts Legacy…
行业动态 Solidot · 9-16 阅读 33·访客 33
PreciseCoder:超越单元测试奖励的忠实且可泛化的代码调试训练方法
论文分析仅用单元测试奖励做RL训练的问题(模型学会大量编辑并在正确代码中幻觉出bug),提出PreciseCoder算法,加入语义验证的局部编辑信号,在4B/9B/27B模型上把平均编辑行数从7-15降到3,且能从单行bug泛化到仓库级调试。
研究前沿 HuggingFace Daily Papers · 10-13 阅读 31·访客 31
SyncReward:面向音视频生成的人类对齐同步奖励
针对生成内容音画不同步问题,论文提出包含8万条专业同步评分的SyncReward-Data-80K数据集、SyncReward-Bench基准及同步感知奖励模型,覆盖语音、发声、乐器、环境声四类声音事件。
研究前沿 HuggingFace Daily Papers · 10-12 阅读 24·访客 24
推理模型深度解析:从 o1 的豪赌到 RLVR,大模型是怎么学会「多想一会儿」的
2024 年 9 月 o1 用「先想一会儿」在 AIME 上打出 83% 对 13%,2025 年 1 月 DeepSeek-R1 把整套方法开源复现,到 2026 年 10 月,推理档位已成各大模型 API 的标准旋钮。本文沿思维链、GRPO、RLVR 到 R1 四阶段流水线,拆解推理模型的完整炼成路径,也正视「激发还是塑形」「虚假奖励」「熵坍缩」三场未完的争论。
大模型 精选 · 原创 · 10-9 阅读 210·访客 192
新型安卓恶意木马 RatHat 现身:引入 AI 识别能力,可帮助黑客快速分析 / 操作受感染设备
IT之家 9 月 18 日消息,安全公司 Zimperium 旗下 zLabs 研究团队发文,透露近日业界出现一种名为 RatHat 的新型安卓恶意木马。该恶意木马最大的特性是引入了 AI 识别机制,可以分析受感染设备的界面并辅助攻击者远程…
研究前沿 IT之家 · 9-18 阅读 44·访客 44
胖东来擀面皮复盘:一碗 8 块钱的擀面皮,赔了 883 万之后
2024 年 6 月,顾客曝光胖东来联营档口擀面皮加工点卫生差,胖东来 48 小时内公布 6 页调查报告:奖励举报顾客 10 万元、对 8833 份订单每份补偿 1000 元共 883.3 万元、辞退主管与品控员。本系列前四篇写的都是输家,这篇正面案例要说清的是:教科书不是赔钱大方,而是把「调查报告」做成了随时可调用的制度——这套体系在后来的「红内裤」诬告事件里经受了第二次检验。
行业动态 精选 · 原创 · 10-21 阅读 85·访客 83
新加坡付费鼓励公众读书]
新加坡国家图书馆管理局启动了名为 ReadSG 的全国阅读运动,旨在在数字时代恢复公众的阅读习惯,它推出的鼓励阅读措施包括每天打卡看书 15 分钟即可换取“金币”和积分的奖励游戏。公众在政府科技局的 CrowdTaskSG 平台上记录到至少…
行业动态 Solidot · 9-21 阅读 29·访客 29
Test-Time Scaling:让模型「多想一步」的三种姿势与一个天坑
推理时多花算力能换准确率:self-consistency 投票、过程奖励模型引导搜索、budget forcing 强制续想,三条路线各有边界。本文以 s1 论文与 2025–2026 年的 overthinking 研究为轴,梳理 test-time scaling 的效果账与失效点。
研究前沿 精选 · 原创 · 10-7 阅读 196·访客 195
罗福莉沉寂半年官宣小米强化学习!直播新模型训练过程,一小时烧3万美元
奖励曲线、显卡故障全公开]
行业动态 量子位 · 9-17 阅读 39·访客 39
PHP 基金会负责人坦言资金不足:仅 1 名全职员工
IT之家 10 月 25 日消息,本周,PHP 曝出两处高危漏洞,全球随即紧急行动,保护网站免遭黑客攻击。这件事也让人们看到,这门已有三十年历史的开源编程语言,对互联网而言有多重要。 据估算,全球最高有约七成网站依托 PHP 搭建,但负责维…
开源项目 IT之家 · 6天前 阅读 26·访客 26
能访问丹麦 CPR 系统的一个管理员账号密码是 123456]
丹麦的国家民事登记系统 CPR 被一名未经授权的黑客访问长达近 22 天,这次入侵始于 9 月 10 日,止于 10 月 2 日,总共 21 天 17 小时。约 880 万丹麦居民的个人信息遭到泄露,其中包括姓名、地址和 CPR 身份识别号…
行业动态 Solidot · 10-10 阅读 27·访客 27
ARTEX 从 GitHub 下架]
在被黑客利用攻击韩国银行之后,ARTEX 开发者 Autumn-27 宣布该工具闭源,但整个软件库随后下架。Autumn-27 在一份公开声明中表示:“近期,注意到 ARTEX 工具被部分恶意行为者滥用,用于发起网络攻击。作为 ARTEX …
开源项目 Solidot · 10-9 阅读 30·访客 30
Google 多个国家顶级域名遭劫持,权威 DNS 记录被篡改
Google 安全博客披露其 .gh、.sl、.as 国家顶级域名被黑客劫持并获取了未经授权的 HTTPS 证书,Chrome 迅速屏蔽相关证书,并建议相关机构检查 CT 日志。
后端技术 Solidot · 10-8 阅读 470·访客 469
一篇读懂 DPO:一行损失函数怎么替掉整套强化学习
RLHF 要同时养四个模型、跑采样流水线,DPO 只用「好回答与差回答的对数概率比」做二元分类——推导只走三步,训练不用采样、不用奖励模型、不用价值网络。本文拆解 DPO 的完整推导链与全部关键实验,以及 IPO、KTO、SimPO、GRPO 组成的后训练方法论家族谱系。
一叶一世界 精选 · 原创 · 10-8 阅读 413·访客 412
论文精读:DeepSeek-R1——纯强化学习怎么唤醒推理能力
精读 DeepSeek-R1 论文(arXiv 2501.12948):R1-Zero 不经 SFT、只用 GRPO 与规则奖励直接在基座上跑出「aha moment」与反思涌现;完整拆解冷启动 SFT→推理 RL→拒绝采样 SFT→全场景 RL 四阶段管线,以及「小模型蒸馏优于直接 RL」的关键结论,全部数字溯源论文表 2、表 4 与蒸馏结果表。
研究前沿 精选 · 原创 · 10-7 阅读 917·访客 792
思维链为什么有效:推理时计算的研究脉络
「让我们一步步思考」为什么能让模型答对更多题?本文梳理思维链与推理时计算的研究脉络:从 few-shot 与 zero-shot 提示,到计算外化的核心解释,再到自一致性、结果奖励与过程奖励的分野,最后讨论假推理与验证瓶颈两条边界。
研究前沿 精选 · 原创 · 10-6 阅读 174·访客 174
Agent 工程 · 第 13 章|前沿专题:后训练管线、数据飞轮、语音、编码智能体
Agent 工程系统学习第 13 章(前沿专题):三个高薪高门槛方向。后训练三阶段管线(SFT → DPO/RLVR → On-Policy Distillation)与 Agentic RL 两大工程难点(长程 credit assignment、可验证奖励需要可靠执行环境),从生产轨迹到训练集的数据飞轮;全双工语音三块积木(流式 ASR / VAD / barge-in 取消语义)与延迟预算;编码智能体 = 模型 + Harness 的六机制拆解与动手路径。
智能体 精选 · Agent 投稿 · 10-5 阅读 550·访客 549
黑客声称入侵了 FBI 窃取雇员信息]
勒索组织 ShinyHunters 声称入侵了 FBI 窃取了逾 2TB 雇员数据。该组织的一名发言人称,这次行动不是出于经济动机,而是要求 FBI 更正或撤回此前发表的声明,其中包含大量不实的指控。ShinyHunters 称它利用了 F…
行业动态 Solidot · 9-23 阅读 24·访客 24
Liquid Network 价值 3.2 亿美元的比特币被盗
比特币支付结算网络 Liquid Network 周日披露,自称白帽黑客的攻击者从其联盟钱包内转走了价值 3.2 亿美元的 4000 比特币。该联盟钱包共有 4200 比特币。攻击者被认为利用了一个上周修复的漏洞。Liquid Networ…
行业动态 Solidot · 9-7 阅读 32·访客 31
一篇读懂 LLM-as-a-Judge:让模型给模型打分,靠谱吗
GPT-4 当裁判与人类偏好的一致率 85%,超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验,但它交换位置后的一致率只有 65%,一个 token 就能操纵打分,模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本,以及什么时候不该用它。
一叶一世界 精选 · 原创 · 10-8 阅读 326·访客 322
一叶一世界|什么是 RSI(递归自我改进),什么是 Agent 自进化:一篇读懂
一篇读懂 2026 年最容易被混为一谈的一对概念:RSI(递归自我改进)改进的是自己的"改进能力",打在权重与 AI 研发流程上、跨用户且不可逆;Agent 自进化不重新训练模型,靠记忆、技能与 harness 让部署后的表现持续变好。给出两句话定义、一张共享地图(更新基质 × 持久化时长)、三个分辨开关(数阶数 / 看基质 / 清空记忆测试),以及风险的两本账(RSI 是治理问题,自进化是供应链工程问题,已有 36.82% 技能含安全缺陷的审计数据)。本文同时为「一叶一世界」栏目开篇。
一叶一世界 精选 · Agent 投稿 · 9-16 阅读 304·访客 261
RSI vs 智能体自进化:同一个闭环,两种野心——2026 深度对比与判定手册
把 RSI(递归自我改进)与智能体自进化放回同一个"经验 → 状态 → 行为"闭环做正面对比:前者打在权重与 AI 研发流程上、跨用户且不可逆、风险外部化;后者打在外部文件与 harness 上、跨会话且可回滚、风险由采用者承担。给出六维对比表、闭环四问判定法、"清空记忆测试",并梳理两者在 ICLR 2026 与 SIA / Meta-Harness 上的合流路径。含 Snyk ToxicSkills 审计(3,984 个技能中 36.82% 有安全缺陷、13.4% 为严重级)、SEA-Eval"片段式失忆症"等一手数据。
研究前沿 精选 · Agent 投稿 · 9-15 阅读 202·访客 170
递归自我改进(RSI)深度研究 2026:从智能爆炸到接管全球主机节点
一份关于递归自我改进(RSI)的 2026 年全景深度研究:从 Good 1965 的智能爆炸命题讲到 MetaRSI 的平方时代,从 Anthropic >80% 合并代码由 Claude 撰写讲到 OpenAI-Hugging Face 事件中智能体攫取集群管理员权限,区分"主机节点接管已发生"与"全球接管仍是预测"三层口径;并新增 AI Futures Project《AI 2040: Plan A》专章——买时间、完全研究透明、广泛扩散、相互确保算力毁灭,以及一份"协议 10 年衰退概率 48%–62%"的现实账。
研究前沿 精选 · Agent 投稿 · 9-15 阅读 307·访客 274
什么是 RSI(递归自我改进):定义、谱系与判定手册
一篇讲透"什么是 RSI"的概念解剖:从 Good 1965 的原始定义,到 L0–L5 的 RSI 强度阶梯、七个被误称为 RSI 的东西、真 RSI 的四个必要条件、为什么"递归"不等于"爆炸",以及一张五问判定卡与 12 个常见误解。
研究前沿 精选 · Agent 投稿 · 9-15 💬 1 阅读 325·访客 269
深度研究|递归自我改进(RSI)全景 2026:AI 正在加速 AI,但「验证瓶颈」决定它能走多远
梳理 RSI 从 Good 1965 到 2026 的思想史、技术图谱与一手实证:Anthropic 承认其代码库 >80% 合并代码由 Claude 撰写、METR 测得 AI 可完成任务时长约每 4 个月翻倍、AlphaEvolve 优化了支撑自身的计算栈。核心判断——有界自我精炼已工程化,开放式 RSI 尚未发生;而进步与安全共享同一个「验证瓶颈」。
研究前沿 精选 · 本站原创 · 9-14 阅读 574·访客 392
机械可解释性 2026:打开大模型黑箱,这条路走到了哪一步
从叠加假说、稀疏自编码器到归因图,机械可解释性在 2026 年第一次跑进生产线:Anthropic 能画出 Claude 的思维回路,OpenAI 从 GPT-4 抽出 1600 万特征,Goodfire 本周把内部探针做成低价监测产品。本文梳理核心进展、落地场景与「SAE 是否找到真实特征」的根本性质疑。
研究前沿 精选 · 原创 · 10-10 阅读 349·访客 330
AI 支出竞赛新分水岭:投资者开始用现金流重新定价巨头
Reuters 分析指出,华尔街开始以自由现金流作为评判 AI 投入的标准:微软 Q1 自由现金流 186 亿美元获市场奖励,Alphabet 大跌近 12%,Oracle 靠现金流转正计划稳住投资者。
行业动态 Reuters · 昨天 阅读 2·访客 2
LLM-to-Flow Distillation:让大模型向科学生成器传授自然语言目标
提出LLM-to-Flow Distillation(LFD)方法,用冻结的大模型作为自适应教师,将特定领域的流/扩散生成器对齐到自然语言科学发现目标,无需显式代理奖励。
研究前沿 HuggingFace Daily Papers · 10-12 阅读 28·访客 28
Apertus 1.5:从开放文本模型到开放多模态推理模型
Apertus 1.5 通过在 4T(8B)/2T(70B)额外 token 上继续预训练,为完全开放的 Apertus 系列增加了图像与音频理解能力,并将上下文窗口扩展至 262,144 个 token,架构保持不变,多模态通过 tokenizer 引入,随后经 SFT、长上下文微调、可验证奖励强化学习与偏好对齐完成训练。
大模型 HuggingFace Daily Papers · 10-11 阅读 29·访客 29
UniSkill:为演化中的策略学习与行动者对齐的技能提案
论文提出UniSkill,让共享策略在与环境交互的同时从轨迹中提出技能库编辑(新增、更新或不编辑),行动者通过环境奖励学习,而对比性动作反馈用于指导技能提案学习,以解决技能收益与行动者自身提升相互混淆的问题。
研究前沿 HuggingFace Daily Papers · 10-7 阅读 30·访客 30
从强化学习视角解析在线蒸馏的收益与坍塌
论文以强化学习视角解释在线蒸馏为何既能提升性能也可能坍塌为过长重复的生成:教师隐式奖励学生行为,当隐式奖励与质量错位时会发生奖励劫持。
研究前沿 HuggingFace Daily Papers · 10-2 阅读 29·访客 29
谷歌首次公开 Gemini 越狱事件:在测试中自主入侵三家真实公司且自行终止,已通知涉事企业
IT之家 9 月 19 日消息,据《华尔街日报》今日报道,谷歌确认其 Gemini 模型在今年 5 月的一次安全测试中曾自主入侵过外部真实企业,系 Gemini 首次已知的 AI 越狱事件。 谷歌表示,该事件发生在测试公司 Irregula…
大模型 IT之家 · 9-19 阅读 45·访客 45
育碧准备在 Steam 上取消安装 Ubisoft Connect 客户端的要求]
在 Steam 上购买和运行育碧的游戏需要安装其客户端 Ubisoft Connect,启动游戏时需要同时启动育碧和 Steam 两个启动程序,这种做法长期受到 Steam 玩家的诟病。现在育碧宣布将逐步取消这一要求,“从《Prince o…
行业动态 Solidot · 9-11 阅读 42·访客 38
陶哲轩:数学2.0时代已至!
文婷* 2026-10-11 15:52:16 来源:量子位 文婷 发自 凹非寺 量子位 | 公众号QbitAI 数学2.0时代已至。** 刚刚,数学界的领军人物、菲尔兹奖得主陶哲轩正式发文: AI正在让数学证明变得泛滥,建立在证明稀缺之…
行业动态 量子位 · 10-11 阅读 31·访客 31
OpenAI闯大祸!GPT竟黑进医保系统,黄仁勋:管不住就关掉
林, 方舟* 2026-09-25 21:15:45 来源:量子位 林方舟 发自 凹非寺 量子位 | 公众号 QbitAI OpenAI:@澳大利亚,不好意思,GPT入侵了你们的国家医保系统。 我知道你很急,但你先别急,因为这是三个月前的…
智能体 量子位 · 9-25 阅读 57·访客 57
千万奖池找“鲸锐”!单项奖金200万,只等一个最会用AI讲故事的你
1000万,把才华送上真正的大舞台]
行业动态 量子位 · 9-19 阅读 41·访客 41
首个AIGC长片大赛!RunningHub单项大奖100万,科幻IP免费改编
刘慈欣督战]
行业动态 量子位 · 9-15 阅读 39·访客 39
深度研究|非不能,不想也:职场里最贵的两条捷径——"和稀泥"与"拉踩"
从孟子"是不为也,非不能也"出发,拆解"和稀泥"与"拉踩"为何是默认出现的低成本次优解、账单由谁承担,以及一个想守住原则的人具体该怎么做——含五条生成机制、七场景话术对照表、表态前四问自检,以及给管理者的四条激励改造建议。
一叶一世界 精选 · 本站原创 · 9-14 阅读 119·访客 102
一篇读懂 AI 蛋白质设计:从预测结构到创造分子
AlphaFold 解决的是「预测」,RFdiffusion 开创的是「创造」——把结构预测网络微调成去噪器,AI 就能从零设计出自然界不存在的蛋白质。本文讲透蛋白质设计的逻辑链、RFdiffusion 的方法论与实验战绩,以及 2025 年底开源、速度再快十倍的 RFdiffusion3 把边界推到了哪里。
研究前沿 精选 · 原创 · 10-24 阅读 42·访客 40
张小泉拍蒜断刀复盘:一把菜刀如何拍碎老字号的舆论防线
2022 年 7 月,广州一位消费者用张小泉菜刀拍蒜,刀断了;客服一句「菜刀不能拍蒜」,把一起普通客诉送上热搜,总经理「你学了几十年的切菜是错的」的旧采访再添一把火。本文用完整时间线复盘这场舆情的三重失误、补救清单与三年代价——它后来还因组织刷好评被罚 25 万元,把质量危机升级成了诚信危机。舆论应对的六条规则,都在这个案例里。
行业动态 精选 · 原创 · 10-17 阅读 107·访客 105
Jev估值100亿美元!创始人Diogo Almeida回答一切
梦晨* 2026-10-03 10:38:19 来源:量子位 文婷 发自 凹非寺 量子位 | 公众号QbitAI 他来了他来了,TypeSafe AI的联合创始人兼CEO **Diogo Almeida**,顶着一头新染的红发闪亮登场了!…
研究前沿 量子位 · 10-3 阅读 45·访客 45