拆解 AI 反馈替代人类标注的三条技术路线——反馈蒸馏、Constitutional AI 与 Direct RLAIF，以及判别模型自带的坑。

显式与隐式反馈的采集口径、从信号到偏好对与 DPO 的数据管道、讨好循环与反馈偏差的陷阱，以及度量飞轮健康度的四项指标：把用户交互变成模型迭代引擎。

2026 年 9 月 17 日，唐杰与 GLM 团队披露：GLM-5.3 驱动的 Infra Agent 在超过 10 万张国产芯片组成的集群上，参与完成 GLM-5.3-Flash 整套推理服务的适配、诊断与优化，不到两周把端到端吞吐提升到同一硬件初始基线的 3 倍。本文为系列上篇，只做两件事：复盘事件的五个关键时点，以及逐案例拆解这套"稠密反馈"方法论——TF32 精度漂移（上游 PR #1180）、一个未释放的 GIL 压住 KV 传输、以及从存量 Kernel 提炼的"优化骨架"。每个案例给出"现象→归因→修复→验证"完整链条，并附同业坐标对照表。全系列共三篇：上篇讲技术，中篇做 RSI 分级定位与七组数字的口径核查，下篇谈边界、风险与行动清单。

下篇把前两篇的结论落到可操作层面：先与站内"算子篇"做视角分工对照（工程师证词 vs 厂商证词，共同指向"方案/目标/边界的敲定权"这一尚未自动化的一格）；再划出五条不该被叙事盖住的线——判断侧仍空着、能力与风险同源、内部口径的自我循环、成本曲线自主但供应链集中、叙事与资本的相互强化；随后给出三份清单：给 Infra 工程师的 7 条稠密反馈可复用做法、给技术管理者的 5 个评审问题、给投资者与产品经理的 4 个可跟踪指标。附录含完整时间线、术语表、分级来源清单与核查记录。

大模型的「听话」不是天生的，是训练出来的：监督微调（SFT）教它格式，人类反馈强化学习（RLHF）教它偏好，宪法 AI（CAI）试着教它原则。本文讲清这条对齐技术路径的演进逻辑、每一代方法解决了什么又留下了什么，以及为什么 Anthropic 会说「AI 用 AI 的反馈来对齐 AI」。

Anthropic 的 Constitutional AI（Bai et al., 2022）提出两段式对齐：模型按约 75 条成文原则自我批评、修订回答做监督学习，再用 AI 反馈（RLAIF）替代人类偏好标注做强化学习。本文精读两阶段的机制、与 RLHF 的对照，以及「AI 给 AI 打分」的遗留问题。

人类的验证码已经拦不住 AI #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。 ]

孩子在游戏前专注两小时、在作业前坚持两分钟，不是态度问题，是两套动机系统的设计差距——游戏是几百个顶尖工程师对人类动机回路的定向优化，作业没有这个待遇。本文拆解游戏抓人的四大设计（即时反馈、随机奖励、清晰的进阶、自主与社交），再用同一套原理反推：哪些学习体验天然具备游戏力，家长真正可为之事有哪些。

根据内部文件，微软应用科学总监 Brent Hecht 警告，抓取新闻内容训练 AI 是一次规模空前的盗窃，可能是人类历史上最大规模的劳动盗窃。他不认为抓取新闻内容训练 AI 是合理使用，认为这种做法完全是对合理使用理念的嘲弄。微软的另一份…

IT之家 9 月 16 日消息，外媒 Axios 今天（16 日）晚间披露，微软 AI 负责人穆斯塔法 · 苏莱曼在一篇率先向该平台提供的新文章中警告，Anthropic 让 Claude 模仿人类意识 是一个错误 ，可能使高级 AI 更难…

IT之家 9 月 15 日消息，诺贝尔和平奖得主玛丽亚 · 雷萨（Maria Ressa）表示，人工智能先是借助社交媒体攫取了人类的注意力，又利用人类对亲密情感的本能诉求，干扰我们的生理心理；如果我们现在不通过立法加以限制，人类最终将会丧失…

人类与黑猩猩虽然差异巨大，但在与共同祖先分化并各自演化了约 500-600 万年后，双方只有 1.2% 的 DNA 不同。而一种远古病毒可能在其中扮演了重要角色，阻碍黑猩猩演化出与人类相似的大脑。大约 400 万年前，逆转录病毒 PTERV…

如果你认为性别薪酬差距不存在，或者职场中没有性别偏见，那么最好重新思考下：根据爱尔兰 Limerick 大学研究人员展开的一项研究，在一个 VR 办公室里，基于相同的底层技术但形象不同的 AI 智能体，人类参与者愿意向男性形象的智能体支付的…

IT之家 9 月 24 日消息，每当 Robotaxi（自动驾驶出租车）发生任何类型的事故时，都会引发广泛关注。相比之下，美国每天都有超过 1.5 万起涉及人类驾驶车辆的交通事故向警方报告。因此，即便人们经常看到 Waymo 或特斯拉 Ro…

丰田的员工正在帮助训练人形机器人，它计划未来几年部署 40 万台工厂机器人，人形机器人是其中的一部分，但高管否认它们会替代人类员工。丰田在装配线上部署了 ELEY 人形机器人，而员工则通过佩戴基于机器人手指的装置去训练这些通过轮子移动的机器…

IT之家 9 月 15 日消息，在接受 a16z 采访时，OpenAI 联合创始人格雷格 · 布罗克曼（Greg Brockman）表示， 人类已经迈入通用人工智能时代。 IT之家注：通用人工智能（Artificial General In…

北京时间 9 月 11 日，据《商业内幕》报道，“AI 教父”杰弗里 · 辛顿 (Geoffrey Hinton) 表示，很难估计 AI 将人类全部灭绝的概率，但这个概率并非为零。 辛顿周三在接受 BBC《新闻之夜》采访时说：“在我看来，1…

预训练模型会「续写」但未必「听话」，对齐要解决的就是这件事。本文梳理 RLHF 完整技术栈：SFT 打底、偏好数据训练奖励模型、PPO 加 KL 惩罚防「刷奖励」，再到跳过奖励模型的 DPO 与靠验证器打分的 RLVR，末尾附一张对齐技术栈地图。

大晓机器人联合南洋理工大学 S-Lab、上海人工智能实验室发布全新人–场景交互重建研究 HSImul3R]

GPT-3 有 1750 亿参数却不会「听懂指令」，InstructGPT 用 13k 条示范、33k 条偏好排序和 PPO 强化学习，让 1.3B 的小模型在人类评测里反超大 100 倍的前辈。本文逐层拆解 RLHF 三阶段——SFT、奖励模型、PPO——以及 KL 惩罚、标注员分歧、模式坍缩这些决定成败的细节。

中篇回答一个容易被标题带偏的问题：这次在递归自我改进（RSI）坐标系里站在哪一级？用本站 L0–L5 阶梯逐级排除，结论是 L3 命中、L4 未到；用验证层级解释"为什么基础设施最先闭合"；用闭环四问定性为"RSI 前体"。随后拼上 GLM-6.0 的三支柱（数据自产／环境自造／基础设施自我优化），指出只有第三支柱拿到了 A 级公开证据，另两根仍在公告层面。最后逐条核查七个流传最广的数字：3 倍的分母是同硬件初始基线、1/40 是价格比而非成本比、10 万卡型号未官方确认、62 万亿是双平台 6 天累计量，并给出 8 项未获取清单与 4 条可证伪条件。

AI 开始造 AI，但距离「智能爆炸」还有多远？ #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。 ]

数据标注是 AI 产业的「隐形地基」——它的形态随 AI 的需求升级了三代：众包打标签、专业质检线、再到 RLHF 的专家反馈工厂。数据工厂的竞争要素变了：比的不是便宜，是「谁身边坐着的博士多」。

大语言模型吃的是万亿 token 网络文本，机器人能吃的真机数据却以「万条轨迹」计。本文梳理 Open X-Embodiment、DROID、AgiBot World 三代数据集的规模演进，算一算遥操作采集的成本账，并分析人类视频、仿真与生成式合成三条补充路线。

25位菲尔兹奖得主联名吹哨]

量子位的朋友们* 2026-09-24 16:20:12 来源：量子位 人类演示一次，机器人即可实现跨场景任务复用 一直以来，要让机器人学会一项新任务，往往需要重新采集数据、编写固定流程，或进行针对性训练。这类方式可以解决确定性较高的任务…

AI有可能终结我们所有人]

量子位的朋友们* 2026-09-22 18:06:34 来源：量子位 9月22日，在2026杭州云栖大会企业级Agent实践峰会上，基元律动联合创始人兼CTO韩凯发表演讲《从Harness到RSI飞轮》。 9月22日，在2026杭州云栖…

IT之家 9 月 24 日消息，微软总裁布拉德 · 史密斯表态**支持引入独立评估方**，对 AI 进行安全评估。 正在纽约举行的联合国大会上，AI 安全以及全球范围内如何监管 AI 行业，是各国领导人和企业高管重点讨论的问题。当地时间 2…

一水* 2026-10-12 13:48:36 来源：量子位 游戏打到21:0，AI甚至不用再调用大模型了 一水 发自 凹非寺 量子位 | 公众号 QbitAI 一边打游戏，一边给自己升级？ 好家伙，华为这波直接让AI学会了《边玩边变强》…

克雷西* 2026-11-03 11:16:23 来源：量子位 GPU迭代一百次的事，它一步做完 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 人类用了两千年的模拟计算，开始被重新定义了。 在一本专注于非传统计算的Nature旗下…

GPT-4 当裁判与人类偏好的一致率 85%，超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验，但它交换位置后的一致率只有 65%，一个 token 就能操纵打分，模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本，以及什么时候不该用它。

AI 代码评审的最大痛点不是漏报而是误报——满屏风格噪音会把真问题淹没。本文给出问题分类清单、五要素提示词设计、误报治理的验证环节与分阶段扩量路径，以及「AI 海选、人类裁决」的人机分工。

梦瑶* 2026-10-05 12:42:52 来源：量子位 AI已经开始真正进入「造下一代AI」的流水线 当AI开始参与研发下一代AI，人类可能已经站到「智能爆炸」前夜。 亏贼！最近超超超超火的递归自我改进（RSI），连AI教父**辛顿…

IT之家 9 月 25 日消息，在接受《纽约时报》采访时，英伟达首席执行官黄仁勋认为，**当前行业和民众对 AI 的恐慌情绪已经过头了，并认为当前 AI 不一定会替代职业，但会首先替代任务。** 黄仁勋把工作拆分为任务（例如写代码、整理资料…

IT之家 9 月 19 日消息，科技媒体 Tom's Hardware 昨日（9 月 18 日）发布博文，报道称在起诉 OpenAI 和微软的版权纠纷案中，原告《纽约时报》已申请简易判决， 并提交新的法律摘要，进一步披露两家公司（微软和 O…

一位亲手写下 DeepSeek V4.1 主 Attention 算子的工程师公开判断：AI 将在半年到一年内追平顶级人类算子工程师。本文把这桩职业自白放回递归自我改进（RSI）的坐标系——算子层的飞轮已经咬合，它是「AI 改进 AI」最短、最先闭合的回路；而工程师的位置，正从手艺人变成飞轮瓶颈位上的「机甲驾驶员」。

从 FunSearch 把 cap set 下界从 496 推到 512，到 AlphaEvolve 五十六年来首次改进 4×4 矩阵乘法，再到陶哲轩带着 AlphaEvolve 一次测了 67 个问题——AI 正在从「解出已知的题」走向「产出人类未知的新构造」。本文梳理这条机器发现路线的方法演进与代表结果，也整理 METR 与陶哲轩本人最直接的质疑：这到底是数学发现，还是高级暴力搜索。

发表在《自然》期刊上的一项研究表明，移植到小鼠体内的人脑类器官能够重现大脑发育的某些特征，包括形成功能性神经网络，从而支持脑活动。这一成果得益于一种培育脑容量缩小的小鼠的方法。这种方法使得这些由人类细胞培养形成的三维类脑组织，即人脑类器官能…

人类评审员看不懂模型的高深推理时，怎么判断它做得对不对？可扩展监督（Scalable Oversight）研究的就是这个「评估者与被评估者的能力倒挂」问题——辩论法、评估-优化、弱到强泛化，三条技术路线的竞赛。

思邈* 2026-09-24 13:45:20 来源：量子位 专治人机动作对不齐 允中 发自 凹非寺 量子位 | 公众号 QbitAI 教机器人干活的“人类示范”，竟然不是人做的？ 看这组对照视频：一边是人手操作，一边是机械手操作。乍一看…

IT之家 9 月 21 日消息，英伟达联合创始人兼首席执行官黄仁勋昨日接受 CBS News 采访时表示，他不认同某些研究员提出的“AI 可能在几年内灭绝人类”说法。他觉得这类说法是 AI 末日叙事，已经被过度渲染。 黄仁勋表示：“2030…

压力不是情绪，是一套有器官、有激素、有负反馈回路的生理系统。HPA 轴怎么工作、皮质醇哪些时候是朋友哪些时候是敌人、为什么「肾上腺疲劳」是营销概念——把压力的生理学讲透。

IT之家 9 月 27 日消息，9 月 25 日，字节跳动旗下豆包手机助手发布声明称，从 9 月 24 日晚上开始陆续收到多条用户反馈，在搭载了豆包手机助手的努比亚 NaviX Ultra 上，登录《王者荣耀》或进行匹配对战时，**会出现提…

LangGraph 是 LangChain 生态里最流行的 Agent 编排框架：把智能体的控制流画成显式的状态图。本篇拆解它的核心抽象（StateGraph、节点与边、reducer）、checkpoint 持久化与断点恢复、human-in-the-loop 中断机制，以及它与朴素 Agent 循环、其他框架的取舍。

头痛是人类最高频的疼痛，而它有一个让人安心又必须警觉的双面结构：95% 以上的头痛是原发性的（偏头痛、紧张型、丛集性——病在头痛本身，不致命），剩下的继发性头痛（蛛网膜下腔出血、脑膜炎、青光眼、高血压危象）里藏着需要按分钟计算的急症。本文讲清三大原发性头痛的指纹、红旗信号的清单、以及「止痛药吃太多反而头痛」的悖论。

孩子把胡萝卜挑出来不是狡猾，是两到六岁普遍爆发的「食物恐新」在起作用——人类幼崽对陌生食物的本能警惕，恰好撞上了父母「必须吃蔬菜」的期待。本文讲清挑食的发育根源、「施压喂养为什么总是反效果」的研究证据，以及喂养领域最经典的一条边界：父母决定吃什么、何时吃、在哪吃，孩子决定吃不吃、吃多少。

IT之家 10 月 25 日消息，据 Geekcon 公众号，知名黑客赛事 GEEKCON 2026 上海站于昨日正式闭幕。 主办方“大牛蛙”表示，今年的 GEEKCON“差点儿流产”，这是因为“今年的 AI 成长太快，几乎已经替代掉人类黑…

中科院研究人员首次揭示出神秘古丹尼索瓦人的形态共性。丹尼索瓦人是一支已灭绝的古老人类支系，2010 年科学家依靠西伯利亚丹尼索瓦洞化石的 DNA 证据发现了这一人群。后续分子证据显示，丹尼索瓦人曾广泛分布在亚洲多地，生存时间大约在距今 30…

在人类到来前，塞舌尔群岛曾是动物的乐园。生活在这里的陆龟 Aldabra 象龟（Aldabrachelys gigantea）没有天敌，而且寿命极长。15 世纪之后欧洲探险家开始出现，水手、海盗紧随而至，行动缓慢的象龟成为他们唾手可得的食物…