GPT-3 有 1750 亿参数却不会「听懂指令」，InstructGPT 用 13k 条示范、33k 条偏好排序和 PPO 强化学习，让 1.3B 的小模型在人类评测里反超大 100 倍的前辈。本文逐层拆解 RLHF 三阶段——SFT、奖励模型、PPO——以及 KL 惩罚、标注员分歧、模式坍缩这些决定成败的细节。

精读 DeepSeek-R1 论文（arXiv 2501.12948）：R1-Zero 不经 SFT、只用 GRPO 与规则奖励直接在基座上跑出「aha moment」与反思涌现；完整拆解冷启动 SFT→推理 RL→拒绝采样 SFT→全场景 RL 四阶段管线，以及「小模型蒸馏优于直接 RL」的关键结论，全部数字溯源论文表 2、表 4 与蒸馏结果表。

LIMA 用 1000 条精选数据就调出了能打的模型，「数据质量压倒数量」从此有了实锤。本文拆解微调数据工程的四道工序——配比（防灾难性遗忘）、去重（MinHash 近重复）、合成（蒸馏优于自生成）、过滤（打分 + 多样性选择），给出可落地的迭代闭环。

预训练模型会「续写」但未必「听话」，对齐要解决的就是这件事。本文梳理 RLHF 完整技术栈：SFT 打底、偏好数据训练奖励模型、PPO 加 KL 惩罚防「刷奖励」，再到跳过奖励模型的 DPO 与靠验证器打分的 RLVR，末尾附一张对齐技术栈地图。

Agent 工程系统学习第 13 章（前沿专题）：三个高薪高门槛方向。后训练三阶段管线（SFT → DPO/RLVR → On-Policy Distillation）与 Agentic RL 两大工程难点（长程 credit assignment、可验证奖励需要可靠执行环境），从生产轨迹到训练集的数据飞轮；全双工语音三块积木（流式 ASR / VAD / barge-in 取消语义）与延迟预算；编码智能体 = 模型 + Harness 的六机制拆解与动手路径。

Multi-step agents are trained on flat action streams: SFT and RLVR weight every token uniformly and ignore the sub-proce…

Agent trajectories record what an agent does and what happens next. Yet standard supervised fine-tuning (SFT) applies lo…

Apertus 1.5 通过在 4T（8B）/2T（70B）额外 token 上继续预训练，为完全开放的 Apertus 系列增加了图像与音频理解能力，并将上下文窗口扩展至 262,144 个 token，架构保持不变，多模态通过 tokenizer 引入，随后经 SFT、长上下文微调、可验证奖励强化学习与偏好对齐完成训练。

Tokenizer 的工作机制：BPE 分词、上下文窗口与计费逻辑

用 LangChain 搭建 RAG 应用的组件拆解与代码实践

从零微调 GPT-2 的完整流程：数据准备、训练与效果评估

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

IT之家 10 月 25 日消息，英伟达已经上市一段时间的 GeForce RTX 30 系列（代号安培，Ampere）显卡，显然还有大量尚未释放的计算潜力。GitHub 用户扎吉塔（Zagitta）开发了一款名为 GPU Unlock 的…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

十年来 AdamW 是大模型训练不容置疑的默认优化器，直到 Kimi K2 用它跑起万亿参数训练。本文从梯度下降的几何直觉讲起，拆解 AdamW 为什么统治了十年、Muon 的正交化更新为什么只需约 52% 的训练算力就能追平 AdamW，以及这轮换血里真正的工程细节与边界。

OpenBMB 的 2B 语音基础模型：把 TTS 流水线里的分词器整个删掉，在连续潜空间端到端建模，一个骨干同时装下 30 语言、9 种中文方言、自然语言造声与三层克隆，48kHz 原生输出、Apache-2.0。本文拆解四阶段管线、FSQ 瓶颈与非对称 AudioVAE，并如实标注 8GB 显存门槛与运行间波动。

Existing vision-language models (VLMs) remain unreliable for fine-grained visual perception. In this report, we present …

We present IQuest-Q1, a sparse Mixture-of-Experts (MoE) agentic foundation model with 320B total parameters (15B activat…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

Fine-grained visual understanding requires distinguishing subtle differences in local attributes and spatial relations, …

★36,402、Apache-2.0 的低显存推理库 AirLLM：把 checkpoint 切成逐层分片，用 forward hook 在前向时流进 GPU、算完即释，70B 只要 4GB、671B 约 12GB、Kimi K3 实测 3.72GB。拆解 meta device + 2GiB pin 上限 + MoE 按专家流式的取舍，以及社区实测 5–35 秒/token 的真实代价。

2026 年 7 至 8 月，月之暗面 Kimi K3（2.8 万亿参数）与阿里 Qwen3.8（2.4 万亿）先后开放权重，开放模型首次站上万亿量级。本文基于官方模型卡核查两个旗舰的架构与成绩单，拆解稀疏 MoE、低精度量化与注意力降本如何让万亿参数可行，同时审视部署门槛、许可证限制与「参数营销」争议——开放的是权重，不是人人可跑的乌托邦。

2024 年 9 月 o1 用「先想一会儿」在 AIME 上打出 83% 对 13%，2025 年 1 月 DeepSeek-R1 把整套方法开源复现，到 2026 年 10 月，推理档位已成各大模型 API 的标准旋钮。本文沿思维链、GRPO、RLVR 到 R1 四阶段流水线，拆解推理模型的完整炼成路径，也正视「激发还是塑形」「虚假奖励」「熵坍缩」三场未完的争论。

Single-image, multi-image, and video deep research require different visual operations but share a workflow of visual gr…

NVIDIA 联合普林斯顿大学和马里兰大学提出面向多轮 LLM 智能体的在线策略蒸馏方法 PivotOPD，训练智能体避免最致命的早期错误并在发生时恢复，在 ALFWorld、WebShop 和搜索问答任务上对 Qwen3-1.7B 与 Qwen3-8B 取得 13 个基线中的最佳平均成绩。

RLHF 要同时养四个模型、跑采样流水线，DPO 只用「好回答与差回答的对数概率比」做二元分类——推导只走三步，训练不用采样、不用奖励模型、不用价值网络。本文拆解 DPO 的完整推导链与全部关键实验，以及 IPO、KTO、SimPO、GRPO 组成的后训练方法论家族谱系。

2024 年 8 月，OpenAI 联合 Princeton 人工过滤出 SWE-bench Verified；2026 年初，还是 OpenAI，宣布不再报告这个基准——审计发现近六成无法稳定解出的题目有测试缺陷，且三大厂商的模型全部被实锤「见过题」。本文按时间线拆解 SWE-bench 从 1.96% 到 80% 的刷分史、scaffold 决定一半分数的评测真相，以及读代码基准分数的正确姿势。

Google 比 OpenAI 早七周发布 Deep Research，但把「研究计划让用户改批」产品化的也是它——agentic 检索的通用循环是：规划、迭代检索、阅读、反思补漏、交叉验证、带引用报告。本文拆解这个循环的两种实现路线（端到端 RL vs 显式编排），用 BrowseComp 上「裸模型不足 10% vs deep research 51.5%」的差距说明多步浏览行为本身值多少分，也把「慢不等于对」的引用可靠性研究摆上台面。

梯度只给方向，学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运；梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择；并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。

小模型学的是大模型的「能力」而非权重：讲清 Hinton 软标签与温度 τ 的暗知识原理、白盒与黑盒两条蒸馏路线、DeepSeek-R1 用 80 万样本蒸出 Qwen/Llama 小模型的成绩，以及学生上限与闭源 ToS 等边界。

微调不是万能钥匙，但适合固定风格、固定格式与领域行话类需求。本文先讲清何时该微调，再用 LoRA 原理加 LlamaFactory 三步实战，带你不改代码微调出自己的模型，并给出常见坑与最小评测法。

论文提出VepAgent框架，将因果转换推理与工具增强强化学习结合用于视频事件预测，并构建了用于微调的futurebench-4K思维链数据集。

Developers can build LLM agents by adapting third-party models through benign post-training. We study a supply-chain thr…

Domain adaptation aims to turn a general-purpose large language model (LLM) into an expert for a target domain. While th…

Agent 工程系统学习第 9 章：评测是把 Agent 开发从手工艺变成工程的分界线。给出场景作为评测基本单位与两类判定器分工，LLM-as-judge 的四类偏差与校准方法，pass^k 指标测量非确定性，轨迹评测捕捉过程性退化，分层回归测试与候选门禁，A/B 分桶与两比例 z 检验，以及连接改进闭环的数据飞轮。

「Agent 工程系统学习」专题导读：一套教材型 AI Agent 工程学习资料的总览。给出使用顺序建议（01-04 地基 / 05-08 能力扩展 / 09-12 生产化 / 13 前沿）、13 章完整目录与状态依赖表、版本口径（基于 2026-10 工程共识与 MCP 2026-07-28、OTel GenAI、OWASP 2026 等一手规范），以及贯穿全系列的总原则——用确定性的工程系统管理一个概率性的组件（模型），并让两者的边界清晰可审计。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

论文以强化学习视角解释在线蒸馏为何既能提升性能也可能坍塌为过长重复的生成：教师隐式奖励学生行为，当隐式奖励与质量错位时会发生奖励劫持。

Many useful language-model tasks cannot be evaluated by exact outcome verification. Rubric-based reinforcement learning …

Biological reasoning models use post-training to connect LLMs to biological foundation model representations and biologi…

Keyword-matching benchmarks can credit small models for tool use they never perform. We document such a false positive i…

Building on nearly a decade of co-engineering, CoreWeave has built NVIDIA compute, networking and software into a cloud …

爱范儿科技早报汇总多条快讯，包括iOS 27.0.1修复iPhone 18 Pro面容ID卡死、AMD以82亿美元收购李飞飞的World Labs、智界RX上市及多款AI模型与硬件新品发布。

H Company has released Holo4, a family of generalist computer-use models for AI agents. One set of weights clicks and ty…

阿里Qwen团队发布Qwen-Audio-3.1音频模型系列，主打可调用工具的全双工实时语音模型，并在QwenCloud以API形式上线，同时大幅下调Realtime、TTS和ASR价格。

Unified multimodal models can both look at and render images, so in principle they can repair their own generations: dia…

Reinforcement learning (RL) for code agents often uses executable tests to provide binary rewards. With these rewards, G…

Perplexity Research published a new post-training study. It trains a model inside Perplexity Computer on real user sessi…

Rufus-Air is an open and reproducible post-training recipe on GLM-4.5-Air-Base (106B-A12B), organized as a serial pipeli…