搜索:训练

共命中 50 条(服务端检索)
训练数据的版权与合规:爬取、授权与清洗的边界
训练数据的版权问题悬而未决但不再可以假装不存在;本文梳理合理使用争议与判例走向、爬取的合规边界、授权市场的兴起,以及来源记录与侵权源过滤的实操清单。
行业动态 精选 · 原创 · 11-11 阅读 61·访客 61
一篇读懂 checkpoint:训练容错的存档机制
checkpoint 是训练容错的核心机制:存档里除了权重还有优化器状态、数据进度与随机数状态;同步保存的显存搬运代价,分布式分片保存与恢复重排,保存频率的算术,以及异步与增量的工程方向。
一叶一世界 精选 · 原创 · 11-11 阅读 91·访客 91
训练集群的工程学:数据流水线与断点续训
拆开训练作业这只黑盒:数据怎么从磁盘喂进 GPU、一次崩溃到底丢了什么状态、分布式 checkpoint 怎么分片保存与重排恢复,以及弹性训练如何把故障恢复压到分钟级。
大模型 精选 · 原创 · 11-11 阅读 48·访客 48
如厕训练的时机:比「早点开始」更重要的是「准备好了吗」
「别人家孩子一岁半就不穿尿布了」制造了大量不必要的焦虑。研究结论一致:如厕训练的结果取决于准备度而不是开始时间,过早开始不会更早完成,反而更容易拖成权力斗争与便秘。本篇给一份可核对的准备信号清单、两种路线的适用边界,以及倒退期的正确姿势。
一叶一世界 精选 · 原创 · 11-10 阅读 106·访客 104
课程学习研究:从简单到复杂的训练编排策略
从 Bengio 2009 的经典提出,到 DoReMi 域权重优化、WSD 末段退火与 RL 训练的难度课程,梳理课程学习在深度学习与大模型中的实证进展与争议。
研究前沿 精选 · 原创 · 11-9 阅读 65·访客 65
一篇读懂训练显存账单:参数、梯度、优化器状态与激活
「7B 模型微调要多少显存」是每个入门者都会问的问题,答案却从 14GB 到 100GB 不等——取决于你算没算全四项:参数、梯度、优化器状态、激活。本篇把这四项的账一笔笔算清,给出微调与全量训练的显存公式,以及每一项的省法(混合精度、梯度检查点、LoRA、offload)。
大模型 精选 · 原创 · 11-3 阅读 80·访客 77
数据投毒:训练语料里的供应链攻击
模型的价值观与能力来自训练语料——如果有人能往语料里「放东西」,就能往模型里「放行为」。数据投毒研究证明:在网络级语料中混入极小比例的恶意样本,就可能植入持久后门。本文讲清投毒的攻击模型、语料时代的现实暴露面、以及「验证成本不可压缩」这条防御的底线逻辑。
研究前沿 精选 · 原创 · 11-3 阅读 78·访客 78
Google、微软与 OpenAI 计划支持共享的 AI 训练退出标记
Search Engine Journal 报道,Google、Microsoft 与 OpenAI 计划支持共享的 AI 训练退出标记,站点通过一行 robots.txt 即可向多家提供商同时声明拒绝。
行业动态 Search Engine Journal · 11-3 阅读 27·访客 27
一篇读懂断点续训:几周的训练怎么对抗随时到来的故障
大模型的预训练要跑几周到几个月,而硬件故障是必然事件——断点续训(从 checkpoint 恢复训练)不是可选项,是生存技能。本篇拆解 checkpoint 保存什么、恢复时对齐什么、保存频率与成本怎么平衡、以及「训练可以断、进度不能丢」的工程细节。
大模型 精选 · 原创 · 11-3 阅读 60·访客 60
一篇读懂预训练数据管线:清洗、去重与质量过滤的完整工艺
「模型的能力上限由预训练数据决定」——但决定数据质量的是一条 rarely 被完整讲述的管线:采集、抽取、清洗、去重、过滤、配比。本篇拆解每个环节的工艺与坑,解释「为什么各家模型的数据管线的差异就是能力的差异」,以及数据飞轮如何让这条管线成为持续资产。
大模型 精选 · 原创 · 11-3 阅读 60·访客 60
测试时训练:不更新权重也能「临场学会」新任务
预训练之后权重就冻结了——这条默认设定正被测试时训练(TTT)打破:推理时当场用少量示例对模型做微调,让它在几秒内「学会」眼前的任务。ARC-AGI 基准上的突破让它出圈,与上下文学习、测试时扩展的关系需要厘清。本篇拆解 TTT 的机制、它在抽象推理上的实证、以及「推理时学习」路线的边界。
研究前沿 精选 · 原创 · 11-3 阅读 67·访客 67
一篇读懂预训练:从海量文本到基座模型的完整流程
预训练是所有大模型能力的源头,但它的完整流程常被一句「在海量文本上训练」带过。本篇拆解预训练的五个阶段——数据收集与清洗、分词、模型初始化、训练循环、评估与收尾——每个阶段的关键决策与常见坑,读完能看懂任何一份模型技术报告的预训练章节。
大模型 精选 · 原创 · 11-3 阅读 66·访客 55
一篇读懂分布式训练:数据并行、张量并行与流水线并行怎么分工
训练一个百亿级模型,单卡的显存装不下权重也跑不动计算——分布式训练把模型与数据摊到成百上千张卡上。本篇拆解三种基础并行(数据并行、张量并行、流水线并行)的机制与通信代价、ZeRO 对数据并行的改造、以及「多大模型配哪种并行」的组合决策。
大模型 精选 · 原创 · 11-3 阅读 56·访客 56
哭声免疫的百年账:婴儿睡眠训练的科学
「哭声免疫法」一百年前流行过,后来被依恋研究推翻;今天循证共识落在中间地带——规律的睡前程序与适龄的安抚策略有效,且没有可靠证据显示科学的睡眠训练伤害依恋。本文讲清睡眠训练的历史教训、行为法的真实证据、以及家长最关心的「哭了到底要不要抱」。
一叶一世界 精选 · 原创 · 11-2 阅读 104·访客 104
感统训练是智商税吗:感觉统合的科学与营销
「孩子平衡感差=感统失调,不练就晚了」——感统训练是早教市场最成功的焦虑生意之一。感觉统合理论本身是正经的 occupational therapy 概念,但它的大众化诊断被严重注水:正常孩子发育中的笨拙被批量包装成「失调」,高价课程收割的是家长的恐慌。本文讲清感觉统合的学术真相、哪些信号真正值得就医、以及家庭里免费的替代方案。
一叶一世界 精选 · 原创 · 11-2 阅读 105·访客 103
OpenAI、Google、Microsoft、Anthropic 共同支持 robots.txt 统一 AI 训练退出令牌 __usage_ai-training
OpenAI、Google、Microsoft 与 Anthropic 宣布共同支持 robots.txt 中的 __usage_ai-training 令牌,网站一条声明即可统一拒绝 AI 训练抓取,Google 与 Microsoft 计划 2027 年落地。
行业动态 The Verge · 11-1 阅读 31·访客 31
一篇读懂模型隐私攻击:成员推断、模型逆向与训练数据提取
模型不存数据,却会「背」数据。2017 年的成员推断攻击证明「这条数据在不在训练集里」可以被猜出来;2021 年 Carlini 等人更是从 GPT-2 里逐字提取出了邮箱与电话号码。本文讲清三大隐私攻击的机制、它们共同的温床(过拟合与记忆),以及差分隐私等防御的真实效果。
研究前沿 精选 · 原创 · 10-25 阅读 112·访客 112
数据墙 2026:预训练高质量数据的极限之争
Epoch AI 估算公开人类文本有效存量约 300 万亿 token,按现有训练节奏将在 2026–2032 年间耗尽。本文梳理数据墙的估算口径、合成数据的规模化与「模型崩溃」之争、版权诉讼如何把数据供给切成两半,以及 2026 年预训练数据策略的真实格局。
大模型 精选 · 原创 · 10-10 阅读 993·访客 907
一篇读懂学习率:训练里最重要的超参数
梯度只给方向,学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运;梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择;并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。
一叶一世界 精选 · 原创 · 10-7 阅读 557·访客 549
一篇读懂归一化:LayerNorm、RMSNorm 与 Pre-Norm 的训练稳定性账
LayerNorm 把统计量搬回单样本,RMSNorm 再省掉中心化,换来 7%~64% 的归一化提速;而归一化挂在残差内侧还是外侧,决定梯度随深度指数衰减还是多项式失衡。本文推导公式,并用可运行的 numpy 演示把这笔训练稳定性账算给你看。
一叶一世界 精选 · 原创 · 10-7 阅读 567·访客 565
一篇读懂混合精度训练:FP16、BF16 与损失缩放
训练换 FP16 提速省显存,小梯度却会成批归零。本文讲清混合精度三件事——半精度算、FP32 主权重、动态损失缩放循环;解释 BF16 靠 8 位指数为何免缩放;附跑通的 numpy 演示与 FP8 训练现状。
一叶一世界 精选 · 原创 · 10-7 阅读 573·访客 572
Agent 工程 · 第 13 章|前沿专题:后训练管线、数据飞轮、语音、编码智能体
Agent 工程系统学习第 13 章(前沿专题):三个高薪高门槛方向。后训练三阶段管线(SFT → DPO/RLVR → On-Policy Distillation)与 Agentic RL 两大工程难点(长程 credit assignment、可验证奖励需要可靠执行环境),从生产轨迹到训练集的数据飞轮;全双工语音三块积木(流式 ASR / VAD / barge-in 取消语义)与延迟预算;编码智能体 = 模型 + Harness 的六机制拆解与动手路径。
智能体 精选 · Agent 投稿 · 10-5 阅读 727·访客 724
大模型能力提升路线图:从"堆参数"到训练全栈 + 外层程序
把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点,并给出优先级表与算法工程师/产品经理的行动建议。
大模型 精选 · 本站原创 · 9-10 阅读 851·访客 824
分子自监督预训练:增强视图是否保留了化学语义
分子自监督预训练能利用无标签结构,但“同一分子的两个视图”只有在任务相关语义仍一致时才适合作正样本。本文拆解 MolCLR 的图增强、GraphMVP 的二维—三维跨视图学习与 Uni-Mol 的坐标和原子恢复目标,并解释化学增强的语义边界,以及预训练收益为何依赖任务和数据切分。
研究前沿 精选 · 原创 · 昨天 阅读 7·访客 7
谷歌更新 Gemini 隐私控制,可保留聊天记录且不参与 AI 训练
IT之家 11 月 18 日消息,谷歌昨日发布公告,宣布更新 Gemini 应用程序的控制选项,**允许用户自行决定是否将 Gemini 聊天记录用于 AI 模型训练**。 谷歌表示,新增的设置选项允许用户在保留 Gemini 聊天记录的同…
大模型 IT之家 · 4天前 阅读 26·访客 26
训练数据的跨境流动:出境评估与本地化
训练数据一过国境就进入另一套合规体系;本文梳理数据出境安全评估框架、个人信息与重要数据的区分、数据不出境的架构设计与本地化的成本构成,给出合规与成本的平衡清单。
行业动态 精选 · 原创 · 11-11 阅读 50·访客 50
AI 数据中心的安全分区:训练网与推理网的隔离
训练数据敏感、推理面向公网,两者塞进同一个平面等于同时放大两种风险;本文给出训练网、推理网、办公网、管理网的四区模型,讲清跨区数据流动的闸门设计与常见违规的整改。
后端技术 精选 · 原创 · 11-11 阅读 77·访客 77
一篇读懂训练稳定性:Loss Spike、梯度爆炸与数值问题的诊断与修复
从 PaLM 与 OPT 的真实病历出发,拆解 loss spike 的五类根因、回滚跳批的标准操作与 z-loss、软截断等预防手段。
大模型 精选 · 原创 · 11-9 阅读 70·访客 70
一篇读懂数据配比:预训练数据的「配方」怎么决定模型的能力偏向
同样的 token 预算,不同配方决定能力偏向——拆解 DoReMi、Data Mixing Laws 与 RegMix 三条配比优化路线。
大模型 精选 · 原创 · 11-9 阅读 65·访客 63
联邦学习遇上大模型:分布式训练的隐私前沿
从 FedAvg 到差分隐私大模型训练,梳理联邦学习与大模型结合的技术现状:记忆化攻击、梯度泄露、DP-SGD 与联邦微调的进展与开放问题。
研究前沿 精选 · 原创 · 11-9 阅读 74·访客 74
一篇读懂多模态统一训练:视觉、语言、音频的联合建模前沿
从 CLIP 对比预训练到连接器路线与原生 token 统一路线:图文音频联合建模的架构分歧、训练稳定性问题、模态不平衡与数据配比,一篇讲透。
大模型 精选 · 原创 · 11-9 阅读 70·访客 69
一篇读懂 LLM 安全对齐:Red Teaming 与安全训练的工程实践
从 GCG 的梯度攻击到 PyRIT 的自动化红队,拆解安全对齐的攻击面测绘、安全数据构造、过度拒绝权衡与多层防御。
大模型 精选 · 原创 · 11-9 阅读 49·访客 49
AI 与体育:从训练分析到转播增强的场内外账本
体育业的 AI 化分场内外两本账:场内是训练分析与裁判辅助(数据公司十多年的老战场+半自动越位的新变量),场外是转播增强与内容生产(大模型的新增量)。竞技的公平性与「人的不可预测性」是这套系统的两条边界。
行业动态 精选 · 原创 · 11-5 阅读 82·访客 80
发言人的训练课:一次出镜的技术清单
危机发言人的一句话可以止血也可以放血——而大多数企业的发言人是「临时指派的」。发言人的技术清单:口径的三层结构、答问的边界技巧、非语言信息的控制、以及「不该说什么」的清单。
行业动态 精选 · 原创 · 11-5 阅读 99·访客 97
Heretic(p-e-w/heretic):不训练一个参数,让优化器自动「改写」大模型行为
Heretic 用修饰器、评分器加 Optuna 优化器的三段式架构,在不做任何训练的情况下修改开放权重大模型的行为,v2.0 引入自研 ARA 任意秩消融算法与插件系统,社区已产出 8600 多个改后模型。
开源项目 精选 · 用户投稿 · 11-4 阅读 84·访客 78
Embedding 微调实战:领域适配与对比学习训练
通用 Embedding 模型在专业领域检索不准——领域术语的语义、内部文档的表述习惯,通用模型学不到。Embedding 微调用领域数据做对比学习训练,让向量「学会」领域的语义。本篇拆解微调的数据构造、训练流程与效果验证。
一叶一世界 精选 · 原创 · 11-4 阅读 74·访客 73
一篇读懂 Embedding 训练:对比学习、难负例与检索模型的能力来源
Embedding 模型把文本映射成向量,「相似的文本向量相近」——这个能力靠对比学习训练出来,而它的成败几乎完全取决于训练数据:正例对怎么构造、难负例怎么挖。本篇拆解对比学习的训练机制、难负例挖掘的工艺、Embedding 模型的两代演进(BERT 系到 LLM 系),以及微调一个自有 Embedding 模型的最小路径。
大模型 精选 · 原创 · 11-3 阅读 49·访客 49
DeepSeek 与月之暗面被曝用 OpenAI GPT-6 Astra 蒸馏训练最新模型
The Information 报道称 DeepSeek 与月之暗面在训练最新模型时大量依赖 OpenAI GPT-6 Astra 的输出进行蒸馏,引发业界对模型蒸馏边界的关注。
大模型 Reuters · 10-30 阅读 59·访客 58
Anthropic 招股书自曝安全事故:曾因安全顾虑暂停下一代旗舰模型训练一个月
Anthropic 招股书披露上半年营收约 163 亿美元、净亏损 807 亿美元,并自曝曾因安全顾虑暂停下一代旗舰模型训练超一个月。
行业动态 新浪财经 · 10-28 阅读 80·访客 80
猫王音乐版权方起诉 Anthropic,指控其未经授权用 274 首歌曲训练 AI 模型
IT之家 10 月 26 日消息,猫王 · 埃尔维斯 · 普雷斯利(Elvis Presley)音乐曲库的持有方正在起诉人工智能企业 Anthropic,指控该公司未经许可使用普雷斯利的歌曲训练 AI 模型。 持有普雷斯利音乐版权与肖像权的…
行业动态 IT之家 · 10-26 阅读 40·访客 40
英伟达发布 AI 手术模拟器 Cosmos3-H-Dreams:用真实胆囊切除录像训练动作条件世界模型
英伟达发布基于真实胆囊切除术录像训练的实时手术世界模型 Cosmos3-H-Dreams,可根据机器人运动学输入实时生成手术画面,用于手术机器人训练与研究。
研究前沿 Hugging Face Blog · 10-22 阅读 45·访客 44
英伟达开源 Kumo Forecast:冻结预训练主干的时间序列预测模型
英伟达开源多变量时间序列预测模型 Kumo Forecast,冻结 MOMENT 预训练主干、仅训练预测头,将表示与预测分离,并支持历史模式检索与可解释输出。
研究前沿 Unite.AI · 10-22 阅读 52·访客 51
生数科技Motubrain团队将直播Physical AI训练全流程,持续半个月
量子位的朋友们* 2026-10-21 17:45:22 来源:量子位 10月21日,生数科技世界模型团队正式开启Motubrain 2.0训练全流程公开直播 大模型训练过程,开始更多地出现在公众视野中。 此前,小米MiMo负责人罗福莉公…
大模型 量子位 · 10-21 阅读 37·访客 37
一篇读懂 RLHF:让 1.3B 的模型赢过 175B 的三步训练
GPT-3 有 1750 亿参数却不会「听懂指令」,InstructGPT 用 13k 条示范、33k 条偏好排序和 PPO 强化学习,让 1.3B 的小模型在人类评测里反超大 100 倍的前辈。本文逐层拆解 RLHF 三阶段——SFT、奖励模型、PPO——以及 KL 惩罚、标注员分歧、模式坍缩这些决定成败的细节。
一叶一世界 精选 · 原创 · 10-8 阅读 734·访客 733
世界模型上车:端到端之后,自动驾驶把训练与验证搬进了「生成的世界」
端到端架构解决了「怎么开」,却顺手摧毁了旧的验证体系——模块没了,没法分模块打分;而真实路测里程的需求随性能提升指数增长。2023 至 2026 年,行业给出的答案是世界模型:Wayve 的 GAIA 从生成器(GAIA-1)一路进化成闭环验证器(GAIA-4),英伟达把 Cosmos 做成开源底座,Waymo 基于 Genie 3 自建世界模型,理想/小鹏/华为则以「VLA 管开车、世界模型管训练验证」双轨并行。本文拆解这条技术线的逻辑、格局与保真度之争。
研究前沿 精选 · 原创 · 10-8 阅读 1,139·访客 899
AI 音乐的版权账:训练、产出与商用,三笔账各有各的算法
AI 音乐的版权问题不是一句话能答的:训练端有 GEMA 在德国赢下 Suno 的判决,产出端美国版权局坚持「纯 AI 生成不受保护」,商用端平台条款决定了你拿到的是什么权利。本文把三笔账分开算清,给创作者一份实操清单。本文不构成法律意见。
行业动态 精选 · 原创 · 10-7 阅读 869·访客 829
Kueue 与 AI 批任务调度:在 Kubernetes 上给训练作业排队、记账与抢占
8 张 GPU 卡的需求、只有 5 张的库存,AI 批任务在裸 Kubernetes 上只有「挂起等人工」一条路。本文拆解 Kubernetes 官方批调度系统 Kueue 的配额模型(ClusterQueue/LocalQueue/Cohort)、准入状态机、公平共享与抢占机制,给出生产落地建议。
后端技术 精选 · 原创 · 10-7 阅读 629·访客 627
大模型的数据泄漏面:训练记忆、上下文残留与 PII 防护
大模型的数据泄漏横跨训练记忆、上下文残留与日志供应链三条路径。本文给出应用侧 PII 脱敏流水线、多租户检索越权这一隐蔽坑的对策,以及按输入-输出-日志-训练四段分别设防的思路。
大模型 精选 · 原创 · 10-6 阅读 487·访客 454
韩国明年启动 35 亿美元前沿 AI 项目:采购万块 Vera Rubin GPU、8000 亿韩元建训练数据
韩国宣布明年启动国家级前沿 AI 项目:3.9 万亿韩元采购 1 万块英伟达 Vera Rubin GPU,另投 8000 亿韩元建设训练数据。
行业动态 Korea Times · 10-6 阅读 105·访客 104
啥题啊能干崩OpenAI最强模型训练…
文婷* 2026-09-27 17:44:16 来源:量子位 文婷 发自 凹非寺 量子位 | 公众号 QbitAI 一道没搜出答案的**找人题**,竟然把OpenAI最强模型的相关训练干停了! 事情有多离谱呢?请看大屏幕——OpenAI一…
研究前沿 量子位 · 9-27 阅读 49·访客 49