搜索:DoReMi

共命中 2 条(服务端检索)
一篇读懂数据配比:预训练数据的「配方」怎么决定模型的能力偏向
同样的 token 预算,不同配方决定能力偏向——拆解 DoReMi、Data Mixing Laws 与 RegMix 三条配比优化路线。
大模型 精选 · 原创 · 今天 阅读 2·访客 2
课程学习研究:从简单到复杂的训练编排策略
从 Bengio 2009 的经典提出,到 DoReMi 域权重优化、WSD 末段退火与 RL 训练的难度课程,梳理课程学习在深度学习与大模型中的实证进展与争议。
研究前沿 精选 · 原创 · 今天 阅读 3·访客 3