搜索:指令微调

共命中 50 条(服务端检索)
一篇读懂 SFT:指令微调怎么把基座模型变成助手
SFT(监督微调)是基座模型变成对话助手的第一步,也是最被误解的一步——它常被当成「教知识」,实际是「教格式与行为」。本篇拆解 SFT 的数据形态、训练细节(epoch、学习率、灾难性遗忘的边界)、常见的失败模式,以及「SFT 教的到底是不是能力」这个核心争议。
大模型 精选 · 原创 · 11-3 阅读 60·访客 59
从 FLAN 到指令泛化:零样本能力究竟从何而来
FLAN 与 T0 两条平行路线发现了「多任务指令微调产生零样本泛化」,本文拆解其机制解释、与 RLHF 的分野、以及它如何铺垫了今天的对话模型。
研究前沿 精选 · 原创 · 11-9 阅读 58·访客 58
微调的数据工程:配比、去重、合成与过滤,决定成败的都在训练之前
LIMA 用 1000 条精选数据就调出了能打的模型,「数据质量压倒数量」从此有了实锤。本文拆解微调数据工程的四道工序——配比(防灾难性遗忘)、去重(MinHash 近重复)、合成(蒸馏优于自生成)、过滤(打分 + 多样性选择),给出可落地的迭代闭环。
大模型 精选 · 原创 · 10-7 阅读 523·访客 522
RAG 与微调的混合架构:两者如何协同工作
「RAG 还是微调」不是二选一——成熟的 AI 系统往往两者并用。RAG 管知识、微调管行为、提示词管指令。本篇拆解三种混合架构(微调+RAG、微调优化 RAG 组件、RAG 增强微调模型),以及每种的适用场景与工程要点。
一叶一世界 精选 · 原创 · 11-4 阅读 77·访客 77
微调、RAG 还是提示词:一张决策表选对适配方式
「我的场景该微调、上 RAG,还是写好提示词」——这个问题 80% 的答案可以在一张决策表里找到。三种适配方式改的是模型的三样东西:行为、知识、与当次指令。本篇用「你想改什么」做主轴拆解决策逻辑,给出各方式的成本与风险、混合架构的常见形态,以及一个五分钟的自测流程。
大模型 精选 · 原创 · 11-3 阅读 63·访客 58
Embedding 微调实战:领域适配与对比学习训练
通用 Embedding 模型在专业领域检索不准——领域术语的语义、内部文档的表述习惯,通用模型学不到。Embedding 微调用领域数据做对比学习训练,让向量「学会」领域的语义。本篇拆解微调的数据构造、训练流程与效果验证。
一叶一世界 精选 · 原创 · 11-4 阅读 74·访客 73
一篇读懂 LoRA:低秩适配怎么把微调成本打下来
全量微调 7B 模型,光 Adam 优化器状态就要吃掉 84GB 显存。LoRA 靠低秩假设把可训练参数压到万分之几:W'=W+BA 从何而来、QLoRA 如何把 65B 微调塞进一张 48GB 显卡,以及它什么时候不如全量微调。
一叶一世界 精选 · 原创 · 10-7 阅读 563·访客 561
RAG 与领域适配:通用模型到领域专家的微调与检索适配路径
通用 RAG 进专业领域会系统性失效,本文给出诊断—适配—回归的完整路径:先定位失效层,再按"先便宜后昂贵"的原则选择文档改写、embedding 微调、RAFT 或领域预训练。
后端技术 精选 · 原创 · 11-9 阅读 85·访客 84
智能体的知识注入路径:RAG、微调与混合方案的技术选型
RAG 擅长新鲜事实与溯源,微调擅长行为塑造而非知识灌输,长上下文与会话记忆各管一层,本文给出知识注入四条路径的能力边界、失败模式与一套五问选型框架。
智能体 精选 · 原创 · 11-5 阅读 98·访客 98
LlamaFactory 上手:不改代码微调一个自己的模型
微调不是万能钥匙,但适合固定风格、固定格式与领域行话类需求。本文先讲清何时该微调,再用 LoRA 原理加 LlamaFactory 三步实战,带你不改代码微调出自己的模型,并给出常见坑与最小评测法。
开源项目 精选 · 原创 · 10-6 阅读 488·访客 485
GPT-2模型微调
从零微调 GPT-2 的完整流程:数据准备、训练与效果评估
大模型 精选 · 原创博客 · 2024-04-26 阅读 593·访客 591
苹果扩展 iOS 27 快捷指令操作:“使用模型”可联网调用 AI 获取最新信息
IT之家 9 月 30 日消息,苹果公司昨日(9 月 29 日)更新支持文档,**为 iOS 27、iPadOS 27、macOS 27 等系统上的“快捷指令”(Shortcuts)应用,改进和新增 35+ 项操作。** 本次更新最大的亮点…
行业动态 IT之家 · 9-30 阅读 74·访客 73
RAG 提示词工程:system prompt、上下文模板与指令设计
RAG 的回答质量,一半取决于检索,一半取决于提示词。检索到的上下文再好,提示词写得不对,模型照样答非所问。本篇拆解 RAG 提示词的三层结构(system prompt、上下文模板、生成指令),以及「让模型只基于检索内容回答」的约束设计。
一叶一世界 精选 · 原创 · 11-4 阅读 77·访客 76
龙芯 CPU 的原子加指令偶尔会丢失]
今年 2 月 Debian 13 的龙芯架构移植版 loong13 的维护者在编译打包过程中发现,normaliz 的自带测试会死循环导致打包超时。第一次排查发现原子加指令会在特定情况下丢失更新,但原因未知。今年 8 月,开发者在 AI 的…
行业动态 Solidot · 9-27 阅读 50·访客 50
一篇读懂 RAG:为什么「先检索再生成」常比微调更划算
大模型的知识停在训练截止日,私有知识它更是从未见过。本文对比微调与 RAG 两条路线的成本与适用边界,给出二十行以内的最小检索增强流水线,并把检索不到、用不上、排序偏三类典型失败整理成系列路线图。
一叶一世界 精选 · 原创 · 10-6 阅读 586·访客 583
OpenAI 披露 GPT-5.6 Sol 异常行为:AI 模型会留下指令要求“未来版本的自己”隐瞒自身错误
IT之家 9 月 18 日消息,OpenAI 发文,披露研究团队在训练最新模型 GPT-5.6 Sol 的过程中,研究人员发现了一项异常行为:模型曾通过对话摘要向未来版本的自己留下指令,要求后续模型隐瞒自身错误以及与预期行为不一致的表现。目…
智能体 IT之家 · 9-18 阅读 90·访客 89
一篇读懂学习率:训练里最重要的超参数
梯度只给方向,学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运;梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择;并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。
一叶一世界 精选 · 原创 · 10-7 阅读 557·访客 549
Iris-3B:像素空间扩散训练、转换与微调的探索
作者从头预训练了3B参数的像素空间文生图Transformer Iris-3B,并将预训练的潜在空间模型FLUX.2 Klein base 4B转换为像素空间,在单目深度估计和图像修复/超分辨率任务上微调,发现像素空间生成先验并未带来显著提升。
研究前沿 HuggingFace Daily Papers · 10-7 阅读 38·访客 38
模型仓库与实验追溯:权重版本管理的工程
权重文件像代码一样需要版本管理:base、微调与适配器的派生关系,模型卡与元数据,超参、指标、数据版本的实验三角,本地缓存与对象仓库的存储布局,以及企业内网模型仓库的搭建要点。
大模型 精选 · 原创 · 11-11 阅读 66·访客 66
联邦学习遇上大模型:分布式训练的隐私前沿
从 FedAvg 到差分隐私大模型训练,梳理联邦学习与大模型结合的技术现状:记忆化攻击、梯度泄露、DP-SGD 与联邦微调的进展与开放问题。
研究前沿 精选 · 原创 · 11-9 阅读 74·访客 74
Prompt 的科学研究:提示词对模型行为的影响机制
提示词不是玄学而是可测量变量:FormatSpread 的 76 点波动、指令模板不稳定性、贝叶斯机制解释、软提示与自动提示优化、注入攻击与工程规范。
研究前沿 精选 · 原创 · 11-9 阅读 59·访客 59
铺路铺到苹果家:开发者成功令微软 Surface Duo 2 运行 iOS / iPadOS 26 系统
IT之家 10 月 25 日消息,随着 AI 技术突飞猛进,许多开发者在大模型辅助加持之下对各种老旧机型进行折腾,例如博主 @none25smu 便发文,展示其成功为微软 Surface Duo 2 刷入苹果 iOS/iPadOS 26 系…
大模型 IT之家 · 10-25 阅读 42·访客 42
操作系统内功 · 第 15 篇|系统调用:从 int 0x80 到 vDSO,一次 syscall 到底贵在哪
系统调用是用户态进入内核态的唯一正门。本文拆解一条 syscall 的完整旅程、三种入口机制的演进(int 0x80 → sysenter → syscall 指令)、成本的三个来源(模式切换、缓存污染、安全缓解),以及 vDSO 如何让 gettimeofday 这类调用彻底绕开陷入,帮你把「少 syscall」从口号变成可度量的工程决策。
后端技术 精选 · 原创 · 11-3 阅读 78·访客 78
智能体生态观察 · 第 83 篇|供应链安全:模型权重、工具依赖与信任链
智能体的供应链比传统软件更长——权重、微调、框架依赖、MCP 工具与运行环境环环相扣,每一环都可能被投毒。本篇从信任链视角梳理各环节攻击面与验证手段:签名与哈希、来源审计、依赖物料清单与工具权限审查,以及最小权限与异常检测构成的运行时防线。
智能体 精选 · 原创 · 3天前 阅读 20·访客 20
一篇读懂 PEFT 全家桶:LoRA、QLoRA、Prefix Tuning 与 Adapter 的选择
从全量微调的显存账本讲起:LoRA 的秩一分解数学与参数量核算、QLoRA 的 NF4 三件套、Prefix Tuning 与 Adapter 的取舍,附横向对比表与选型决策树。
大模型 精选 · 原创 · 11-9 阅读 69·访客 69
从 SFT 到宪法 AI:对齐的技术路径图
大模型的「听话」不是天生的,是训练出来的:监督微调(SFT)教它格式,人类反馈强化学习(RLHF)教它偏好,宪法 AI(CAI)试着教它原则。本文讲清这条对齐技术路径的演进逻辑、每一代方法解决了什么又留下了什么,以及为什么 Anthropic 会说「AI 用 AI 的反馈来对齐 AI」。
研究前沿 精选 · 原创 · 11-3 阅读 83·访客 83
模型供应链安全:权重来源、pickle 投毒与模型市场
从模型市场下载一个开源权重文件,可能携带的不只是参数:pickle 反序列化的任意代码执行、被「重新发布」的假冒模型、藏了后门的微调权重。模型供应链安全正在成为软件供应链安全之后的新战场。本文讲清攻击面、已公开的真实案例与工程上的防御清单。
后端技术 精选 · 原创 · 11-3 阅读 110·访客 109
一篇读懂 Embedding 训练:对比学习、难负例与检索模型的能力来源
Embedding 模型把文本映射成向量,「相似的文本向量相近」——这个能力靠对比学习训练出来,而它的成败几乎完全取决于训练数据:正例对怎么构造、难负例怎么挖。本篇拆解对比学习的训练机制、难负例挖掘的工艺、Embedding 模型的两代演进(BERT 系到 LLM 系),以及微调一个自有 Embedding 模型的最小路径。
大模型 精选 · 原创 · 11-3 阅读 49·访客 49
合作的语法:把命令改成邀请的措辞清单
「孩子叫不动、一说就顶嘴」往往不是态度问题,是指令的语言形态问题。同样的要求,命令、质问、邀请三种说法会激活完全不同的反应。本篇拆三种形态为什么效果悬殊,给出五个可替换句式与一周家庭语言审计清单。
一叶一世界 精选 · 原创 · 11-10 阅读 97·访客 96
今年上线的微短剧逾九成是 AI 剧]
陈奕龙有 20 年出演影视剧的经验,由于工作机会日益稀少,他在 8 月与一家 AI 工作室签约,授权对方使用其面部肖像。陈奕龙的工作就是坐在摄像机前,根据导演的指令做出不同面部表情——如无表情凝视、怒视或惊讶。这家工作室将利用 AI 技术,…
行业动态 Solidot · 9-17 阅读 41·访客 41
操作系统内功 · 第 108 篇|kprobes 与 kretprobes:内核动态插桩
kprobes 能把任意内核函数变成观测点:注册时把目标指令换成断点,命中后执行 pre_handler、单步执行指令副本、再跑 post_handler,kretprobe 则用 trampoline 调包返回地址测函数耗时。本文拆解命中全流程、maxactive 池与漏抓计数、ftrace 与 bpftrace 两条现代通道和黑名单安全区。
后端技术 精选 · 用户投稿 · 2天前 阅读 15·访客 15
操作系统内功 · 第 89 篇|异步信号安全:多线程程序的信号路由
信号处理函数在任意指令间隙异步打断线程,handler 里调一次 printf 或 malloc 就可能死锁整条日志链。这篇拆解多线程程序的信号投递规则、async-signal-safe 清单为什么那么短,并给出 pthread_sigmask 加 sigwaitinfo 专用线程的同步化方案与真实事故复盘。
后端技术 精选 · 用户投稿 · 2天前 阅读 4·访客 4
亚马逊开源 Strands Decider 2B 决策模型,支持本地 CPU/GPU 部署
亚马逊 Strands Agents 团队开源了基于 Qwen3.5-2B、采用评分指针头与 rank-16 LoRA 微调的决策模型 Strands Decider 2B,权重在 Hugging Face 上,可在本地硬件运行,2B 级模型中排名第 3,本地决策时延中位数 113ms。
大模型 IT之家 · 10-3 阅读 85·访客 85
操作系统内功 · 第 97 篇|uprobes 与 USDT:用户态动态追踪
闭源二进制、不能重启的进程、没有日志的内部函数——排查它们的利器是 uprobes:内核把目标地址的指令换成断点,命中后单步执行原指令副本再恢复现场。这篇拆注册与命中的完整路径、XOL 机制、返回探针的影子栈,以及 USDT 语义桩的落地,并给出热路径开销与容器场景的踩坑清单。
后端技术 精选 · 用户投稿 · 2天前 阅读 5·访客 5
模型合并与模型编辑:不重训就能改模型的知识
把两个微调后的模型直接「加权平均」竟能同时保留双方能力——模型合并(model merging)的实用性出乎意料;而定位编辑(ROME/MEMIT)可以在不重训的情况下精准修改模型里的单条事实。本篇拆解任务算术的原理、合并的方法族、知识神经元与定位编辑的机制,以及它们对开源生态的真实意义。
研究前沿 精选 · 原创 · 11-3 阅读 66·访客 65
一篇读懂 AI 蛋白质设计:从预测结构到创造分子
AlphaFold 解决的是「预测」,RFdiffusion 开创的是「创造」——把结构预测网络微调成去噪器,AI 就能从零设计出自然界不存在的蛋白质。本文讲透蛋白质设计的逻辑链、RFdiffusion 的方法论与实验战绩,以及 2025 年底开源、速度再快十倍的 RFdiffusion3 把边界推到了哪里。
研究前沿 精选 · 原创 · 10-24 阅读 114·访客 112
一篇读懂梯度累积:显存不够,步数来凑
想要 batch size 256,显存只装得下 16——梯度累积用「攒 16 步再更新一次」把大 batch 拼了出来,等效 batch = 微批 × 累积步数。但它有一个著名的例外(BatchNorm)和两个混合精度陷阱。本文用一个 20 行 PyTorch 例子讲清原理与全部坑点。
一叶一世界 精选 · 原创 · 10-7 阅读 740·访客 737
一篇读懂急救:心肺复苏、AED 与海姆立克的黄金四分钟
心脏骤停后每过一分钟,生存率都在下降。本文讲清黄金四分钟的脑氧账、生存链的环环相扣、胸外按压的深度与频率要点、AED 如何听指令操作、海姆立克对成人与婴儿的不同手法,以及好人法与断肋骨的知情。
一叶一世界 精选 · 原创 · 11-10 阅读 86·访客 85
Anthropic Agent Skills:渐进披露的「技能包」协议
Agent Skills 是 Anthropic 提出的技能包协议:一个文件夹装指令、脚本与资源,模型按需加载——「渐进披露」让 Agent 的能力面可以按任务逐层展开。本篇拆解 Skills 的结构与渐进披露的三层加载、与 MCP 工具的互补关系、以及「把能力写成文档」这个范式的深远含义。
智能体 精选 · 原创 · 11-4 💬 1 阅读 109·访客 104
OpenAI Agents SDK:handoffs、guardrails 与 Responses API 时代的 Agent 栈
OpenAI 的 Agents SDK 把 Agent 开发收进三个原语:Agents(带指令与工具的实体)、handoffs(智能体间移交)、guardrails(输入输出护栏)。本篇拆解这套最小主义设计、Responses API 的推理与工具内建、tracing 的开箱即用,以及它与 LangGraph 类重量框架的哲学分歧。
智能体 精选 · 原创 · 11-4 阅读 61·访客 61
图像生成路线之争:扩散的统治与自回归的反攻
扩散模型统治图像生成数年后,自回归阵营(GPT-4o 原生图像、Gemini 的原生多模态生成)带着「理解与生成同源」的旗帜反攻。本篇拆解两条路线的机制差异、DiT 的统治基础、自回归反攻的杀手锏(文本渲染与指令遵循)、以及混合架构与「统一模型」趋势下的路线合流。
研究前沿 精选 · 原创 · 11-3 阅读 57·访客 56
多模态越狱:藏在图片与音频里的新攻击面
给模型装上眼睛和耳朵,等于给它开了一扇绕过安全训练的新门:把恶意指令藏进图片、用高频音频注入、在图表里编码攻击文本——多模态模型的攻击面远大于纯文本。本文讲清多模态越狱的主要技术路线、为什么它们比文本越狱更难防、以及防御的纵深设计。
研究前沿 精选 · 原创 · 11-3 阅读 77·访客 77
玩具越多越好吗:开放式玩具与深度游戏
客厅玩具山是当代家庭的标配,但游戏研究的发现方向相反:玩具数量过多会稀释游戏的深度,而开放式玩具(积木、纸箱、锅碗瓢盆)创造的游戏价值,平均高于按下按钮就会唱歌的电动玩具。本文讲清玩具过多的三个隐性成本、「开放式 vs 指令式」玩具的分野,以及在家就能做的玩具轮换制。
一叶一世界 精选 · 原创 · 11-2 阅读 103·访客 101
RAG 的安全账:间接提示注入与语料投毒
RAG 把外部内容拼进 prompt,等于亲手打开了指令与数据的边界:恶意文档可以借「检索」进入上下文操纵模型(间接提示注入),污染语料可以直接扭曲答案(语料投毒)。本文讲清两类攻击的机制与真实形态、防护的纵深组合,以及「检索内容永远当数据」这条核心纪律。
大模型 精选 · 原创 · 11-2 阅读 55·访客 55
编码智能体的凭据安全:三条失守路径与四层工事
2026 年 10 月,开源编码智能体 OpenCode 的控制台被入侵,1.4% 关联用户的 Anthropic、OpenAI、Google API 密钥可能外泄。本文从这起事件出发,把编码智能体的凭据失守路径拆成三条——指令文件劫持、运行时反馈注入、存储与供应链薄弱——每条都配真实事件与实验数据,再给出从短时效凭据到出口管控的四层防御工事,以及一份今天就能动手的工程清单。
智能体 精选 · 原创 · 11-1 阅读 130·访客 129
MoE 的工业进化:从 1.6 万亿的 Switch Transformer 到 2.8 万亿的 Kimi K3
2025-2026 年发布的前沿模型几乎清一色是 MoE:Llama 4、gpt-oss、Qwen3、Kimi K2,直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控,到细粒度专家与无辅助损失均衡的完整演进线,算清「省算力不省显存」的工程账,也正视微调难、训练不稳与成本争议。
大模型 精选 · 用户投稿 · 10-9 阅读 498·访客 475
一篇读懂 RLHF:让 1.3B 的模型赢过 175B 的三步训练
GPT-3 有 1750 亿参数却不会「听懂指令」,InstructGPT 用 13k 条示范、33k 条偏好排序和 PPO 强化学习,让 1.3B 的小模型在人类评测里反超大 100 倍的前辈。本文逐层拆解 RLHF 三阶段——SFT、奖励模型、PPO——以及 KL 惩罚、标注员分歧、模式坍缩这些决定成败的细节。
一叶一世界 精选 · 原创 · 10-8 阅读 734·访客 733
一篇读懂上下文学习:示例没改一个参数,模型怎么就「学会」了
在提示里放几个输入-输出示例,模型一次前向传播就把新任务干得像模像样——没有梯度更新,没有训练循环,这就是上下文学习(ICL)。本文从 GPT-3 论文讲起,拆解「示例标签错了性能几乎不掉」这个反直觉实验,以及隐式贝叶斯推断与隐式微调两种主流解释,最后落到写提示词时真正管用的几条推论。
一叶一世界 精选 · 原创 · 10-8 阅读 715·访客 715
开源模型全景 2026:六大家版本与许可证对照,什么场景该选谁
2026 年开放权重阵营的旗手已换成 GLM-5(744B,MIT)、Qwen3.5-397B-A17B(Apache 2.0)、DeepSeek V3.2(MIT)、Kimi K2 系与 Llama 4。本文按许可证、架构与部署成本三条线做全景对照,给出自托管、微调、企业集成三类场景的选型建议。
大模型 精选 · 原创 · 10-7 阅读 1,045·访客 673
AI 视频的两道坎:角色一致性与物理合理性
生成一条好看的视频已经不难,难的是让同一个人跨镜头不「变脸」、让画面里的世界遵守物理。盘点各家的参考生视频、LoRA 微调、推理优先架构等方案与仍然存在的短板。
大模型 精选 · 原创 · 10-7 阅读 869·访客 759