Prompt 的科学研究：提示词对模型行为的影响机制

提示词是大模型唯一的运行时编程接口，但直到 2023 年之前，提示词工程主要靠社区经验与玄学传播。此后两年，学术界把它当作可测量的实验变量系统化了：Stanford 的 FormatSpread 量化了格式变化的性能波动幅度，「State of What Art?」揭示了指令模板导致的评测不可比，贝叶斯视角与归纳头研究给出了机制解释，软提示与自动提示优化把提示词变成可优化的参数，提示注入研究则把它变成了安全议题。本文从测量、机制、优化、安全四个层次梳理这条研究线，回答一个工程上最关心的问题：提示词到底在多大程度上、以何种机制、可以怎样系统地影响模型行为。

一、敏感性的系统测量：波动到底有多大

FormatSpread：格式是隐藏的高方差变量

Stanford 的「Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting」（Sclar et al.，ICLR 2024）给出了这条线上被引用最多的数字：仅改变提示中的无关格式细节——分隔符、大小写、空格——在 LLaMA-2 等开源模型上引起最大约 76 个百分点的准确率波动，而且模型间的最优格式互不迁移，排名都不稳定。GPT-3.5 与 GPT-4 的波动收窄到一个百分点级，但仍显著大于随机噪声。这项工作的方法论贡献同样重要：FormatSpread 工具可以在单一任务上用十几个格式变体快速估计性能敏感度，把「这条提示到底稳不稳」从感觉变成测量。对评测研究的直接推论是：只报告单一提示模板的分数，其可信度有限，任何小数点后两位的领先都可能是格式噪声。

指令模板、选项顺序与校准

Allen AI 与 Tel Aviv University 等机构的「State of What Art? A Call for Multi-Prompt LLM Evaluation」（Mizrahi et al.，TACL 2024）把测量扩展到指令层面：在 65 个任务上收集约 6500 条指令变体（同义改写、句式调整），发现指令模板间的性能差异巨大，且模板排名在不同模型间不稳定——在一个模型上最优的指令，换一个模型可能跌到中游。论文据此主张：任何「刷新 SOTA」的声明都应聚合多个模板报告分布而非单点。同类发现遍布各个角落：Pezeshkpour 与 Hruschka（2023）测量了选择题选项顺序的影响，部分模型在 MMLU 类任务上因答案排序产生最多约 13 个百分点的波动，且存在对特定选项位置的系统性偏好。配套的解法来自更早的「Calibrate Before Use」（Zhao et al.，ICML 2021）：用「内容无关测试」（把问题替换为 N/A）估计模型对每个选项的先验偏好，再做概率校准，在 GPT-3 上最多修正约 30 个百分点的偏差，显著降低了对选项顺序与标签分布的敏感性。这三项工作合起来构成了一条评测纪律：多模板、多顺序、带校准的报告，才是可信的模型比较。

flowchart TD
    A["任务定义"] --> B["提示变量分解<br/>指令 / 格式 / 选项顺序 / few-shot"]
    B --> C["变体生成<br/>同义改写 × 格式扰动"]
    C --> D["批量评测<br/>多模板多顺序"]
    D --> E["统计聚合<br/>均值 + 波动区间"]
    E --> F{敏感性是否可接受}
    F -->|"否"| G["校准与规范化<br/>内容无关校准 / 固定模板"]
    G --> H["部署版本化提示<br/>回归测试集"]
    F -->|"是"| H
    I["自动优化<br/>APE / OPRO / DSPy"] -.候选模板.-> C

二、机制解释：提示词为什么有效

贝叶斯视角与归纳头

机制解释目前有两条互补的路线。第一条是统计视角：Stanford 的 Xie et al.（2021）「An Explainability Perspective on In-Context Learning」把上下文学习形式化为隐变量贝叶斯推断——模型把示例序列视为某个潜在任务概念生成的样本，在概念空间上做后验推断，提示的前几个示例就是后验更新的证据。这个框架解释了两个经验现象：示例顺序与格式影响推断的收敛速度（格式是「先验」的一部分）；当示例自相矛盾时模型退化为先验行为（这也解释了为何格式扰动在小模型上波动巨大——后验推断能力弱，行为被先验与表面统计主导）。第二条是电路视角：Anthropic 的归纳头研究（Olsson et al.，Transformer Circuits 2022）发现了完成上下文复制的最小回路——一个头在前缀中找重复模式、另一个头据此补全，few-shot 示例本质上是通过归纳头建立了「按示例模式继续」的吸引子。两条路线合起来给了一个工程直觉：提示里的每个格式元素都在「投票」，高方差的模型把票投给了表面统计，强模型则更多投给语义。

训练分布与聊天模板的隐性影响

第三层解释来自训练侧：提示元素的效力很大程度上是训练分布的伪影。换行、空格、句首大写影响 tokenization 边界，进而改变表示；角色标签（system/user/assistant）的效力取决于聊天模板在指令微调中的覆盖强度；「请一步步思考」之所以普遍有效，是因为 RLHF 与指令数据中大量高奖励轨迹都带有这种前缀。这条解释路线的实用推论是：提示技巧有强烈的模型代际依赖性——对一个模型家族有效的咒语，在下一代模型上可能衰减甚至反转，因为训练分布变了。这也是「提示词版本管理必须绑定具体模型版本」这条工程规范的理论依据。

三、把提示变成可优化的对象

软提示与自动提示优化

第一条优化路线是把提示变成连续参数。Google 的 prompt tuning（Lester et al.，EMNLP 2021）在输入前挂一段可训练的连续向量（软提示），冻结模型其余部分只训这段向量：在 T5-XXL（11B）上，软提示在 SuperGLUE 上追平了全参数微调（差距小于 1 分），但在 770M 模型上落后 10 分以上——软提示的效力随规模增长，这个「规模门槛」与上下文学习的规模效应同构。第二条路线是让 LLM 自己写提示。APE（Zhou et al.，ICLR 2022）用「生成-执行-筛选」循环自动搜索指令，在 52 个任务中的 24 个上超过人工标签；DeepMind 的 OPRO（Yang et al.，NeurIPS 2024）把「优化」本身交给 LLM：把历史提示与其得分作为轨迹喂给模型，让它提出新候选——搜索出的指令「深呼吸，一步步解题」把 PaLM 2-L 的 GSM8K 从 71.3% 提到 80.2%。Stanford 的 DSPy（Khattab et al.，2023）则把这条路线工程化为框架：声明式定义流水线，编译器自动为每个模块搜索提示与 few-shot 组合，把「手写咒语」升级为「编译提示」。需要保持警惕的是过拟合风险：所有自动优化都以评测集为奖励信号，在评测集与部署分布不一致时，优化出的提示是评测特化的，跨分布验证是不可省略的环节。

few-shot 示例的选择与顺序

示例本身的编排是提示变量里研究最充分的一块。Liu et al.（EMNLP 2021）的 KATE 方案用句向量检索与当前输入语义最近的示例替换随机选例，在多个分类任务上带来个位数到十位数不等的准确率提升，且对标注池大小的鲁棒性更好——few-shot 示例因此从「人工挑几个」变成「按相似度检索」，这实际上是检索增强思想在提示层的最早应用。顺序的效应同样实锤：Lu et al.（ACL 2022）的「Fantastically Ordered Prompts」发现同一组示例的排列顺序能让部分任务的成绩在接近随机的区间里大幅波动，且这种顺序敏感性随模型规模增长而非下降——意味着更大模型并没有对示例顺序免疫。工程上的对策已经收敛：示例按语义相似度检索加固定顺序输出，并把示例组合纳入回归测试范围。

四、安全面：提示注入与工程规范

间接提示注入：没有原则性解法的攻击

Greshake et al.（2023，Saarland 大学等）的「Not What You've Signed Up For: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection」系统定义了这一攻击类：恶意指令藏在 LLM 会读取的外部内容里（网页、邮件、PDF），模型无法从语法上区分「用户指令」与「数据中的指令」，攻击者可以借此劫持智能体执行信息外传、错误操作等行为。论文的核心论断至今大体成立：纯提示层面没有原则性防御。2024 到 2025 年的缓解手段分两层：工程层（内容与指令用结构性分隔、不可信内容标记化处理、输出侧权限最小化）与训练层（OpenAI 在 GPT-4o 时代引入指令层级训练，让模型优先服从 system 与 user 层级，公开评测显示攻击成功率显著下降但未清零）。OWASP 的 LLM 应用十大风险把提示注入列在首位，反映了工业界的现实判断：这不是可以修完的漏洞，而是需要持续运营的风险面。

提示词的工程治理

综合本篇证据，提示词治理可以归纳为五条纪律。第一，版本化与回归测试：提示是代码，改动必须跑回归集，回归集要包含格式变体。第二，多模板评测：内部基准至少聚合 5 到 10 个指令模板报告均值与区间，拒绝单模板结论。第三，校准内建：选择题与分类任务默认做内容无关校准。第四，提示与模型版本绑定：跨模型迁移的提示必须重新验证，自动化优化结果必须跨分布测试。第五，注入防御纵深：外部内容永远视为不可信数据，配合最小权限与输出审计——把提示注入当作运营风险而非一次性修复项。

小结

提示词研究的价值在于把一个被经验主义把持的领域变成了可测量、可解释、可优化的实验科学。测量侧：格式扰动可以造成开源模型 76 个百分点的波动、指令模板排名跨模型不稳定、选项顺序有 13 点量级的系统偏差——「提示敏感性」已被确立为评测方法论的必报项；机制侧：贝叶斯隐变量推断与归纳头电路两条路线，解释了为什么弱模型对格式极其敏感、为什么示例是「证据」而格式是「先验」；优化侧：软提示在 11B 以上追平全参微调、OPRO 类自动优化与 DSPy 编译框架把提示工程推向自动化；安全侧：间接注入被证明无原则性解法，治理必须走纵深防御。对工程师而言，本篇证据链指向的最重要观念转变是：提示词不是「调一下就完」的咒语，而是随模型版本演化、需要版本管理与统计验证的运行时配置——把提示词当代码管理，是这批研究能给工程实践的最大公约数建议。