从 SparseGPT 与 Wanda 的打分公式到 Sheared-LLaMA 的结构化剪枝加续训，拆解剪枝路线的数学原理与真实收益。

llama.cpp 是本地推理生态的地基：纯 C/C++ 实现、无依赖、Mac/Windows/Linux/CPU 都能跑。本篇拆解它的技术路线（GGUF 格式、量化内核、异构加速）、本地推理的完整决策链（硬件→量化档位→引擎选择）、以及 ollama/LM Studio 这类「易用层」与 llama.cpp 的关系。

Meta 与微软合作开源 Llama 2（7B/13B/70B），允许商用，直接催生了全球开源与微调大模型的生态繁荣。

现代大模型的百万上下文，几乎都建立在 2021 年的旋转位置编码与 2023 年的一系列外推算法之上。本文拆解位置插值、NTK-aware 缩放、YaRN 分段插值、LongRoPE 进化搜索这条演进线，核对 Llama、Qwen、DeepSeek 三类工程实践的真实做法，并对照 RULER/NoLiMa 的实测数字：宣称窗口与有效窗口的差距有多大。

从 Attention Is All You Need 的 encoder-decoder 原型，到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰，本文系统拆解基础 Transformer 的架构原理，梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线，并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。

Oct 15, 2026 After its Llama series, Meta is returning to open-weight territory with Muse Spark Open.** Meta calls it th…

2025-2026 年发布的前沿模型几乎清一色是 MoE：Llama 4、gpt-oss、Qwen3、Kimi K2，直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控，到细粒度专家与无辅助损失均衡的完整演进线，算清「省算力不省显存」的工程账，也正视微调难、训练不稳与成本争议。

自回归生成每产出一个 token，都要回看之前所有 token 的 K 与 V——不缓存，计算量随序列平方爆炸；缓存了，显存又成了新瓶颈。本文算清 KV cache 的显存账（Llama-2-7B 4096 上下文约 2 GB），拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法，以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。

「开源大模型」多数只是权重可下载。本文按约束强度梳理三层谱系：真 OSI 开源（Apache 2.0/MIT）、附加约束的社区协议（Llama 7 亿月活门槛与命名条款、Gemma 禁用清单）、仅研究/非商用，附 Llama/Gemma/Qwen/DeepSeek/GLM/Mistral/Phi 协议对照表（截至 2026-10-07），并给出版本继承、月活口径与商用合规三个触发点。

2026 年开放权重阵营的旗手已换成 GLM-5（744B，MIT）、Qwen3.5-397B-A17B（Apache 2.0）、DeepSeek V3.2（MIT）、Kimi K2 系与 Llama 4。本文按许可证、架构与部署成本三条线做全景对照，给出自托管、微调、企业集成三类场景的选型建议。

小模型学的是大模型的「能力」而非权重：讲清 Hinton 软标签与温度 τ 的暗知识原理、白盒与黑盒两条蒸馏路线、DeepSeek-R1 用 80 万样本蒸出 Qwen/Llama 小模型的成绩，以及学生上限与闭源 ToS 等边界。

Which open-source harness works with Ollama, LM Studio, or llama.cpp? 11 verified picks with licenses and setup rules. T…

大语言模型的基本原理、发展脉络与能力边界总览

法国初创公司 Mistral AI 以 Apache 2.0 协议开源 7B 模型，以更小参数量比肩 Llama 2 13B，GQA 分组查询注意力等设计影响深远。

预训练 Scaling 撞上数据墙与算力墙：公共语料储量估算、推理感知的缩放修正、o1 之后测试时计算的新缩放曲线与三墙之下的产业走向。

同样的 token 预算，不同配方决定能力偏向——拆解 DoReMi、Data Mixing Laws 与 RegMix 三条配比优化路线。

从 XLM-R 的跨语言迁移与多语言诅咒，到「英语潜在枢轴」的机制发现，再到低资源语言的数据墙与分词器公平问题，梳理多语言大模型研究的完整版图。

从全量微调的显存账本讲起：LoRA 的秩一分解数学与参数量核算、QLoRA 的 NF4 三件套、Prefix Tuning 与 Adapter 的取舍，附横向对比表与选型决策树。

FLAN 与 T0 两条平行路线发现了「多任务指令微调产生零样本泛化」，本文拆解其机制解释、与 RLHF 的分野、以及它如何铺垫了今天的对话模型。

GSM8K 的题目被背下来了会怎样——拆解污染的三条进入路径、n-gram 与 Min-K% 检测法，以及动态基准的军备竞赛。

从 Bengio 2009 的经典提出，到 DoReMi 域权重优化、WSD 末段退火与 RL 训练的难度课程，梳理课程学习在深度学习与大模型中的实证进展与争议。

多轮能力不是单轮能力的自然涌现——拆解多轮数据的三种构造法、loss 该算在哪一轮的关键决策与真实评测的坑。

从 C4 去重的记忆化风险到 FineWeb-Edu 与 phi 系列的质量过滤，再到数据受限缩放定律，用实证数字回答「多干净的数据才值得训练」。

从 GCG 的梯度攻击到 PyRIT 的自动化红队，拆解安全对齐的攻击面测绘、安全数据构造、过度拒绝权衡与多层防御。

从 Kinetics 到 Video-MME 的基准演进、视频编码器到 VLM 的模型迭代、token 瓶颈与帧采样难题：多模态视频理解的进展全景与开放问题。

提示词不是玄学而是可测量变量：FormatSpread 的 76 点波动、指令模板不稳定性、贝叶斯机制解释、软提示与自动提示优化、注入攻击与工程规范。

模型对高频任务对答如流、对稀有任务频频翻车：幂律数据的统计根源、tokenization 不公平、知识存取瓶颈，以及数据、训练、推理三个层面的干预手段。

从引擎到服务的最后一公里——拆解前缀感知路由、cache-aware 负载均衡、LoRA 热加载与模型热切换的生产实现。

从 Codex 通过 HumanEval 的 28.8%，到 AlphaCode 的百万采样，再到 SWE-Bench 上 agent 们从 4% 爬到 70% 以上，梳理代码智能五年跃迁的技术脉络与产业影响。

从似然陷阱到退化惩罚再到语法约束，拆解三类高级解码策略的底层机制、计算代价与适用边界。

准确率之外评测模型还该看什么：维度拆解、校准误差、LLM-as-judge 的偏差与缓解、评测分数的统计不确定性，以及一套可落地的评测基建。

从对抗样本的视觉起源到 GCG 梯度攻击、PAIR 自动越狱与多轮 Crescendo，再到 SmoothLLM 等防御与评测陷阱，梳理大模型对抗鲁棒性的攻防全景。

因果追踪定位知识存储层、ROME 与 MEMIT 的闭式编辑数学、评估三指标，以及连锁效应等失败模式：一次把「精准改写参数化知识」讲透。

价格战把 API 价格打到地板之后，中国大模型公司开始走不同的路：开源卷全球开发者、行业方案卷企业订单、端侧卷手机与车。六小龙的分化、大厂的全栈打法与「算力自查」的暗线，构成 2026 年的产业地图。

开源不等于免费送：本文拆解智能体项目的许可证战略——MIT 与 Apache-2.0 的专利条款差异、AGPL 与 BSL 的 SaaS 防御逻辑、自定义社区许可的采用反噬，以及许可证之外真正的商业控制点。

拆解一次智能体任务的真实账单，分析智能体场景下 input 占比倒挂的消耗结构，给出缓存、路由、批处理三板斧的量化降本路径，并讨论订阅制定价为何容易击穿毛利。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

国产 AI 芯片（昇腾、寒武纪、海光等）在算力上快速追赶，但真正的差距不在芯片在软件栈。本篇以昇腾 CANN 为主例拆解国产算力栈的层次（驱动→运行时→算子库→框架适配）、与 CUDA 生态的真实差距点、以及国产替代的务实推进路径。

在边缘设备上跑 LLM，硬件怎么选？Jetson Orin、RK3588、Hailo、以及手机芯片——本篇拆解边缘推理硬件的算力、内存与生态对比，给出「按模型规模选硬件」的决策框架，以及边缘部署区别于云端的工程要点。

Heretic 用修饰器、评分器加 Optuna 优化器的三段式架构，在不做任何训练的情况下修改开放权重大模型的行为，v2.0 引入自研 ARA 任意秩消融算法与插件系统，社区已产出 8600 多个改后模型。

「CUDA 护城河」被提了十年，它到底由什么构成？本篇从底层拆起：CUDA 是语言与运行时，cuDNN/cuBLAS 是优化库，NCCL 是通信库，TensorRT 是编译器——分层拆解每一层的角色，以及生态替代（ROCm/CANN）真实差距所在。

当 Agent 能在你自己的设备上运行（本地模型 + 本地数据 + 本地工具），「隐私」从合规口号变成架构属性。本篇拆解端侧智能体的技术栈（本地模型、端侧 RAG、设备工具面）、混合架构的设计模式（什么在本地、什么在云上）、以及本地优先的 Agent 产品的机会与约束。

应用要的是 JSON，模型给的是散文加一段 JSON——结构化输出是大模型工程化的第一道坎。本篇拆解三种方案的能力与代价：提示词祈祷法（零保证）、语法约束解码（100% 合法但不保证语义）、以及原生 JSON mode 的折中——读完知道你的场景该用哪层、以及「格式合法」与「内容正确」是两件事。

为什么同一段对话，用对 chat template 的模型表现天差地别？对话模型的一切行为都由一张「模板」定义：角色标记、特殊 token、系统提示的位置。本篇拆解 chat template 的结构、各家模板的差异、它如何决定「模型以为自己在跟谁说话」，以及微调与应用时最容易踩的模板坑。

同样的任务，70B 模型能做到的，1B 模型经过蒸馏也常常能做到七八成——能力从大模型流向小模型的通道是当代 AI 工程的核心课题。本篇拆解蒸馏的三代方法（logit 蒸馏、CoT 蒸馏、on-policy 蒸馏）、量化与剪枝的压缩三件套，以及「小模型为何如此便宜」背后的技术账。

同一张 GPU，用 naive 推理脚本与用 vLLM，吞吐可以差 10 倍以上——差距的来源是两项工程创新：PagedAttention（显存的分页管理）与连续批处理（请求的动态编排）。本篇拆解这两项技术的机制、vLLM 生态的位置、以及「什么时候该用推理引擎、什么时候杀鸡不必用牛刀」。

当日涨星 803、总星 4.7 万的纯 C MoE 推理引擎：拆解其 VRAM/内存/NVMe 三层专家放置、五步流水线、71.6% 路由前瞻与「只损失速度不改变语义」的取舍，并给出四类可复现场景与横向对比。

大模型价格战的背后（本库《价格战》），站着一条被低估的产业链：推理优化产业——量化、编译器、KV 缓存优化、投机解码、专用推理引擎。它不训练模型，却决定了模型的交付成本，是「价格战能打多低」的真正决定者。本文画一张推理优化产业的地图，讲清每一格的手艺与玩家。

开放权重模型（人人可下载、可微调、可本地部署）是 AI 生态最重要的活力来源，也是安全辩论最激烈的战场：拆掉护栏的微调、无法收回的发布、能力越来越强的权重——「开放」与「安全」的张力在这个问题上没有简单答案。本文呈现辩论双方的最强论点与现实的中间路线。

开源 AI 模型的「免费」是当代科技产业最奇特的经济学：数以百亿计的算力与人力被投入，产出以零价格发布。谁在买单？为什么买单？免费模型的存在如何重塑商业格局？本文讲清开源 AI 的四种买单模式、搭便车者的生存术，以及这个特殊生态的可持续性问题。