llama.cpp 发布 1.0.0:首个稳定 API 版本,移除 35 个废弃函数并新增 FP8 KV 缓存

llama.cpp 迈入 1.0:本地推理库承诺稳定 API

2026 年 11 月 13 日,Hugging Face 旗下的 ggml-org 团队发布了 llama.cpp v1.0.0——这个被数百万人用来在自己电脑上运行大语言模型的开源 C/C++ 推理引擎,终于迎来了第一个承诺稳定 API 的正式版本。

主要变化

  • 稳定 API 承诺:从 1.0.0 开始,公共 C API 遵循语义化版本(SemVer),破坏性变更将受明确规则约束,第三方应用可以放心集成。
  • 移除 35 个废弃函数:清理了长期累积的已废弃公共 API,接口面更加干净。
  • FP8 KV Cache 支持:新增 OCP FP8 键值缓存,可降低长上下文推理的显存占用。
  • API 提升:将 NextN/投机解码(speculative decoding)相关 API 提升到 llama.h 主头文件。
  • 更安全的服务端:对内置 server 做了安全性加固。

为什么重要

llama.cpp 是本地/端侧 LLM 推理事实上的标准引擎,此前其 API 变动频繁,下游应用(桌面客户端、编辑器插件、手机端推理框架等)升级成本高。1.0 的稳定 API 承诺意味着围绕它构建的本地 AI 应用生态将获得更可靠的基座。

本文基于 Hugging Face 官方博客及多家媒体报道整理。

← 返回资讯列表