深度求索（DeepSeek）宣布将内部推理框架 DeepInfer 全面开源。据官方介绍，DeepInfer 集成了高性能算子与深度优化的推理引擎，支持分布式推理、推测（投机）解码、SWA Bounded Replay、结构化输出等能力，并兼容英伟达 GPU 与华为昇腾平台，社区反馈其硬件覆盖包括 SM100 与昇腾 950。DeepSeek 表示，DeepInfer 正是支撑 DeepSeek V4.1 Flash 大规模线上服务的同一套框架，已实现高吞吐、低延迟的推理服务；开源的目的是帮助开发者和企业降低算力成本与能源消耗。未来新模型的推理代码及后续优化也将在此仓库持续更新。推测解码是其最主要的提速手段之一：大模型平时逐 token 生成，推测解码通过小模型草拟、大模型并行验证来加速输出。