多请求并发时 KV Cache 的预留式分配让 GPU 显存大量空转、吞吐卡死。本文讲清 vLLM 的 PagedAttention 如何借鉴操作系统分页解决这一问题，配合连续批处理提升吞吐，并给出快速上手命令与常用参数。

RadixAttention 用前缀树跨请求复用 KV Cache，是 SGLang 的招牌。本文讲机制差异，给 OpenAI 兼容服务上手命令与结构化输出、多 LoRA、投机解码现状，并对照 vLLM/Ollama 谈选型。

听雨* 2026-09-26 15:12:05 来源：量子位 vLLM人马创业公司团队出品 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 16块谷歌TPU v7跑Kimi K3，每秒跑出了709个Token，比老黄的GB200快了…

Ollama 负责本地推理，Open WebUI 负责多模型对话、知识库与账号——本文在 Apple M4 上实测 Docker 组合部署全流程：官方命令、RAG 默认参数、OpenAI 兼容 API 的正确开关（v0.11 已改名），以及端口冲突、代理假 IP 导致拉模型失败等真实踩坑清单。

把 LLM 输出接进程序，坏 JSON 是头号工程痛点。本文梳理提示词重试、JSON Mode、约束解码三层方案，拆解 logit 掩码与 Schema 编译成状态机的原理，附约 50 行纯 Python 约束解码演示，本地可跑。

2026 年开放权重阵营的旗手已换成 GLM-5（744B，MIT）、Qwen3.5-397B-A17B（Apache 2.0）、DeepSeek V3.2（MIT）、Kimi K2 系与 Llama 4。本文按许可证、架构与部署成本三条线做全景对照，给出自托管、微调、企业集成三类场景的选型建议。

标准注意力的瓶颈不在算力而在显存读写：O(N²) 的注意力矩阵要在 HBM 里反复进出。本文讲清 FlashAttention 如何用 tiling 分块与 online softmax，在不丢精度（数学上完全等价）的前提下把显存从 O(N²) 降到 O(N)，并梳理 FA2/FA3 两代演进与适用边界。

GPU 在 Kubernetes 里是「整数个的扩展资源」，一块 H100 跑一个小推理服务就是浪费。本文拆解 Device Plugin 汇报机制、GPU Operator 的组件分工，对比时间片、MIG、MPS 三条共享路线的隔离性与适用场景，并展望 1.34 起 GA 的 DRA 会怎么改玩法。

用 numpy 从零实现 Multi-Head Attention 前向（含 causal mask），45 行核心代码；附逐步形状账与参数量核算，三个实测断言验证因果依赖、softmax 归一与参数量，全部本地跑通。

大模型逐 token 生成，注意力却要看全部历史，KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算，给出 KV Cache 显存的估算公式并代入典型 7B 配置，解释长上下文为何是推理瓶颈，并列出三个优化方向。

大模型把 Kubernetes 的资源管理推向硬边界：显存整卡规划、Pod 启动以分钟计、扩容受制于昂贵的 GPU。本文梳理 GPU 资源声明、调度要点、探针与扩缩容配置和治理清单，给出一份可落地的入门路径。

「LLM 缓存」其实指两种东西：推理层的前缀缓存复用已算好的 KV Cache，几乎零风险；应用层的语义缓存按问题含义命中旧答案，省钱但可能错。本文对比两者机制与适用场景，给出先做前缀缓存的行动顺序。

想在笔记本上跑大模型，Ollama 是门槛最低的路径之一。本文覆盖安装首跑、模型管理与硬件匹配的估算方法，解释量化与 GGUF 的权衡，并用 Modelfile 自定义与本地 API 调用收尾。

同等能力的模型 API 价格在几年间下降了一个数量级以上，这不是赔本赚吆喝，而是推理成本结构性下降的传导。本文拆解大模型服务的成本结构，讲清硬件、推理效率、MoE 架构与规模化利用率四条降本路径，并给出开发者应对建议。

微调不是万能钥匙，但适合固定风格、固定格式与领域行话类需求。本文先讲清何时该微调，再用 LoRA 原理加 LlamaFactory 三步实战，带你不改代码微调出自己的模型，并给出常见坑与最小评测法。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

IBM 宣布其智能体软件开发平台 Bob 的自托管版本正式商用，支持企业在本地、私有云/主权云及物理隔离网络中运行，覆盖代码理解、规划、执行与验证全生命周期。

NVIDIA announced a new 64GB configuration of DGX Spark — from Acer, ASUS, Dell, Gigabyte, HP and MSI — its GB10-powered …

Prime Intellect 发布 Prime Inference 推理服务平台，提供无服务器端点和预留 GPU 容量，公开前内部日均处理近万亿 token，主要来自 RL rollout、合成数据生成、评测和长时编码智能体，补全其开源训练栈的服务环节。

Local AI is becoming more useful by the token. As AI agents move from experiments into everyday development, increasingl…

IT之家 10 月 2 日消息，英伟达今天正式对外披露 DGX Spark 产品更新，推出 64GB 内存版本 DGX Spark 桌面 AI 计算机，起售价 4,999 美元（现汇率约合 33,566 元人民币），将于 10 月 23 日…

Cohere has released Embed 5, a new embedding model family. It targets enterprise search, RAG, and agentic retrieval. The…

H Company has released Holo4, a family of generalist computer-use models for AI agents. One set of weights clicks and ty…

Vectorize 开源的智能体记忆系统 Hindsight（当日涨星 +4,463、★37,121、MIT）：以世界事实/经验/观察/心智模型四网络替代扁平 RAG，LongMemEval 从同骨干全上下文的 39.0% 拉到 83.6%、最强 91.4%。拆解 TEMPR/CARA 分层、四路检索+RRF+重排、反思持久化机制，附五个落地场景与竞品争议。

A main promise of looped language models is depth-adaptive inference. By looping a block of shared layers a variable num…

henry* 2026-09-25 18:00:14 来源：量子位 大厂造芯，正在从交付芯片，走向更广泛的开放共建阶段。 henry 发自 凹非寺 量子位 | 公众号 QbitAI “这是目前中国算力性能最强的AI芯片，性能达到M890的…

Aikido Security has released Altar-1, its first open-weight security model. It is a compressed version of Z.AI’s GLM-5.3…

BottleCap AI has released ThinkingCap-Qwen3.8-27B, the second model in its ThinkingCap series. It is a fine-tune of the …

Contrastive-LM has released CLM-8B, the first open model in a new class called Contrastive Language Models (CLMs). CLM d…

Nokia’s applied research team has open-sourced AnyJev, a Python library that turns an open LLM into a decision model. It…

Prefill and decode reward different approaches to quantization: low-precision arithmetic accelerates prompt processing, …

Alibaba's Qwen team has released Qwen-Image-2.1, a 7B diffusion transformer that handles text-to-image generation, multi…

基于 2026-09-22 独立研究整理：拆解 Meta Muse 的三层产品谱系与时间线、Secure VM 六层防护（凭据代理替换 / tainted egress / 审批绕过模型）、Muse Spark 1.3 能力口径（AA 指数 61–62 vs Claude Fable 5.1 的 66）、定价与商业模型、三情景推演与风险矩阵，并给出核心判断——Agent 的天花板由平台开放意愿决定，而非模型智力。

范式成为《中国AI算力管理平台技术能力评估，2026》综合评分位列第一的厂商。]

AI办公这块蛋糕，中国电信可能要先切走一块了。]

IT之家 9 月 19 日消息，中国电信于 9 月 17 日发布新一代星辰大模型 Xing4.0-29B-A4B，该模型总参数量 29B，激活参数仅 4B，原生支持 256K 上下文，可扩展至 512K， 是国内首个基于国产算力与国产框架完…

Jina AI has released jina-ocr-v1, a visual document parser that converts PDFs, scans, tables, charts and invoices into M…

PrismML has released Ternary Bonsai 2 27B, a ternary-weight version of Qwen3.8 27B. The language model occupies 5.93 GB,…

GGUF, GPTQ, AWQ, EXL2, and EXL3 solve the same problem in different ways. This guide separates file containers from quan…

Which open-source harness works with Ollama, LM Studio, or llama.cpp? 11 verified picks with licenses and setup rules. T…

IT之家 9 月 17 日消息，华为全联接大会 2026 于今日在上海启幕。华为副董事长、轮值董事长汪涛在大会上发表了“ 智启新未来，打造智能世界的硅基黑土地 ”的主题演讲，与产业界共同探讨在智能浪潮中如何携手合作，打造强大的 AI 基础设…

System performance, efficient infrastructure scaling and continuous software optimization are key levers that determine …

基于项目 README 原文与 GitHub 实时数据（2026-09-15：8,360★）拆解开源项目 Utopia：用「本体论 + 双时态」让企业知识记得住「当时为什么这么判断」。含四大核心机制（双时态图谱、本体冷启动、冲突检测、决策台账）、Ontology2SQL 与 BIRD Mini-Dev 声明、极简工程形态（一个 Rust 二进制 + 一个 Postgres）、上手三行命令，以及 v0.1 阶段宣传语里不会写的边界与落地成本。

Concurrent local LLM serving on unified-memory desktops must preserve memory headroom and output fidelity, which speed-o…

· 三星借 iPhone Duo 发布调侃苹果「热剩饭」 · OpenAI 限制图像和音频生成竞品在 ChatGPT 投放广告 · 曝奥迪在华重划双品牌：一汽负责四环、上汽主攻 AUDI #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：if…

10 月 16–17 日，面向全球开发者的开源技术大会 GOSIM 将首次来到深圳，举办 GOSIM Shenzhen 2026。

Frontier intelligence is going local. At IFA 2026, NVIDIA, Microsoft and its partners are teaming up to provide faster i…