「这个应用每月的模型账单会是多少」——回答这个问题需要真正理解 token 计费的口径：输入输出分价、上下文累积、缓存折扣、以及隐藏的成本大头。本篇拆解计费的完整口径、一笔真实对话的成本拆解、以及按效排序的成本优化清单——把「token 焦虑」变成「token 预算学」。

为什么同一段对话，用对 chat template 的模型表现天差地别？对话模型的一切行为都由一张「模板」定义：角色标记、特殊 token、系统提示的位置。本篇拆解 chat template 的结构、各家模板的差异、它如何决定「模型以为自己在跟谁说话」，以及微调与应用时最容易踩的模板坑。

OAuth 2.0 是现代互联网的授权标准：「用微信登录」「用 GitHub 登录」背后都是它。本文讲清四种授权模式的适用场景、AccessToken 与 RefreshToken 的配合、PKCE 扩展为什么是移动端的必选项，以及常见的 Token 安全漏洞与防御。

智能体产品的商业化正在试验三种定价哲学：按席位（卖工具）、按 token（卖算力）、按结果（卖产出）。定价不是财务细节，它决定了产品把优化压力放在哪、用户把信任放在哪。本篇观察三种模式的适用边界、各自的激励扭曲、以及「按结果收费」为什么是智能体区别于软件的定价新大陆。

聊天界面「逐字蹦出」的打字机效果，背后是流式输出：服务端边生成边推、客户端边收边渲染。本篇拆解流式的技术栈（SSE 协议、token 增量与累积）、首 token 延迟（TTFT）为什么是体验的核心指标、流式的工程细节（中断、错误处理、统计口径），以及什么场景该关掉流式。

单向量检索把整段文本压成一个点，cross-encoder 准但每对都要过一次模型。ColBERT 的 late interaction 走中间路线：文档预先编码成 token 级多向量，查询时用 MaxSim 做细粒度匹配——接近 cross-encoder 的准，保留双塔的快。本文讲清它准在哪、贵在哪、该放在检索流水线的哪一层。

当日涨星 906 的知识图谱项目：代码用本地 tree-sitter AST 零 LLM 额度建图，文档/图片才走语义趟；52 文件混合语料单次查询 token 降 71.5 倍，LOCOMO recall@10 0.497，每条边带 EXTRACTED/INFERRED/AMBIGUOUS 置信标签。

★36,402、Apache-2.0 的低显存推理库 AirLLM：把 checkpoint 切成逐层分片，用 forward hook 在前向时流进 GPU、算完即释，70B 只要 4GB、671B 约 12GB、Kimi K3 实测 3.72GB。拆解 meta device + 2GiB pin 上限 + MoE 按专家流式的取舍，以及社区实测 5–35 秒/token 的真实代价。

Agent 任务是多轮模型调用加失败重试，token 成本数倍于单轮对话，计费模式因此成为行业难题。本文梳理按 token、订阅、按结果、按价值分成四种模式的风险分配，分析毛利结构，并给出买方评估供应商的三个关键问题。

模型读到的不是字也不是词，而是 token。本文用 low/lower 语料演示 BPE 合并出词表的过程，解释中文为什么更费 token，以及它对计费、上下文长度和算术能力的影响，文末附代码示例与流程图。

量子位的朋友们* 2026-09-23 17:56:53 来源：量子位 商汤大装置异构混推创新实践与技术演进 Token经济加速爆发，算力需求发生结构性反转，推理需求已取代训练，成为算力增长主引擎。 随之而来的，是AI基础设施面临的全新命…

微软利用使用 GPT-5.6 Sol 和 Claude Opus 4.8 的 AI 智能体、历时 14.5 周，花费 12 万美元 token 将 Copilot 运行时从 TypeScript 语言移植到 Rust 语言。该项目采用逐个更…

On OpenRouter, weekly token consumption has surged more than 25,000 percent since January 2025, from 0.5 to 126.2 trilli…

IT之家 9 月 17 日消息，科技媒体 Wccftech 昨日（9 月 16 日）发布博文，报道称在 AI 基础设施峰会上，英伟达展示了面向 AI 工厂的 DSX MaxLPS 功耗调度系统， 每兆瓦 token 吞吐量最高提升 40%。…

Coding 之后，教育 Agent 正在成为下一场 Token 战争 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。 ]

本地代理拦截智能体的工具输出、日志与检索结果，按内容类型路由到九种压缩器，CCR 机制保证原文随时可取回；配合厂商前缀缓存，排障场景实测省 57% token，压缩开销 0.2 毫秒级。当日涨星 477，总星 7.7 万。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

GitHub 21.6 万星的开放编码智能体一周内经历 2.0 大版本与安全事件双重曝光。本文拆解它的常驻服务端架构、插件热重载内核、Code Mode 与上下文经济设计，并给出五类落地场景。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

现代大模型的百万上下文，几乎都建立在 2021 年的旋转位置编码与 2023 年的一系列外推算法之上。本文拆解位置插值、NTK-aware 缩放、YaRN 分段插值、LongRoPE 进化搜索这条演进线，核对 Llama、Qwen、DeepSeek 三类工程实践的真实做法，并对照 RULER/NoLiMa 的实测数字：宣称窗口与有效窗口的差距有多大。

A trainable input embedding table assigns each vocabulary item an independently adjustable vector. We investigate whethe…

梦晨* 2026-10-02 15:34:15 来源：量子位 让每一次请求选对模型，让每一次反馈都成为下一次更优、更省的选择 允中 发自 凹非寺 量子位 | 公众号QbitAI 不是所有任务都需要最强的模型。让每一次请求选对模型，让每一次…

This week, OpenAI released GPT-6.1 Sol. It upgrades GPT-6 Sol, the mid-tier model in the GPT-6 family. OpenAI’s claim is…

Names are personal identifiers, but they also carry social meaning and are widely used to evaluate how language models t…

Sep 26, 2026 Nano Banana Pro prompted by THE DECODER A new Nvidia paper describes a system that automatically optimizes …

衡宇* 2026-09-24 08:48:02 来源：量子位 乔不迟 发自 凹非寺 量子位 | 公众号 QbitAI 过去评价一座数据中心，行业习惯看三个指标： 卡数、算力规模和PUE（电能利用效率）。 大模型进入规模化推理阶段后，这套标…

IT之家 9 月 23 日消息，夏威夷时间 9 月 22 日 9 点（北京时间 9 月 23 日 3 点）召开的 2026 骁龙峰会上，高通宣布携手阶跃、无量火及江波龙，基于第六代骁龙 8 超级至尊版移动平台，**端侧适配与推理优化阶跃 S…

IT之家 9 月 22 日消息，在昨日的 2026 人工智能计算大会（AICC2026）上，浪潮信息宣布推出元脑 SD200 Ultra 超节点 AI 服务器与元脑 HC2000 多元算力机组。 据官方介绍，元脑 SD200 Ultra 基…

Coding agents now run for hours, not minutes. Every edit, test run and log read goes back into the model’s context. A te…

Many developers find that an agent idea works inside Claude Code or Codex, then struggles once they rebuild it with thei…

We present onPanda, an interactive tool for efficiently annotating LLM alignment data and agent trajectories. onPanda ad…

IT之家 9 月 17 日消息，据央视财经 9 月 16 日报道，记者从中国电力企业联合会获悉，今年以来，以互联网数据、充换电服务业为代表的数字能源新型负荷迎来爆发式增长，全国互联网数据服务业用电量超过 600 亿千瓦时，与去年同期相比增长…

IT之家 9 月 16 日消息，华为官方今日举办了“以行动，至未来”探索智能世界系列报告线上发布会，正式发布《智能世界 2035：从愿景到行动》研究成果，首次提出通往智能世界的十大关键命题。 报告指出，Agentic AI 正推动数字世界从…

2026年 9 月 15 日，AI基础设施公司基元律动（TokenRhythm）与无问芯穹（Infinigence AI）签署战略合作协议。]

Large language model (LLM) agents allocate test-time compute adaptively as they revise solutions, use tools, explore alt…

IT之家 9 月 12 日消息，9 月 12 日，在 2026 中国算力大会主论坛上，中国移动正式发布 AI 可信计算（ AITC ），并启动 AI 可信计算生态共建战略合作。 据介绍，中国移动率先布局 AI 可信计算，基于移动云全栈国产化…

Representing a 3D scene as multi-view images allows 2D VLMs to reason in 3D by reusing priors from pre-training, sideste…

这个月生活费是给外卖，还是给大模型？ #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。

检索回来的片段直接塞给模型，是 RAG 里被省略最多、也最该做的一段工程：去重、排序、压缩、位置摆放、预算分配，每一步都直接影响答案质量。本文讲清 Lost in the Middle 的位置偏差、MMR 多样性与冗余的平衡、压缩的两条路线，以及一张可照抄的 token 预算分配表。

日涨星 1145 的智能体记忆系统：生命周期钩子捕获工具调用，AI 压缩成结构化观察，SQLite 与 ChromaDB 双库存储，三层渐进式检索宣称节省约 10 倍 token；本周六连发版本，也因安装器上传历史提示词陷入隐私争议。

谷歌 Harness² 的双层递归要烧掉大量试跑 token，普通团队抄不动全套，但它背后的三条工程原则可以立刻用：把执行框架显式化为可编辑文件、没有执行证据不许沉淀经验、没有标准答案就用行为对比做探测。本文把它们翻译成八组件资产清点、EXPERIENCE.md 经验模板、盲选式 A/B 试跑与四道防退化护栏，并给出一个最小可行闭环。

IT之家 10 月 24 日消息，据中国信通院，随着大模型技术的迅速迭代，词元（Token）服务成为从技术走向应用的关键点，我国日均词元调用量持续攀升，2026 年 6 月，**国内词元日均消耗量约 500 万亿**，是 2025 年 12…

日涨 1949 星的编码智能体技能：用「先爬梯子再写码」的决策梯子和三条生命周期钩子，把智能体产出的代码量、token 与成本压掉四到五成，正确性与安全检查反而略升。JetBrains 第三方复测确认成本下降显著，但也指出了宣称幅度与激活条件两个关键保留意见。

Cloudflare 开源的编码智能体安全审计技能，近一周被社媒二次引爆，单日涨星 1,680。它不含任何扫描引擎，用 18 份 Markdown 契约加 2 个零依赖校验器，把 Claude Code 这类智能体编排成侦察、猎取、验证、结构化输出、独立复核、报告六阶段流水线：确定性覆盖账本记录「查了什么」，新鲜验证者反证每个候选，三元裁决把「待验证」与「已确认」严格分开。本文拆解其架构取舍、LLM 应用审计场景与 token 成本争议。

单日涨星 1647 的 XERJ 用 Rust 从零实现了「以 Agent 为主要用户」的搜索/向量/日志引擎：一条命令索引任意文件夹，兼容 Elasticsearch 协议让存量客户端直连，实测让 coding agent 输出 token 减少 2.7 倍。本文拆解它的 crate 架构、混合检索原理与四个落地场景。

蚂蚁百灵宣布开源总参数约 560B、每 Token 激活约 25B 的 Ling-3.1-flash 模型，最高支持 1M 上下文，并介绍了 MXFP4 量化、长上下文并行推理、投机解码等部署优化方案。

提出联合子空间稀疏注意力（JSSA），通过学习共享低维查询-键子空间并给出可求解的谱闭式解，在token级稀疏注意力中兼顾选择精度与解码延迟，降低长上下文LLM解码中占主导的KV缓存流量。

Epoch AI 估算公开人类文本有效存量约 300 万亿 token，按现有训练节奏将在 2026–2032 年间耗尽。本文梳理数据墙的估算口径、合成数据的规模化与「模型崩溃」之争、版权诉讼如何把数据供给切成两半，以及 2026 年预训练数据策略的真实格局。

闻乐* 2026-10-09 15:11:55 来源：量子位 答不答得对，得看Token站位 闻乐 发自 凹非寺 量子位 | 公众号 QbitAI DeepSeek的神鬼二象性被字节Seed团队逮到了。 同一道题，什么都没改，只在前面多塞…

JetBrains 推出面向编码智能体的开源模型 Mellum2.1，总参数 12B、每 token 激活 2.5B，主要通过在真实软件环境中的强化学习带来提升，以 Apache 2.0 协议在 Hugging Face 发布，可自托管运行。