固定长度切块的原罪是切断语义，本文拆解语义断点检测、命题级分块、Late Chunking 三条进化路线，以及如何用检索指标科学评测分块质量。

预训练是所有大模型能力的源头，但它的完整流程常被一句「在海量文本上训练」带过。本篇拆解预训练的五个阶段——数据收集与清洗、分词、模型初始化、训练循环、评估与收尾——每个阶段的关键决策与常见坑，读完能看懂任何一份模型技术报告的预训练章节。

图像生成被扩散模型统治，文本生成却始终是自回归的天下——文本能不能也用「从噪声里逐步去噪」的方式生成？扩散语言模型（diffusion LM）从学术好奇变成开源可用（LLaDA 等），双向生成与可修改性展示了独特优势，质量差距与效率难题也依然真实。本篇拆解它的机制、与自回归的三点对比、以及这场范式之争的现状。

IT之家 9 月 23 日消息，谷歌今日宣布，Gemini 家族新增两款全新文本转语音模型，将语音生成**从静态预设转变为动态创意工作室**，能够帮助创作者、开发者和企业打造更丰富、更具表现力的音频体验，同时为 Gemini Noteboo…

IT之家 9 月 19 日消息，当地时间 9 月 18 日，SpaceXAI 发布了 Grok Voice Transcribe 2.0 语音转文本模型，在保持价格不变的前提下，错误率降低约一半。 官方表示，Grok Voice Trans…

语义检索的第一步是把文本变成可比较的向量。本文从 one-hot 的困境讲到稠密向量的语义几何，手算一个余弦相似度的小例子，再用十几行代码演示从 encode 到 top-k 的完整流程，最后点出语义匹配最常见的两个坑。

覆盖更新会丢掉"变化"本身这个可检索的事实。本文给出文档身份与版本分离的数据模型、生效区间与时间旅行查询、版本感知的检索融合策略，以及版本切换的灰度与回滚工程。

论文提出UltraText Bench，一个包含432条中英双语提示、覆盖24类真实场景和三个难度等级的基准，用于评测纯提示生成密集视觉文本的表现，并使用Q-Judger视觉语言模型从文本保真度、清晰度和空间质量等维度打分。

用不到百行纯标准库 Python 手撕 BPE 分词器：训练学合并表与编码贪心重放两个阶段拆开讲，小语料实测编码—解码往返一致，再用反例展示预分词正则为什么必不可少，最后对照 GPT-2 与 cl100k 的字节级 BPE、special token 与数字切分。

文章提出 Next-Concept Modeling（NCM），通过多尺度残差 VQ-VAE 将文本编码为层级离散码，再由 transformer 逐层并行生成，在 LM1B 上以更强生成困惑度超越扩散语言模型基线并提速 21 倍。

PAMI受霍夫变换启发，通过多个身体部位锚点对物体运动进行投票定位，并用PamiVAE学习交互潜空间，以解决文本驱动的全身人物-物体交互生成中物体漂移、接触缺失和穿透问题。

提示注入的根因是指令与数据共用一个通道。本文讲清直接与间接注入的差别、为什么它像没有参数化查询的 SQL 注入，并给出输入、上下文、能力、检测四层防御清单与信任边界思维。

真实企业文档的多数信息不在正文段落里，而在表格、图表与版式关系里——文本 RAG 的 OCR 管线在这里系统性失真。本文拆解两条补齐路线（解析增强 vs ColPali 式视觉检索）与生成端的图文编排，给出选型权衡。

盘点 2026 年 10 月主流开源 TTS 七个项目（GPT-SoVITS、CosyVoice、F5-TTS、Fish Speech、IndexTTS、Kokoro 等）：机制、音色克隆方式、中文支持与许可证商用限制，附中文效果/实时率/长文本对比表与 F5-TTS 上手示例，兼谈声音克隆的授权与深度伪造合规风险。

合并后取中位数人人会写，O(log(m+n)) 才是这道题的灵魂。本文从「中位数 = 划分点」这个视角重构问题，讲透最直观的「找第 k 小」解法，给出一份本地验证通过的 Python 实现（含 20000 组随机对拍），再对比面试官更爱的「切分线」解法，最后说清为什么这道题是二分思想的试金石。

长上下文常被当成大模型的头号卖点，但它有三层代价：平方级注意力计算、线性增长的 KV Cache 显存，以及塞得进去未必用得好的召回衰减。本文讲清长度受限的原理、显存的估算方法与三条扩长路线，并给出上下文预算分配的实操建议。

正则表达式是最被「会用但不懂」的语言：能写出能跑的模式，却不知道它为什么回溯、为什么卡死、为什么某个字符集漏了。本篇拆解正则的引擎原理（回溯机制）、贪婪与懒惰的语义、常见坑（字符集、转义、ReDoS），以及「什么时候不该用正则」。

一张 A100 想给十个团队用、一张卡想同时跑三个小模型——GPU 共享的三条技术路线：MIG 的硬件级切分、vGPU 的虚拟化直通、时分复用的软件调度。本篇拆解三种路线的机制、隔离性与适用场景，以及「共享 GPU」的噪声与公平问题。

RAG 答案不对，先别急着调切块参数——病灶常在更上游的 PDF 解析。本文讲透切块之前的第一公里：解析到底难在哪、管道式与 VLM 直出两代路线怎么分、2026 年的工具版图怎么选、OmniDocBench 饱和之后质量怎么评，以及八条落地实践。

机器翻译的 NMT 时代就冲击过翻译行业，大模型把冲击推向了「高质量泛领域」——但翻译产业没有消亡，它按文本价值分层重组：机器管量、人管质、行业 know-how 管价。译者的新位置，藏在这条分层曲线里。

OpenAI 宣布在 ChatGPT 和 Codex 中嵌入机器可读水印技术 textGrain，首先面向欧盟地区用户，以遵守欧盟 AI Act，并称该技术不逊色于 SynthID 等方案且对生成性能无影响。

模型读到的不是字也不是词，而是 token。本文用 low/lower 语料演示 BPE 合并出词表的过程，解释中文为什么更费 token，以及它对计费、上下文长度和算术能力的影响，文末附代码示例与流程图。

Agent 的输入不再只有文本：PDF、截图、语音、表格、手写笔记——多模态输入让 Agent 贴近真实工作。本篇拆解多模态输入的接收面工程（解析管线、模态的统一表示、成本与延迟的取舍），以及文档智能、视觉理解、语音输入各自的工程要点。

一本书、一份两百页的报告不是「更长的文档」，而是另一种结构——按问题形状分治：针尖型问题靠结构化切片，全局型问题靠摘要树与 Map-Reduce，长上下文模型是助手不是替代。

Jev 火了，一个非文本的 AI 模型在今天拿到了由 a16Z 领投的 8.7 亿美元融资，其公司 TypeSafe 的估值直接来到了 75 亿美元。 在 9 月 15 号刚刚发布时，TypeSafe 种子轮才 4000 万美元、估值约 2…

Epoch AI 估算公开人类文本有效存量约 300 万亿 token，按现有训练节奏将在 2026–2032 年间耗尽。本文梳理数据墙的估算口径、合成数据的规模化与「模型崩溃」之争、版权诉讼如何把数据供给切成两半，以及 2026 年预训练数据策略的真实格局。

法律行业是 AI 落地的天然沃土（文本密集、规则明确、案例浩瀚）与谨慎样本（幻觉在法律场景的代价是冤案级的）。本文讲清 AI 在法律行业的真实渗透地图：合同审查与法律检索的高渗透区、诉讼写作的辅助区、「AI 出庭」的禁区，以及法律行业给 AI 落地立下的金字标准——「引证必须可核」。

当日涨星 1397 的开源项目：不是又一个简历生成器，而是一套跑在 Claude Code 上的求职操作系统——drafter-reviewer 双智能体、双门五维评分、PDF 编译验证循环与 ATS 文本层检查，全部资产在本地。

大语言模型吃的是万亿 token 网络文本，机器人能吃的真机数据却以「万条轨迹」计。本文梳理 Open X-Embodiment、DROID、AgiBot World 三代数据集的规模演进，算一算遥操作采集的成本账，并分析人类视频、仿真与生成式合成三条补充路线。

从 RT-2 把机器人动作当文本 token 输出，到 OpenVLA 开源 7B、π0 用流匹配跑到 50Hz、GR00T 与 Helix 转向双系统架构——本文梳理 VLA 模型三年的演进脉络：动作怎么表示、参数怎么变小、控制频率怎么上去，以及开源与闭源两条路线的分野。

VectifyAI 开源的无向量 RAG 引擎 PageIndex（当日涨星 +1,095、★38,082、MIT）：把长文档编译成 JSON 层级树，让 LLM 逐节点推理导航，取代切块+向量相似度。基于它的 Mafin 2.5 在 FinanceBench 全量 10,231 题报告 98.7%。拆解两阶段架构、三模式 TOC 自校验回退、三工具检索循环、成本口径，以及多文档规模化与数据主权的真实边界。

提示注入入门篇讲清了「为什么外部文本不可信」，这篇讲「防御怎么落地」——RAG 与 Agent 场景的四道防线：入口净化、上下文隔离、权限收窄、输出校验。没有单点银弹，只有纵深组合。

视觉语言模型（VLM）的服务化与纯文本模型不同：图像的预处理管线、多模态 KV 的显存压力、请求的异构性（图+文的组合）。本篇拆解多模态推理基础设施的特殊工程点——从请求处理到显存管理到成本核算。

AI 生成的文本、图像、音视频正在以假乱真，检测技术却在「猫鼠游戏」里节节被动。本篇拆解检测的两条技术路线（被动检测器与主动水印）、各自的可绕过性与部署现实、监管的强制水印要求，以及为什么这场军备竞赛的结构性劣势在防守方——以及什么才是现实的防御姿势。

扩散模型统治图像生成数年后，自回归阵营（GPT-4o 原生图像、Gemini 的原生多模态生成）带着「理解与生成同源」的旗帜反攻。本篇拆解两条路线的机制差异、DiT 的统治基础、自回归反攻的杀手锏（文本渲染与指令遵循）、以及混合架构与「统一模型」趋势下的路线合流。

给模型装上眼睛和耳朵，等于给它开了一扇绕过安全训练的新门：把恶意指令藏进图片、用高频音频注入、在图表里编码攻击文本——多模态模型的攻击面远大于纯文本。本文讲清多模态越狱的主要技术路线、为什么它们比文本越狱更难防、以及防御的纵深设计。

单向量检索把整段文本压成一个点，cross-encoder 准但每对都要过一次模型。ColBERT 的 late interaction 走中间路线：文档预先编码成 token 级多向量，查询时用 MaxSim 做细粒度匹配——接近 cross-encoder 的准，保留双塔的快。本文讲清它准在哪、贵在哪、该放在检索流水线的哪一层。

Apertus 1.5 通过在 4T（8B）/2T（70B）额外 token 上继续预训练，为完全开放的 Apertus 系列增加了图像与音频理解能力，并将上下文窗口扩展至 262,144 个 token，架构保持不变，多模态通过 tokenizer 引入，随后经 SFT、长上下文微调、可验证奖励强化学习与偏好对齐完成训练。

OpenAI 已把 GPT-6 推向全体 ChatGPT 用户，官方口径周活超 12 亿。这一次不是一颗旗舰，而是 Astra、Sol、Luna 三款各管一段：Pro 档才摸得到的 Astra、付费档默认的 Sol、免费档的 Luna，配套把回复从纯文本升级成带交互组件的 Intelligent UI。本文梳理三款模型的定价与能力坐标、第三方评测里的真实站位，以及 GPT-6.1 Astra 因安全原因被取消的罕见一幕。

直接让网络输出一张合理的图像为什么难？扩散模型把「一步生成」反转成「多步去噪」：前向加噪提供训练素材，反向网络一步步剥离噪声，文本经 cross-attention 指挥去噪方向。本文讲清这套机制的完整逻辑，并对比扩散与自回归两条路线。

Browser Use 开源的会话式视频剪辑技能包 video-use（当日涨星 +745、★26,450、MIT）：不让模型看像素，只让它读 12KB 词级转写文本 + 按需抽查画面，配合 12 条硬规则与 EDL 驱动的 ffmpeg 确定性渲染管线。拆解两条读入通道、六步流水线与自评回路，附五个落地场景与成本口径。

Sora 基于扩散模型与 Transformer 架构，可直接从文本生成长达一分钟的高保真视频，展示了对物理世界'世界模拟器'式的理解潜力。

「这个应用每月的模型账单会是多少」——回答这个问题需要真正理解 token 计费的口径：输入输出分价、上下文累积、缓存折扣、以及隐藏的成本大头。本篇拆解计费的完整口径、一笔真实对话的成本拆解、以及按效排序的成本优化清单——把「token 焦虑」变成「token 预算学」。

「给 AI 生成的内容打个看不见的标记」是溯源最直觉的方案：文本水印改写词频、图像水印编进像素、Google 的 SynthID 已商用。但水印天生是一攻一防的军备：改写攻击、 paraphrase 绕过、开源模型无法强制。本文讲清水印的技术原理、已被证明的局限、以及它在「溯源工具箱」里的真实定位。

Embedding 模型把文本映射成向量，「相似的文本向量相近」——这个能力靠对比学习训练出来，而它的成败几乎完全取决于训练数据：正例对怎么构造、难负例怎么挖。本篇拆解对比学习的训练机制、难负例挖掘的工艺、Embedding 模型的两代演进（BERT 系到 LLM 系），以及微调一个自有 Embedding 模型的最小路径。

英伟达推出采用 MoE 架构（总参数 1200 亿、激活 120 亿）的开放多模态模型 Nemotron 3.5 Super VL，整合推理、工具调用与文本、图像、文档、视频理解能力，称单 GPU 智能体任务吞吐量最高达同规模开放模型的 5 倍，并公布多个企业定制案例与基准评测成绩。

大模型只会输出文本，却能让你的程序查数据库、发邮件——靠的不是魔法，而是一段结构化的调用意图。本文拆解 Function Calling 的完整回合流程、模型学会调工具的原理，以及参数幻觉等常见坑。

停更长达七个半月的 Gemini 旗舰模型，终于更新了。 就在刚刚，多个 Google 相关账号同步宣布：**Gemini 4 Argon 正式发布。** 并且，这可能是最近唯一一个写作、知识和长文本能力明显强于编程与 Agent 能力的前…

K-Dense 开源的科研智能体技能库：177 个覆盖基因组、药物发现、临床证据等领域的 SKILL.md，遵循 Agent Skills 开放标准，Claude Code、Cursor、Codex、Gemini CLI 都能直接安装。本文拆解它的渐进加载架构、上下文成本账本、分发与安全流水线，并给出五类落地场景与真实评测数字。

2026 年 9 月 17 日，唐杰与 GLM 团队披露：GLM-5.3 驱动的 Infra Agent 在超过 10 万张国产芯片组成的集群上，参与完成 GLM-5.3-Flash 整套推理服务的适配、诊断与优化，不到两周把端到端吞吐提升到同一硬件初始基线的 3 倍。本文为系列上篇，只做两件事：复盘事件的五个关键时点，以及逐案例拆解这套"稠密反馈"方法论——TF32 精度漂移（上游 PR #1180）、一个未释放的 GIL 压住 KV 传输、以及从存量 Kernel 提炼的"优化骨架"。每个案例给出"现象→归因→修复→验证"完整链条，并附同业坐标对照表。全系列共三篇：上篇讲技术，中篇做 RSI 分级定位与七组数字的口径核查，下篇谈边界、风险与行动清单。