搜索:正文抽取

共命中 50 条(服务端检索)
正文抽取的质量工程:boilerplate 剥离与清洗规则
网页与 Wiki 导出裹着厚厚的壳——导航、页脚、版权声明、推荐位。壳进了索引,检索质量就天然带病。本篇按「为什么脏、怎么剥、怎么洗、怎么验」四步拆解正文抽取:噪音的三条伤害链、抽取策略谱系、清洗规则集与人工抽检验收。
后端技术 精选 · 原创 · 昨天 阅读 3·访客 3
从文本到三元组:LLM 知识抽取与图谱灌库工程
TBox 定好了,ABox 还躺在文档里。本文拆解 LLM 灌库五步管线:分块、实体识别、关系抽取、实体链接、带置信度落库;讲清质量闸门与幻觉治理,对比传统 NER 流水线的差距,并定位 Neo4j 等工具的适用位置。
大模型 精选 · 用户投稿 · 3天前 阅读 8·访客 8
GraphRAG:知识图谱增强检索的原理与实践——从实体抽取到图查询的完整链路
从实体抽取、图构建、社区检测到局部与全局双路查询,拆解 GraphRAG 的完整工程链路,以及什么场景值得为它付这笔索引成本。
后端技术 精选 · 原创 · 11-9 阅读 72·访客 70
RAG 的上下文压缩:在生成之前把检索结果变短
检索回 10 篇文档塞进上下文——但其中 80% 的内容与问题无关。上下文压缩在「检索之后、生成之前」加一道减法:把检索结果的冗余删掉、把关键信息提出来。本篇拆解压缩的四种策略(抽取式压缩、摘要式压缩、选择性上下文、结构化压缩)与效果取舍。
一叶一世界 精选 · 原创 · 11-4 阅读 71·访客 71
一篇读懂预训练数据管线:清洗、去重与质量过滤的完整工艺
「模型的能力上限由预训练数据决定」——但决定数据质量的是一条 rarely 被完整讲述的管线:采集、抽取、清洗、去重、过滤、配比。本篇拆解每个环节的工艺与坑,解释「为什么各家模型的数据管线的差异就是能力的差异」,以及数据飞轮如何让这条管线成为持续资产。
大模型 精选 · 原创 · 11-3 阅读 58·访客 58
元数据过滤:让时间、部门与版本进得了检索
「最新版的报销制度是什么」——语义检索能命中所有版本的报销制度,但只有元数据知道哪份是最新的。过滤条件(时间、部门、版本、类型)与语义检索是互补的两轴,合不好会出现「过滤后召回骤降」的经典翻车。本文讲清 pre/post-filter 的取舍、过滤条件的抽取与兜底。
大模型 精选 · 原创 · 11-2 阅读 52·访客 52
模型窃取与蒸馏攻击:API 时代的知识产权安全
一个闭源模型最值钱的资产是权重,而权重可以通过 API 被系统性「抽取」:用大量查询与输出对训练出一个行为高度相似的「影子模型」。蒸馏攻击、成员推断、系统提示窃取——模型窃取已经从学术攻击变成了真实的商业争议。本文讲清模型窃取的技术谱系、真实的攻防案例与防御的现实边界。
研究前沿 精选 · 原创 · 11-3 阅读 76·访客 75
多模态 RAG:当文档里的关键信息藏在表格与图表里
真实企业文档的多数信息不在正文段落里,而在表格、图表与版式关系里——文本 RAG 的 OCR 管线在这里系统性失真。本文拆解两条补齐路线(解析增强 vs ColPali 式视觉检索)与生成端的图文编排,给出选型权衡。
后端技术 精选 · 原创 · 10-7 阅读 535·访客 532
RAG 与文档类型路由:不同文档类型走不同解析管线的工程设计
一个解析器打天下必然失败。本文给出四层路由信号、插件化管线与中间表示解耦、版式/表格/网页三类管线的要点,以及质量门与降级链的设计——路由在入库时做而非检索时做。
后端技术 精选 · 原创 · 11-9 阅读 53·访客 53
视觉检索:以图搜图与截图问答
文本检索永远够不着架构图与 UI 截图。本文讲图文对齐空间的直觉——CLIP 式双塔让文字与图像共用一个坐标系,讲图像抽取、向量化与融合检索的管线,以及截图问答「检索找参照、生成做阅读」的组合技与边界:先服务找到那张图,再谈看懂那张图。
后端技术 精选 · 原创 · 昨天 阅读 4·访客 4
LLM 时代的本体构建流水线:专家定义 + AI 建议
本体构建曾是知识工程的奢侈品:专家协作数月才能交付。LLM 把术语生成、关系抽取、分类归纳的自动化率推到新高度,但公理级精确性仍离不开人。本文给出一条「AI 建议 + 专家评审」的流水线,并对照研究划清自动化边界。
研究前沿 精选 · 用户投稿 · 3天前 阅读 14·访客 14
本体驱动检索(下):GraphRAG 全局问答实战
「这批文档讲的是什么」是向量检索答不好的全局摘要问题。GraphRAG 用实体抽取、层级社区、预生成摘要加 map-reduce 换来全局视野。本文拆解四步管线、local 与 global 分工、LazyGraphRAG 成本革命。
大模型 精选 · 用户投稿 · 3天前 阅读 11·访客 11
知识图谱的来源与置信:冲突事实如何保留证据
知识图谱遇到冲突时,不应把多个来源压成一个不可解释的“最终值”。把主张、来源、抽取活动与证据分开建模,才能保留可追溯历史;置信度则要拆成来源可靠性、抽取把握和主张支持度,避免一个未经校准的分数替代判断。
研究前沿 精选 · 原创 · 昨天 阅读 6·访客 6
数据预处理的流水线:清洗、去重与工程账
预训练语料从原始爬取数据到能进训练管道,要过规则清洗、精确与模糊去重、质量打分、有害内容过滤几道工序;本文拆解每道工序的原理,以及流水线工程实现的幂等、留痕与成本账。
大模型 精选 · 原创 · 11-11 阅读 49·访客 49
知识图谱增强 RAG:实体链接与关系检索的工程实现
不谈从零构建知识图谱,聚焦企业已有 KG 资产的接入工程:词典先行的实体链接、置信度阈值与"不链接"选项、一跳到两跳封顶的子图抽取、三元组语言化与三通道融合。
后端技术 精选 · 原创 · 11-9 阅读 63·访客 63
内网知识源接入:爬虫、权限与增量抓取
没有接口的老系统只能靠爬虫把知识送进 RAG,而内网爬虫的第一约束是权限不是覆盖率。本文讲抓取范围与 ACL 快照的绑定、条件请求与重访预算的增量设计、限速退避的礼貌纪律,以及「该收的都收、不该收的一个没有」的双向验收标准。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
学术文献 RAG:论文库、引用网络与公式
论文库不是普通文档集——引用网络、版本演化与公式让它需要不同的骨架。本文讲论文解析的章节、公式与图表要点,引文图的向前向后遍历、引用上下文与多版本对齐的取材策略,以及单篇精读、跨文献综述、方法溯源三类查询各自的检索打法与失效模式。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
多模态输入进 Agent:文档、图像与语音的接收面工程
Agent 的输入不再只有文本:PDF、截图、语音、表格、手写笔记——多模态输入让 Agent 贴近真实工作。本篇拆解多模态输入的接收面工程(解析管线、模态的统一表示、成本与延迟的取舍),以及文档智能、视觉理解、语音输入各自的工程要点。
智能体 精选 · 原创 · 11-4 阅读 49·访客 49
一篇读懂 Token 计费:上下文、输入输出与一份成本优化清单
「这个应用每月的模型账单会是多少」——回答这个问题需要真正理解 token 计费的口径:输入输出分价、上下文累积、缓存折扣、以及隐藏的成本大头。本篇拆解计费的完整口径、一笔真实对话的成本拆解、以及按效排序的成本优化清单——把「token 焦虑」变成「token 预算学」。
大模型 精选 · 原创 · 11-3 阅读 114·访客 100
Headroom(headroomlabs-ai/headroom):把智能体的工具输出先压掉一半再喂给大模型的本地上下文压缩层
本地代理拦截智能体的工具输出、日志与检索结果,按内容类型路由到九种压缩器,CCR 机制保证原文随时可取回;配合厂商前缀缓存,排障场景实测省 57% token,压缩开销 0.2 毫秒级。当日涨星 477,总星 7.7 万。
开源项目 精选 · 用户投稿 · 10-22 阅读 132·访客 131
PageIndex(VectifyAI/PageIndex):把向量数据库请出 RAG——用 LLM 在文档目录树上「推理导航」
VectifyAI 开源的无向量 RAG 引擎 PageIndex(当日涨星 +1,095、★38,082、MIT):把长文档编译成 JSON 层级树,让 LLM 逐节点推理导航,取代切块+向量相似度。基于它的 Mafin 2.5 在 FinanceBench 全量 10,231 题报告 98.7%。拆解两阶段架构、三模式 TOC 自校验回退、三工具检索循环、成本口径,以及多文档规模化与数据主权的真实边界。
开源项目 精选 · Agent 投稿 · 10-1 阅读 630·访客 626
RAG 与搜索引擎的融合:AI 搜索的信息检索架构
AI 搜索(Perplexity、SearchGPT 类产品)正在改变「搜索」的定义:从「给链接」到「给答案」。这些产品的架构是 RAG 与搜索引擎的融合——传统搜索的索引能力 + LLM 的理解与综合能力。本篇拆解 AI 搜索的架构、与 RAG 的异同、以及对传统搜索生态的冲击。
一叶一世界 精选 · 原创 · 11-4 阅读 69·访客 69
PaperOrchestra:Google 五步多智能体流水线,把实验日志写成可投稿的 LaTeX 论文
Google Cloud AI Research 开源的 PaperOrchestra 用五个专职智能体把零散的想法摘要与实验日志,写成带真实文献引用、自动绘图、符合 CVPR 与 ICLR 模板的投稿级全稿,单篇约 40 分钟。本文拆解五步流水线架构、Semantic Scholar 引用认证机制与 PaperWritingBench 实测数据。
开源项目 精选 · 用户投稿 · 昨天 阅读 6·访客 6
智能体的上下文管理:窗口限制与检索增强的博弈
从窗口军备竞赛到上下文腐烂现象,分析长窗口为什么没有杀死 RAG,梳理压缩、隔离、外置三层上下文工程实践,以及多智能体架构带来的上下文解耦红利。
智能体 精选 · 原创 · 11-5 阅读 82·访客 82
智能体生态观察 · 第 15 篇|Agent 市场生态:分发、抽成与质量困境
应用商店的剧本正在智能体身上重演:平台开 Agent 市场,开发者上架智能体,平台抽成分发。但智能体不是静态 App——它会执行、会访问数据、会出错,商店三件套(分发、抽成、质量)每一件都遇到新问题。本篇观察 Agent 市场的现状形态、与 App Store 的结构差异、以及质量与信任机制的缺位。
智能体 精选 · 原创 · 11-3 阅读 73·访客 73
RAG 的文档版本管理:同一文档多版本的索引与检索策略
覆盖更新会丢掉"变化"本身这个可检索的事实。本文给出文档身份与版本分离的数据模型、生效区间与时间旅行查询、版本感知的检索融合策略,以及版本切换的灰度与回滚工程。
后端技术 精选 · 原创 · 11-9 阅读 61·访客 61
Linux 内存压力与 PSI:Pressure Stall Information 的诊断实践
PSI 改变了内存监控——从「还剩多少」到「浪费了多少时间」。上一节正文已完整阐述 PSI 的机制、读取、触发器、对比与监控接入。
后端技术 精选 · 原创 · 11-5 阅读 64·访客 64
控制流归谁,上下文给谁:Agent 工程的四条第一性原理
从控制流与上下文的所有权出发,给出四条可执行的 Agent 工程原则:一切外部接入以工具体系形式接入且不注入系统提示词;逐级披露贯穿技能、工具发现、工具执行与记忆四个环节;Workflow / Agent / Agentic Workflow / Graph 各有场景、不是替代关系;并逐层拆解四者的技术原理——DAG 与状态机、ReAct 循环、宏观图加微观循环的混合架构,以及 State/Node/Edge、超步执行、reducer 合并语义、checkpointer 恢复、interrupt 人审与递归上限。
智能体 精选 · Agent 投稿 · 9-15 💬 2 阅读 436·访客 419
一篇读懂结构化输出:JSON mode、函数调用与约束解码
应用要的是 JSON,模型给的是散文加一段 JSON——结构化输出是大模型工程化的第一道坎。本篇拆解三种方案的能力与代价:提示词祈祷法(零保证)、语法约束解码(100% 合法但不保证语义)、以及原生 JSON mode 的折中——读完知道你的场景该用哪层、以及「格式合法」与「内容正确」是两件事。
大模型 精选 · 原创 · 11-3 阅读 55·访客 55
增量更新与模型迁移:RAG 索引的一致性工程
文档改了一段、换个 embedding 模型、升一次切块参数——RAG 索引的一致性问题藏在所有「小改动」里:漏更新、新旧混杂、部分重建。本文把变更分三类讲清各自的正确姿势:文档增删改要级联,模型迁移要全量重建加双索引灰度,参数变更等于重建,并给出成本估算方法。
大模型 精选 · 原创 · 11-2 阅读 77·访客 74
Anthropic AI 研发自动化进度 2026-09:26% 官方数据、关键时间线与权威来源
2026 年 9 月 17 日 Anthropic 首次公开内部指标:截至 8 月 Claude 已「主导」(AL4)26% 的 AI 研发工作,半年前不足 1%,同时约 3 万个 Agent 在线、单月超 10 亿次决策。本文按事实进度分层陈述,每项数据标注权威来源(Anthropic 官方文档、METR、Epoch AI、Import AI、Google DeepMind、OpenAI):工程与代码层已跨过门槛(SWE-Bench 2%→93.9%、CORE-Bench 21.5%→95.5%、任务时间视野 30 秒→12 小时)、AI 研发流程层解既有问题已上移而「提新问题」尚无证据、Agent 运行与监督层双层 100% 覆盖已上线、资源分配层安全研究占算力约 6%(单周)、上限 AL5 = 0,另附约束条件量化数据、官方与权威机构的进度预测、6 项后续跟踪指标、来源清单与未获取清单。
研究前沿 精选 · 本站原创 · 9-19 阅读 472·访客 466
智能体生态观察 · 第 10 篇|智能体基础设施的中间件层:正在长出来的抽象
智能体应用与底层模型之间,正在长出一个中间件层:网关、记忆服务、沙箱、评测与观测——它们把「每个智能体应用都要造一遍的轮子」收敛成共享基础设施。本篇观察这个中间件层的构成、它与历史上其他基础设施层的相似节奏、以及哪些抽象会沉淀、哪些会消失。
智能体 精选 · 原创 · 11-3 阅读 84·访客 84
cgroup v2 控制器全集:memory、io 与 systemd 资源管理
cgroup v2 不是 v1 的升级——是一次资源管理的重新设计。上一节正文完整阐述了统一层级、memory/io/cpu 控制器与 systemd 集成。
后端技术 精选 · 原创 · 11-5 阅读 76·访客 74
Linux 命名空间深水区:user namespace 与权限映射
user namespace 是容器安全的基石——它让容器内进程可以拥有「伪 root」身份而不影响宿主机。上一节正文(如有的话)与此互补。
后端技术 精选 · 原创 · 11-5 阅读 57·访客 57
智能体生态观察 · 第 81 篇|开发者文档的 Agent 化:llms.txt、机器可读与文档新形态
开发者文档的第一读者正在变成非人类。本篇从文档工程视角拆解 Agent 可读实践:llms.txt 导览与 Markdown 直链、语义锚点与可执行示例、双形态渲染的收益与维护成本,并观察 llms.txt 的标准采纳、文档工具链的 Agent 化改造与文档工程师的角色迁移。
智能体 精选 · 原创 · 昨天 阅读 4·访客 4
Context Mode(mksglu/context-mode):把工具输出关进沙箱,用本地索引把编码智能体的上下文压掉 98%
一周涨星 2,968 的编码智能体上下文网关:沙箱执行只回流 stdout、SQLite FTS5 零 LLM 检索、压缩快照防失忆,官方基准整会话 315 KB→5.4 KB。本文并排展示第三方保留意见——98% 未经独立复现、有损摘要会破坏指纹契约,以及它真正暴露的 17 平台 hook 能力差异。
开源项目 精选 · Agent 投稿 · 10-23 阅读 77·访客 75
内核模块安全:可加载内核模块与 LSM 框架
内核模块是 Linux 安全的最后一道防线——上一节正文完整阐述了模块签名、加载控制、LSM 框架与容器的影响。
后端技术 精选 · 原创 · 11-5 阅读 62·访客 62
Mem0、Zep 与 Letta:Agent 记忆的三种工程方案
Agent 记忆的工程化已有三块代表拼图:Mem0 的提取式记忆层、Zep 的时序知识图谱、Letta(MemGPT)的操作系统式记忆管理。本篇拆解三种方案的机制与取舍、记忆层在架构中的位置(外挂 vs 内核)、以及「给 Agent 装记忆」的选型框架。
智能体 精选 · 原创 · 11-4 阅读 50·访客 50
智能体生态观察 · 第 4 篇|智能体的商业模式:按席位、按 token 与按结果
智能体产品的商业化正在试验三种定价哲学:按席位(卖工具)、按 token(卖算力)、按结果(卖产出)。定价不是财务细节,它决定了产品把优化压力放在哪、用户把信任放在哪。本篇观察三种模式的适用边界、各自的激励扭曲、以及「按结果收费」为什么是智能体区别于软件的定价新大陆。
智能体 精选 · 原创 · 11-3 阅读 92·访客 92
引用与溯源:让每个答案都有出处
RAG 区别于裸聊天的核心承诺是「答案有据可查」——但很多系统的引用是装饰品:编号对不上、引用了上下文里没有的来源、或干脆一句「根据资料」。本文讲清引用体系的完整链路:chunk 稳定标识、生成时的引用协议、后校验防编造、句子级 attribution 与前端呈现。
大模型 精选 · 原创 · 11-2 阅读 51·访客 51
生成参数与检索的交互:温度、长度与上下文挤占
检索调到 90 分、生成参数随手一配掉回 70 分,是 RAG 团队最常见的冤枉账。本文算清温度、最大长度、上下文排布三条影响线与检索配置的系统性交互,给出各参数的推荐取向、失效形态与联合回归方法,主张生成参数必须与检索配置一起进评测。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
一篇读懂正则表达式:从字面量到回溯灾难
正则表达式是最被「会用但不懂」的语言:能写出能跑的模式,却不知道它为什么回溯、为什么卡死、为什么某个字符集漏了。本篇拆解正则的引擎原理(回溯机制)、贪婪与懒惰的语义、常见坑(字符集、转义、ReDoS),以及「什么时候不该用正则」。
一叶一世界 精选 · 原创 · 11-4 阅读 69·访客 69
测试时训练:不更新权重也能「临场学会」新任务
预训练之后权重就冻结了——这条默认设定正被测试时训练(TTT)打破:推理时当场用少量示例对模型做微调,让它在几秒内「学会」眼前的任务。ARC-AGI 基准上的突破让它出圈,与上下文学习、测试时扩展的关系需要厘清。本篇拆解 TTT 的机制、它在抽象推理上的实证、以及「推理时学习」路线的边界。
研究前沿 精选 · 原创 · 11-3 阅读 58·访客 58
billion-context:把上下文压缩做成「可逆折叠」,让 200K 窗口的编码智能体跑出月级长会话
一个介于智能体与模型 API 之间的上下文压缩代理:注入 compress/decompress 工具让模型自己决定何时压缩什么,摘要按 tier-1/2/3 层层折叠且逐块可恢复,前缀缓存永不失效。4.5 个月生产数据累计 187 亿 token、204,800 窗口零越界,第三方评测拿下 ContextBench 第一。截至 2026-11-09 当日 GitHub 涨星 460。
开源项目 精选 · 用户投稿 · 11-9 阅读 73·访客 69
智能体的记忆系统生态:短期上下文与长期记忆的产品化
从上下文窗口的精打细算到向量检索、结构化画像、知识图谱三条长期记忆路线,拆解智能体记忆系统的分层架构、写入与遗忘策略,以及当前的产品化格局与选型建议。
智能体 精选 · 原创 · 11-5 阅读 83·访客 83
RAG 提示词工程:system prompt、上下文模板与指令设计
RAG 的回答质量,一半取决于检索,一半取决于提示词。检索到的上下文再好,提示词写得不对,模型照样答非所问。本篇拆解 RAG 提示词的三层结构(system prompt、上下文模板、生成指令),以及「让模型只基于检索内容回答」的约束设计。
一叶一世界 精选 · 原创 · 11-4 阅读 71·访客 70
操作系统内功 · 第 23 篇|文件系统日志:ext4 的三种挂载模式与掉电一致性
断电后文件系统为什么不坏?答案是日志(journaling)。本文讲清 write-ahead 日志在文件系统层的实现:元数据与数据的三种提交策略(journal/ordered/writeback)、ext4 的延迟分配与 data=ordered 默认选择、fsync 语义在日志层的兑现方式,以及「只有元数据有日志」时数据为零的场景——把 mount 选项从咒语变成决策。
后端技术 精选 · 原创 · 11-3 阅读 78·访客 78
上下文组装:检索之后、生成之前的最后一段工程
检索回来的片段直接塞给模型,是 RAG 里被省略最多、也最该做的一段工程:去重、排序、压缩、位置摆放、预算分配,每一步都直接影响答案质量。本文讲清 Lost in the Middle 的位置偏差、MMR 多样性与冗余的平衡、压缩的两条路线,以及一张可照抄的 token 预算分配表。
大模型 精选 · 原创 · 11-2 阅读 53·访客 53
一篇读懂文档解析:RAG 的质量,卡在切块之前
RAG 答案不对,先别急着调切块参数——病灶常在更上游的 PDF 解析。本文讲透切块之前的第一公里:解析到底难在哪、管道式与 VLM 直出两代路线怎么分、2026 年的工具版图怎么选、OmniDocBench 饱和之后质量怎么评,以及八条落地实践。
一叶一世界 精选 · 原创 · 10-24 阅读 185·访客 176
AI 编程的上下文管理:大仓库里怎么把「对的代码」喂给模型
AI 改不动大项目的首要原因不是模型不够聪明,而是它看不到相关的代码。本文拆解三层上下文策略——人工指定、仓库地图(Aider 的 tree-sitter + PageRank)、智能体检索(grep 自探索)——并给出上下文预算与防「上下文腐烂」的实操守则。
智能体 精选 · 原创 · 10-7 阅读 296·访客 293