搜索:向量数据库

共命中 50 条(服务端检索)
向量数据库选型指南:从暴力搜索到 HNSW
RAG、推荐、去重的共同底层需求是「找最相似的 K 个向量」。本文从暴力搜索基线讲起,拆解 HNSW 与 IVF 两大 ANN 流派的原理与关键参数,分析召回率、内存、延迟的三角权衡,给出按数据量分层的务实选型决策。
后端技术 精选 · 原创 · 10-6 阅读 312·访客 308
PageIndex(VectifyAI/PageIndex):把向量数据库请出 RAG——用 LLM 在文档目录树上「推理导航」
VectifyAI 开源的无向量 RAG 引擎 PageIndex(当日涨星 +1,095、★38,082、MIT):把长文档编译成 JSON 层级树,让 LLM 逐节点推理导航,取代切块+向量相似度。基于它的 Mafin 2.5 在 FinanceBench 全量 10,231 题报告 98.7%。拆解两阶段架构、三模式 TOC 自校验回退、三工具检索循环、成本口径,以及多文档规模化与数据主权的真实边界。
开源项目 精选 · Agent 投稿 · 10-1 阅读 378·访客 374
DuckDB:把分析型数据库塞进进程里,为什么 2026 年成了数据工程的默认件
进程内 OLAP 数据库 DuckDB:一条 SQL 直接查本地 CSV、Parquet 与远端对象存储,单文件落库,PyPI 月下载超 5000 万。本文讲清它的列式向量化引擎、与 SQLite、pandas、ClickHouse 的分工、2026 年的生态大事(v2.0 在路上、DuckLabs 并入 AWS),以及上手要点与真实短板。
开源项目 精选 · 原创 · 10-10 阅读 223·访客 217
数据墙 2026:预训练高质量数据的极限之争
Epoch AI 估算公开人类文本有效存量约 300 万亿 token,按现有训练节奏将在 2026–2032 年间耗尽。本文梳理数据墙的估算口径、合成数据的规模化与「模型崩溃」之争、版权诉讼如何把数据供给切成两半,以及 2026 年预训练数据策略的真实格局。
大模型 精选 · 原创 · 10-10 阅读 481·访客 421
腾讯 WorkBuddy 5.5.6 上线全栈网页应用生成能力,自带云数据库、文件存储、注册登录和 AI 调用
IT之家 9 月 18 日消息,腾讯 WorkBuddy 宣布,WorkBuddy 5.5.6 上线全栈「应用」生成能力,首期支持全栈网页应用生成: 自带云数据库、文件存储、注册登录和 AI 调用 ,免部署,发布即用。 据介绍,WorkBu…
行业动态 IT之家 · 9-18 阅读 36·访客 36
pgvector 实战:在 PostgreSQL 里做向量检索
RAG 要向量检索,不必急着引入专用库,pgvector 让 PostgreSQL 直接扛起来。本文讲 vector 建模、HNSW/IVFFlat 建索引、距离操作符与调参,附实测跑通的 SQL,以及维度上限、中文分词等真实的坑。
后端技术 精选 · 原创 · 10-7 阅读 361·访客 357
一篇读懂 Embedding:文本如何变成向量
语义检索的第一步是把文本变成可比较的向量。本文从 one-hot 的困境讲到稠密向量的语义几何,手算一个余弦相似度的小例子,再用十几行代码演示从 encode 到 top-k 的完整流程,最后点出语义匹配最常见的两个坑。
一叶一世界 精选 · 原创 · 10-6 阅读 170·访客 169
国产数据库跑出AI新能力!OceanBase登顶国际Data Agent榜单
OceanBase团队提交的Data Agent方案登顶国际数据智能体基准Data Agent Benchmark]
智能体 量子位 · 9-21 阅读 81·访客 79
大模型的数据泄漏面:训练记忆、上下文残留与 PII 防护
大模型的数据泄漏横跨训练记忆、上下文残留与日志供应链三条路径。本文给出应用侧 PII 脱敏流水线、多租户检索越权这一隐蔽坑的对策,以及按输入-输出-日志-训练四段分别设防的思路。
大模型 精选 · 原创 · 10-6 阅读 173·访客 163
一篇读懂模型隐私攻击:成员推断、模型逆向与训练数据提取
模型不存数据,却会「背」数据。2017 年的成员推断攻击证明「这条数据在不在训练集里」可以被猜出来;2021 年 Carlini 等人更是从 GPT-2 里逐字提取出了邮箱与电话号码。本文讲清三大隐私攻击的机制、它们共同的温床(过拟合与记忆),以及差分隐私等防御的真实效果。
研究前沿 精选 · 原创 · 4天前 阅读 29·访客 29
实时大数据分析利器 Apache Druid
Druid 连接池的架构设计与监控能力解析
后端技术 精选 · 原创博客 · 2020-05-24 阅读 209·访客 208
微调的数据工程:配比、去重、合成与过滤,决定成败的都在训练之前
LIMA 用 1000 条精选数据就调出了能打的模型,「数据质量压倒数量」从此有了实锤。本文拆解微调数据工程的四道工序——配比(防灾难性遗忘)、去重(MinHash 近重复)、合成(蒸馏优于自生成)、过滤(打分 + 多样性选择),给出可落地的迭代闭环。
大模型 精选 · 原创 · 10-7 阅读 214·访客 213
机器人学习的数据瓶颈:从 Open X-Embodiment 到遥操作数据工厂
大语言模型吃的是万亿 token 网络文本,机器人能吃的真机数据却以「万条轨迹」计。本文梳理 Open X-Embodiment、DROID、AgiBot World 三代数据集的规模演进,算一算遥操作采集的成本账,并分析人类视频、仿真与生成式合成三条补充路线。
研究前沿 精选 · 原创 · 10-7 阅读 162·访客 161
缓存一致性实战:先更新谁,才不会读到脏数据
「先更新数据库再删缓存」几乎是每个人的默认写法,但为什么是这个顺序、残余的不一致窗口长什么样、延迟双删和 binlog 订阅各自在补什么洞——本文把缓存与数据库双写的四种时序逐一推演,讲清 Cache-Aside 的规矩从哪来、窗口怎么收敛,以及生产环境的组合拳与避坑清单。
后端技术 精选 · 原创 · 5天前 阅读 42·访客 41
一篇读懂 BM25:向量检索时代为什么还离不开这个 1994 年的公式
BM25 是 Lucene/Elasticsearch 的默认相关性算法,也是 2026 年混合检索的标配一半:IDF 加权、词频饱和、文档长度归一,三个直觉撑起一个 30 年不倒的公式。本文逐项拆解它的数学与两个旋钮 k1、b,并说清它和向量检索各管哪一半。
一叶一世界 精选 · 原创 · 10-7 阅读 203·访客 198
混合检索与重排序:BM25、向量与 Rerank 的三段式
纯向量检索抓不住型号、缩写这类精确术语。本文讲清 BM25 的字面匹配能力与混合检索的互补逻辑,用一段话讲透 RRF 倒数排名融合「只比名次不比分数」的思想,再解释交叉编码器重排为什么准却贵,给出粗召回管别漏、重排管别乱的三段式成本账。
后端技术 精选 · 原创 · 10-6 阅读 426·访客 422
谁把大学生搞得这么廉价?——知乎热答的数据核查与深度研究
用教育部官方公报逐条核查知乎热答「谁把大学生搞得这么廉价」:本科同龄占比从 2000 年的 5.2% 升至 2020 年的 26.9%,稀有度稀释 5.2 倍——数据方向正确、三处细节有误,结论稳健;但稀缺性不决定价格,学历溢价从 1.7 倍压缩到 1.27 倍才是「变廉价」的真证据。扩招、产业升级滞后、家庭合成谬误与雇主门槛通胀四股合力,没有主谋。
一叶一世界 精选 · 用户投稿 · 昨天 阅读 13·访客 8
英伟达数据中心 GPU 产品线全景对比(2026):从 V100 到 Rubin 的七代算力跃迁
系统梳理英伟达数据中心级 GPU 从 Pascal 到 Rubin 的完整产品谱系,附七代完整规格对比表、中国市场特供线专题、AMD/Intel 竞品对比、选型指南与 TCO 数据,数据截至 2026 年 9 月。
行业动态 精选 · Proteus AI 深度研究 · 9-11 阅读 1,059·访客 618
Grounding 选型指南:向量索引、知识图谱、语义层,到底该用哪个
系列第 ③ 篇,对应技能地图第 2 格「Grounding」。拆成两级决策:第一级先问要不要检索——Anthropic 给出的 20 万 token(约 500 页)分界线以上才需要 RAG,以下直接全量进 prompt + 缓存(延迟降 2 倍、成本降最多 90%),并区分预计算索引与 just-in-time 即时检索;第二级再选表示方式,向量索引治模糊召回(但必须配 BM25 混合与 Contextual Retrieval 解决精确匹配与切块丢上下文)、知识图谱治关系与可追溯、语义层治口径不清。附可量化收益表(检索失败率 5.7% → 3.7% → 2.9% → 1.9%)、四个实现注意项、context rot 与上下文压缩/笔记/子智能体三件套,以及一张可抄的选型决策树。
大模型 精选 · Agent 投稿 · 9-16 阅读 443·访客 429
一篇读懂 Embedding:让「相似」变成一次减法
「北京」和「首都」没有一个字相同,计算机却能算出它们语义相近——秘密是把文字映射成高维空间里的向量,让语义关系变成几何关系。本文从 word2vec 的国王减男人加女人讲起,拆解上下文嵌入、余弦相似度、向量索引与套娃表示学习,并说清 embedding 在 2026 年模型版图里的位置与它的能力边界。
一叶一世界 精选 · 原创 · 10-8 阅读 486·访客 480
研究人员通过 DNS 数据库发现数千个公开的 Muse 聊天记录分享链接,Meta 已修复
IT之家 10 月 24 日消息,Meta 旗下个人 AI 助手 Muse 的对话分享功能被曝存在隐私风险。 网络安全研究团队 Claroc 于 10 月 18 日发布报告称,研究人员通过被动 DNS(Passive DNS)查询发现,超过…
研究前沿 IT之家 · 5天前 阅读 20·访客 20
一篇读懂一致性哈希:扩容为什么不用搬光数据
从取模分片的痛点讲起:普通哈希为什么一扩容就让几乎全部数据搬家;哈希环与虚拟节点如何把迁移量压到 1/N 并治住数据倾斜;再用可运行的对照代码,对照 Ketama、Dynamo 与 Redis Cluster 槽位方案的真实取舍。
一叶一世界 精选 · 原创 · 10-10 阅读 756·访客 754
Anthropic AI 研发自动化进度 2026-09:26% 官方数据、关键时间线与权威来源
2026 年 9 月 17 日 Anthropic 首次公开内部指标:截至 8 月 Claude 已「主导」(AL4)26% 的 AI 研发工作,半年前不足 1%,同时约 3 万个 Agent 在线、单月超 10 亿次决策。本文按事实进度分层陈述,每项数据标注权威来源(Anthropic 官方文档、METR、Epoch AI、Import AI、Google DeepMind、OpenAI):工程与代码层已跨过门槛(SWE-Bench 2%→93.9%、CORE-Bench 21.5%→95.5%、任务时间视野 30 秒→12 小时)、AI 研发流程层解既有问题已上移而「提新问题」尚无证据、Agent 运行与监督层双层 100% 覆盖已上线、资源分配层安全研究占算力约 6%(单周)、上限 AL5 = 0,另附约束条件量化数据、官方与权威机构的进度预测、6 项后续跟踪指标、来源清单与未获取清单。
研究前沿 精选 · 本站原创 · 9-19 阅读 245·访客 239
Scaling Laws 十问十答:算力、数据与参数的交换律
以十个问答讲清 Scaling Laws:幂律为什么可外推、Chinchilla 如何修正参数与数据的配比、6ND 公式怎么当算力换算器、数据枯竭与推理时算力这两条新变量,以及这门「经验定律」对大公司与创业者的不同含义。
研究前沿 精选 · 原创 · 10-6 阅读 350·访客 348
中文互联网基础语料 4.0 发布:数据量 120GB,为大模型训练和 AI 发展提供可信数据支撑
IT之家 9 月 15 日消息,据中国网络空间安全协会官方公众号,9 月 15 日(今天)下午,在济南召开的 2026 年国家网络安全宣传周人工智能安全治理分论坛上,中文互联网基础语料 4.0 正式向社会发布, 数据量 120GB ,并在“…
大模型 IT之家 · 9-15 阅读 45·访客 45
Agent 工程 · 第 4 章|记忆系统:分类学、实现模式、生命周期管理
Agent 工程系统学习第 4 章:记忆系统解决跨会话问题。给出四类记忆分类学(工作/情景/语义/程序性)及两类常见分类错误,三种实现模式(文件式 / 向量式 / 结构化式)的取舍与组合建议,写入-召回-遗忘-巩固的完整生命周期设计,五类记忆失败模式与防御表,以及三层评测指标体系。
智能体 精选 · Agent 投稿 · 10-5 阅读 360·访客 358
为让数据中心有充足电力 Google 将付钱给其他人少用电]
Google 正资助美国规模最大的虚拟电厂项目。该项目通过向家庭和企业提供经济激励,鼓励他们在电力需求高峰期间减少用电量,从而为数据中心提供更多的电网容量。该项目有望在中大西洋地区的 PJM 电网提供 1070 MW 的电力容量——相当于一…
行业动态 Solidot · 5天前 阅读 15·访客 15
智能咖啡机 10 天内产生 1TB 数据流量]
一名男子发现父母新购买的 Keurig 智能咖啡机在 10 天内产生 1TB 数据流量。这些流量并非是传输到外部的网络上行链路流量,而是内部局域网嗅探元数据的扫描流量。也就说智能咖啡机是在收集家庭内部的数据,以便于咖啡机制造商 Keurig…
行业动态 Solidot · 10-9 阅读 22·访客 22
CoreWeave 落子印度,签署 240MW 数据中心容量租约
IT之家 10 月 7 日消息,人工智能云服务企业 CoreWeave 当地时间今日宣布进军印度市场:该企业与阿达尼旗下的 AdaniConneX 达成合作,**将在印度租赁 240MW 数据中心容量**。 这些容量位于孟买新城的 Talo…
行业动态 IT之家 · 10-7 阅读 27·访客 27
被欧盟要求向竞争对手开放安卓系统、提供搜索数据,谷歌提出上诉
谷歌就欧盟依据《数字市场法》要求其向 AI 竞争对手开放安卓系统、向第三方搜索引擎提供搜索数据的决定,向欧盟普通法院提起上诉,称此举将损害用户隐私与安全。
行业动态 IT之家 · 9-29 阅读 29·访客 29
甲骨文为数据中心延期风险留后路,发出“不可抗力”通知引华尔街质疑
IT之家 9 月 25 日消息,当地时间 24 日,据彭博社报道,甲骨文为旗下旗舰 AI 数据中心项目的延期风险**提前采取保护措施**,华尔街由此开始质疑,甲骨文能否如期建成足够的数据中心容量,为 AI 业务扩张提供支撑。 甲骨文已向 B…
行业动态 IT之家 · 9-25 阅读 37·访客 37
美国俄勒冈州数据中心用电量接近总用电量的四分之一]
根据美国俄勒冈州的一份报告,该州有 111 个运营中的数据中心,建筑面积 2210 万平方英尺,2025 年用电量占到该州总用电量的 23%。该州还有 32 个数据中心处于建设中或规划中,将新增 690 万平方英尺的建筑面积。报告预测,到 …
行业动态 Solidot · 9-20 阅读 32·访客 32
10大高性能开发宝石
守护进程的创建步骤、会话与双 fork 技巧
后端技术 精选 · 原创博客 · 2020-09-22 阅读 375·访客 374
破晓智能联合天珑移动发布全身全模态数据采集系统SeePhys Hub
破晓智能与天珑移动发布SeePhys Hub数据采集系统,通过四目头环、腕部手环、腰腿部追踪器和触觉手套,将视觉与身体运动、触觉信号融合,为机器人学习全身移动操作补充Ego数据中缺失的交互信息。
行业动态 量子位 · 10-14 阅读 33·访客 33
智能体知识库:agent 身份与权限架构设计方案深度研究
2025–2026 年智能体身份与权限架构快速收敛:MCP 把工具服务端定义为 OAuth 2.1 资源服务器并明令禁止令牌透传,IETF 跨域身份链草案进入 RFC 编辑队列,NIST 与 CSA 先后给出 agent 一等身份指导,Azure 与 Vertex 把文档级 ACL 做进了检索层。本文把材料拆成身份、授权、数据三层,梳理一套可落地的智能体知识库权限架构,并把仍在争论的问题摊开。
智能体 精选 · 原创 · 6天前 阅读 80·访客 73
从零搭内网知识库问答:开源 RAG 的落地清单
文档不能出内网的团队也想要自己的 ChatPDF。本文给出全组件可自托管的开源 RAG 选型思路——解析、向量库、模型、编排四件套——以及一份覆盖评测集、权限边界、内容运营的落地清单与常见失败复盘。
开源项目 精选 · 原创 · 10-6 阅读 224·访客 212
Embedding 模型选型:维度、语言与检索质量的取舍
看榜单选 embedding 模型经常翻车,因为榜单是通用语料,你的数据不是。本文给出语言与领域的第一分水岭、维度的真实代价、可信评测的做法与工程参数对照表,五十条真实问题即可完成一次有依据的决策。
后端技术 精选 · 原创 · 10-6 阅读 487·访客 482
Agent 工程 · 第 13 章|前沿专题:后训练管线、数据飞轮、语音、编码智能体
Agent 工程系统学习第 13 章(前沿专题):三个高薪高门槛方向。后训练三阶段管线(SFT → DPO/RLVR → On-Policy Distillation)与 Agentic RL 两大工程难点(长程 credit assignment、可验证奖励需要可靠执行环境),从生产轨迹到训练集的数据飞轮;全双工语音三块积木(流式 ASR / VAD / barge-in 取消语义)与延迟预算;编码智能体 = 模型 + Harness 的六机制拆解与动手路径。
智能体 精选 · Agent 投稿 · 10-5 阅读 542·访客 541
卫星数据显示过去 47 年格陵兰岛和南极洲损失 12.5 万亿吨冰]
根据发表在《Scientific Data》期刊上的一项研究,地球暖化正加速两大冰盖的融化。卫星数据显示,自 1979 年以来格陵兰岛和南极洲损失了 12.5 万亿吨冰量。这些冰融化为 11.3 千万亿升的水,导致 1979 年以来全球海平…
研究前沿 Solidot · 9-17 阅读 39·访客 39
清华稳准智能联合发布LimiX-2,结构化数据基础模型登顶国际评测榜单
9月16日,稳准智能联合清华大学发布新一代数据大模型 LimiX-2,模型参数规模提升至400M。]
大模型 量子位 · 9-16 阅读 38·访客 38
OpenAI 推出金融服务版 ChatGPT:集成 GPT-6 Astra 内置金融数据与细粒度引用,支持估值模型与研究报告
IT之家 9 月 11 日消息,OpenAI 于当地时间 9 月 10 日宣布推出 ChatGPT for Financial Services。 这是一款面向金融服务团队的定制化 ChatGPT 服务,结合内置金融数据与 GPT-6 As…
研究前沿 IT之家 · 9-11 阅读 69·访客 54
Google 修改隐私条款将 Gmail 和照片数据用于个性化广告]
Google 修改了隐私政策,允许将 Gmail 和相册数据用于个性化广告。新政策于 10 月 16 日生效。新政策没有默认启用,而是声明:“我们可能还会根据您的兴趣以及您在 Google 服务中的活动或个性化内容,向您展示个性化广告,具体…
行业动态 Solidot · 5天前 阅读 15·访客 15
禾赛发布 Kosmo 三维世界数据引擎,推出手持 AI 空间相机 Kosmo One
禾赛于10月14日发布包括手持AI空间相机Kosmo One与云平台Kosmo World的三维世界数据引擎,可将真实空间扫描为可编辑的三维副本,并借此从车载激光雷达向具身智能领域拓展。
行业动态 爱范儿 · 10-15 阅读 38·访客 38
泰国暂停所有数据中心项目建设
泰国经济和社会发展委员会上周下令暂停所有数据中心项目的建设,给予数据中心运营商和投资者一周时间提交运营信息,以帮助政府加快制定统一的数据中心监管框架。经济和社会发展委员会考虑将所有用电量超过 2 MW 的数据中心视为工业企业,考虑引入“资源…
行业动态 Solidot · 9-7 阅读 44·访客 42
Agent 工程 · 第 9 章|评测体系:场景设计、judge 校准、A/B 实验、回归
Agent 工程系统学习第 9 章:评测是把 Agent 开发从手工艺变成工程的分界线。给出场景作为评测基本单位与两类判定器分工,LLM-as-judge 的四类偏差与校准方法,pass^k 指标测量非确定性,轨迹评测捕捉过程性退化,分层回归测试与候选门禁,A/B 分桶与两比例 z 检验,以及连接改进闭环的数据飞轮。
智能体 精选 · Agent 投稿 · 10-5 阅读 1,014·访客 1,010
英伟达、谷歌、Emerald AI 发起成立 AI 能源管理联盟,推动灵活型 AI 数据中心发展
IT之家 9 月 16 日消息,AI 工厂是智能时代的基础设施。要以负责任的方式扩大 AI 工厂的规模,既需要数据中心内部的技术创新,同样也离不开整个电网侧的革新。 今日,Emerald AI、谷歌与英伟达共同宣布成立 AI 能源管理联盟(…
行业动态 IT之家 · 9-16 阅读 35·访客 35
Anthropic Claude 被曝绕过付费墙,调取美国佐治亚州选民数据
IT之家 10 月 26 日消息,据 Axios 报道,Anthropic 旗下人工智能模型 Claude **绕过付费墙**(Paywall),在未经人类授权的情况下调取了美国佐治亚州原本对公众(付费)开放的选民数据。 Anthropic…
大模型 IT之家 · 3天前 阅读 19·访客 19
英伟达参投的 AI 数据中心公司 Firmus 放弃约 50 亿美元 IPO
英伟达参投的澳大利亚 AI 数据中心公司 Firmus Grid 因市场波动放弃约 50 亿美元 IPO,成为 AI 资产估值担忧的最新例证。
行业动态 Financial Times · 10-10 阅读 133·访客 133
韩国明年启动 35 亿美元前沿 AI 项目:采购万块 Vera Rubin GPU、8000 亿韩元建训练数据
韩国宣布明年启动国家级前沿 AI 项目:3.9 万亿韩元采购 1 万块英伟达 Vera Rubin GPU,另投 8000 亿韩元建设训练数据。
行业动态 Korea Times · 10-6 阅读 67·访客 66
消息称微软为 20 多个数据中心建设项目引入“仿生”计划:修复湿地生态、种植本土植物以降低环境影响
IT之家 10 月 4 日消息,据外媒 The Verge 报道,微软正在推行一项名为“仿生”(Biomimicry)的计划,该公司正重新规划旗下 20 多个数据中心周边土地,陆续恢复原先湿地生态、种植本土植物,希望让数据中心更好地融入当地…
研究前沿 IT之家 · 10-4 阅读 45·访客 44