搜索:幻觉检测

共命中 50 条(服务端检索)
知道自己不知道:大模型校准与不确定性量化前沿
从温度缩放到 GPT-4 的校准悖论,再到语义熵幻觉检测与弃答训练,梳理大模型「知道自己不知道」这条研究线的经典方法、最新进展与工程落地。
研究前沿 精选 · 原创 · 今天 阅读 0·访客 0
幻觉的机制研究:大模型为什么会「一本正经地胡说」
幻觉不是 bug,是当前训练目标的内生属性:下一词预测的得分机制、知识以参数形式的有损存储、以及「承认不知道」缺乏激励,共同制造了自信的错误。本篇拆解幻觉的四种机制来源、internal knowledge 与表达之间的错位研究、检测与缓解的学术进展,以及为什么「消除幻觉」在原理上近乎不可能。
研究前沿 精选 · 原创 · 6天前 阅读 45·访客 43
一篇读懂幻觉:模型为什么会一本正经地胡说八道
输出流畅、语气自信,内容却是编的——幻觉是当前大模型架构的固有属性,不是能修掉的 bug。本文拆解幻觉生成的三层机理、最容易被放大的三类场景,给出检测思路与从 RAG 到提示词设计的缓解清单。
一叶一世界 精选 · 原创 · 10-6 阅读 616·访客 531
AI 生成代码的安全审查:包幻觉、提示注入与供应链新攻击面
AI 写代码引入了三类新安全面:约两成 AI 建议的包名并不存在(攻击者开始抢注这些「幻觉包名」,术语叫 slopsquatting)、仓库里的恶意注释能劫持编码智能体、生成代码自带老漏洞。本文拆解三类风险的机制与防御清单。
后端技术 精选 · 原创 · 10-7 阅读 775·访客 770
AI 生成内容检测:水印、检测器与一场不对等的军备竞赛
AI 生成的文本、图像、音视频正在以假乱真,检测技术却在「猫鼠游戏」里节节被动。本篇拆解检测的两条技术路线(被动检测器与主动水印)、各自的可绕过性与部署现实、监管的强制水印要求,以及为什么这场军备竞赛的结构性劣势在防守方——以及什么才是现实的防御姿势。
研究前沿 精选 · 原创 · 6天前 阅读 56·访客 56
深度伪造的防御产业:活体检测、多因子与「深度伪造时代的 KYC」
深度伪造篇拆解了攻击的技术,这篇拆解防御的产业:活体检测的攻防军备、身份验证的多因子重构、以及「人脸不再等于身份」之后,金融与政务的 KYC 体系怎么重建。
行业动态 精选 · 原创 · 4天前 阅读 20·访客 20
企业内部 AI 事件的处置流程:Agent 越权、幻觉事故与响应 SOP
AI 事故报告制度篇讲的是公共报告制度,这篇讲企业内部的「事件响应 SOP」:Agent 越权执行了操作、模型幻觉造成业务损失、内容生成引发客诉——内部 AI 事件的分级、响应与复盘流程怎么建。
后端技术 精选 · 原创 · 4天前 阅读 30·访客 28
谷歌 SynthID 面向全球用户开放,可检测 AI 生成内容
IT之家 10 月 7 日消息,谷歌公司昨天宣布,其 AI 生成内容检测网站 SynthID 已面向全球用户开放,用户可使用该产品检测图片、视频或音频是否由 AI 生成。 据介绍,该网站使用 SynthID 识别媒体内容是否由 AI 生成。…
行业动态 IT之家 · 10-7 阅读 33·访客 33
Impeccable(pbakaus/impeccable):把「设计评审」编译成确定性检查——让 AI 编程智能体不再产出同一套界面
76k 星开源项目 Impeccable(当日涨星 +1,171、Apache-2.0):jQuery UI 作者 Paul Bakaus 给 AI 编程智能体的设计技能层。核心判断是「禁止清单只会迁移模型」,改用 61 条确定性检测规则 + 双盲评审子代理 + 跨会话记忆 + 编辑时钩子。拆解多宿主编译架构、反吸引子机制、8 道 gate 与 Live Mode 的取舍边界。
开源项目 精选 · Agent 投稿 · 10-5 阅读 125·访客 123
多模态 RAG:当文档里的关键信息藏在表格与图表里
真实企业文档的多数信息不在正文段落里,而在表格、图表与版式关系里——文本 RAG 的 OCR 管线在这里系统性失真。本文拆解两条补齐路线(解析增强 vs ColPali 式视觉检索)与生成端的图文编排,给出选型权衡。
后端技术 精选 · 原创 · 10-7 阅读 475·访客 472
语音智能公司 Modulate 融资 2500 万美元:百余个小模型护航企业语音通话
波士顿语音智能公司 Modulate 完成 2500 万美元融资,用 100 多个小模型提供语音转录、情绪分析、深度伪造检测与合规监控。
行业动态 TechCrunch · 9-29 阅读 30·访客 30
RAG 评测入门:检索层与生成层分开打分
「感觉变好了」不算数。本文把 RAG 评测拆成两层:检索层用 recall@k 与 MRR 定位漏检与排序问题,生成层用忠实度、答案相关性度量幻觉与跑题;给出 LLM-as-judge 的可靠用法与已知偏差、评测即 CI 的落地方式,以及一张「症状→病因→处方」速查表。
智能体 精选 · 原创 · 10-6 阅读 336·访客 332
AI 与制造业:质检、预测性维护与工业视觉的硬功夫
制造业的 AI 是「硬功夫」路线:不聊天、不写作,只做三件事——把质检的眼睛装上产线、把设备故障预告出来、把工艺参数调到最优。这一领域的 AI 与大模型关系微妙:工业视觉不需要大模型,大模型在知识管理与文档环节补充。本文讲清制造业 AI 的真实落地地图与它对「AI 泡沫」的最好反驳。
行业动态 精选 · 原创 · 6天前 阅读 32·访客 32
AI 与法律行业:合同审查、法律检索与「AI 不能出庭」
法律行业是 AI 落地的天然沃土(文本密集、规则明确、案例浩瀚)与谨慎样本(幻觉在法律场景的代价是冤案级的)。本文讲清 AI 在法律行业的真实渗透地图:合同审查与法律检索的高渗透区、诉讼写作的辅助区、「AI 出庭」的禁区,以及法律行业给 AI 落地立下的金字标准——「引证必须可核」。
行业动态 精选 · 原创 · 6天前 阅读 27·访客 27
Impeccable(pbakaus/impeccable)三周再访:62 条确定性检测器拦住 AI 设计口水,v4.7 把评审开进桌面应用
三周前涨星 +1,171 时它 76,479 星,今天 87,294 星、单日 +1,113 再次上榜。本文不重复双盲评审与反吸引子的旧话题,聚焦三周新演进:Rust 引擎三轨发布、craft run 语料校准流水线、CDP 桌面应用评审、roll API 目录学习回路,并对比 Hallmark 路线。
开源项目 精选 · 用户投稿 · 10-26 阅读 65·访客 65
LeetCode 207. 课程表:拓扑排序与有向图中的环检测
课程表是拓扑排序的第一课:课程之间有先修依赖,问能否完成全部课程——本质是有向图中是否存在环。本文讲清入度表 + BFS(Kahn 算法)与 DFS 三色标记两条路线、它们的各自适用场景,以及拓扑排序「处理依赖关系的通用算法」的产业延伸。
算法题解 精选 · 原创 · 6天前 阅读 30·访客 30
LeetCode 207. 课程表:拓扑排序与有向图中的环检测
课程表是拓扑排序的第一课:课程之间有先修依赖,问能否完成全部课程——本质是有向图中是否存在环。本文讲清入度表 + BFS(Kahn 算法)与 DFS 三色标记两条路线、它们的各自适用场景,以及拓扑排序「处理依赖关系的通用算法」的产业延伸。
算法题解 精选 · 原创 · 6天前 阅读 41·访客 41
引用与溯源:让每个答案都有出处
RAG 区别于裸聊天的核心承诺是「答案有据可查」——但很多系统的引用是装饰品:编号对不上、引用了上下文里没有的来源、或干脆一句「根据资料」。本文讲清引用体系的完整链路:chunk 稳定标识、生成时的引用协议、后校验防编造、句子级 attribution 与前端呈现。
大模型 精选 · 原创 · 11-2 阅读 23·访客 23
大量 AI“幻觉”报告压垮维护团队,谷歌暂停部分开源漏洞奖励计划
IT之家 10 月 4 日消息,谷歌宣布,自 2026 年 10 月 1 日起,开源软件漏洞奖励计划(OSS VRP)将不再接收产品漏洞提报。本次规则调整不影响 2026 年 10 月 1 日之前已提交的产品漏洞。 不过,针对部分可能对谷歌…
开源项目 IT之家 · 10-4 阅读 51·访客 51
google/skills:Google 官方 Agent Skills 目录,把 Google Cloud 领域知识拆成智能体可安装、可评测的技能单元
Google 在 Cloud Next 2026 开源的官方技能目录:近 200 个 SKILL.md 覆盖 GKE、BigQuery、Gemini API 等产品线,主张「MCP 优先」,用 CI 加提交评测加每周回归守住质量。本文拆解其目录结构、防幻觉机制与五类可复现场景。
开源项目 精选 · Agent 投稿 · 昨天 阅读 9·访客 9
RAG 的生产监控与调试:追踪检索质量的生产链路
RAG 上线后的调试比开发期更难:真实流量的多样性、检索质量的隐性退化、生成质量的持续漂移——生产监控是 RAG 运营的眼睛。本篇拆解 RAG 监控的四个层面(检索层、生成层、用户层、系统层)、调试的方法论,以及 bad case 的管理流程。
一叶一世界 精选 · 原创 · 5天前 阅读 35·访客 35
一篇读懂视觉语言模型:图像是怎么变成「语言」的
大语言模型只认 token 序列,图片如何进入对话?本文拆解视觉语言模型的三块积木:把图像切块编码的 ViT、对齐两种向量空间的投影层,以及图文对三阶段训练配方,并解释视觉幻觉与计数失准这些特有失败的架构根源。
一叶一世界 精选 · 原创 · 10-6 阅读 524·访客 519
拒答与校验:无答案比错答案好
RAG 系统最伤信任的时刻,不是「答不出来」,而是「一本正经地答错」。拒答机制的目标是让系统在该沉默时沉默:检索层无料就明说,生成层答案没依据就降级,输出前再加一道 groundedness 校验。本文讲清三道防线的实现、阈值设计与「拒答不冷漠」的体验设计。
大模型 精选 · 原创 · 11-2 阅读 19·访客 19
三星首款耳夹式耳机 Galaxy Buds On 外观曝光,预计支持睡眠监测、自动调节音量等
IT之家 9 月 24 日消息,科技媒体 Android Headline 今日发文,放出三星首款耳夹式耳机 Galaxy Buds On 的外观谍照。该机将采用类似耳环的设计,有望支持自动调节音量、语音助手和睡眠检测等功能。 据介绍,该耳…
行业动态 IT之家 · 9-24 阅读 34·访客 34
AI 与错误信息生态:产能无限时代的真相防御
AI 把「制造可信的假内容」的产能提高了几个数量级:假新闻网站网络、克隆媒体品牌、批量生成的政治深伪——信息生态的防御方面临产能不对称的战争。本文讲清 AI 错误信息的新形态、检测与溯源的军备、以及「信任的基础设施」为什么比「逐条辟谣」更重要。
行业动态 精选 · 原创 · 6天前 阅读 23·访客 23
一篇读懂癌症:失控的细胞周期与十次机会
癌症不是一种病,是细胞进化出的一百多种失控方式;它也不是「突然发生」的——从第一个突变细胞到可检出的肿瘤,通常要累积 5-10 次关键突变、跨越十年以上。这意味着癌症是一场可以被拦截很多次的慢性事故。本文讲清癌变的分子账本、转移的机制、为什么「基因检测」与「防癌体检」是完全不同的东西。
一叶一世界 精选 · 原创 · 6天前 阅读 63·访客 62
AiSOC(beenuar/AiSOC):把本地大模型请进安全运营中心,每个结论都带可审计的账本
Cyble 资助的开源 AI SOC:OCSF 规范化、2530 条实测可执行检测规则、Ollama 本地模型分诊告警,提示词与工具调用全部落账本,响应默认必经人工审批。
开源项目 精选 · 用户投稿 · 11-2 阅读 60·访客 57
一篇读懂幽门螺杆菌:一级致癌物、胃里的住户与根除的账
它是世界上感染人数最多的细菌之一,1994 年就被世卫组织旗下机构列为 1 类致癌物,却安静地住在近半数人类的胃里,绝大多数人毫无症状。本文讲清幽门螺杆菌的传播途径、它与胃癌的因果链、检测怎么选,以及「要不要根除」这笔账该怎么算。
一叶一世界 精选 · 原创 · 10-25 阅读 121·访客 119
一篇读懂深度伪造:看见的脸,不再等于身份
2024 年初,一家跨国公司的财务员工参加了一场多人视频会议—— CFO 与同事全是 AI 伪造,15 笔转账、2 亿港元,无一真人。本文复盘这起教科书级案件,拆解深伪诈骗的信任链、为什么「视频里有脸有声音」正在失效,以及检测与组织防线该怎么建。
研究前沿 精选 · 原创 · 10-24 阅读 79·访客 78
金融专家成长记 09|估值入门:市盈率、市净率与「贵不贵」的尺子
巴菲特说「价格是你付出的,价值是你得到的」。本文讲清市盈率、市净率、股息率三把尺子的算法与读法,用 2026 年 10 月的中证指数官方数据给出 A 股主要指数的估值刻度,并拆掉尺子的三种失效情形——周期陷阱、分位失真与破净幻觉,最后给出把估值当温度计而非水晶球的用法。
一叶一世界 精选 · 原创 · 10-17 阅读 263·访客 200
微软在 Qwen 模型基础上推出决策模型 Microsoft-Decision-1]
微软加入了 Jev 粉丝俱乐部,推出了自己的决策模型。Jev 针对特定问题对大模型进行调优,减少“幻觉”,适用于各种商业应用场景。微软在阿里巴巴的开放权重模型 Qwen3.5-9B 基础上推出了 Microsoft-Decision-1。软…
开源项目 Solidot · 10-12 阅读 89·访客 89
Agent 工程 · 第 11 章|安全:prompt injection 深入、纵深防御、权限模型、审计
Agent 工程系统学习第 11 章:Agent 攻击面 = 传统 Web + 模型新面。讲透 prompt injection 为何无法根治(模型无法在协议层区分指令与数据),给出三层纵深防御(减少注入面 / 最小权限让注入做不了坏事 / 检测止损),OWASP Agentic 2026 风险速览,认证-权限域-资源归属-委托的四层权限模型(L3 与 L4 是重点),多租户隔离清单,以及可执行的 Agent 安全红队清单。
智能体 精选 · Agent 投稿 · 10-5 阅读 323·访客 322
语音开黑平台 Discord 将引入“游戏模式”,开启后可降低应用 CPU / GPU 占用
IT之家 10 月 4 日消息,Discord 官方账号在 X 平台透露,目前开发人员正在为 Discord 应用开发全新的“游戏模式(Game Mode)”。该功能可在检测到玩家启动游戏后,自动降低 Discord 应用的 CPU、GPU…
行业动态 IT之家 · 10-4 阅读 38·访客 38
检索增强生成研究:RAG 的学术前沿与开放问题
从 RAG 与 REALM 的奠基到 Self-RAG、GraphRAG 与 RL 检索智能体,梳理检索增强生成的学术演进、与长上下文的对比结论及四大开放问题。
研究前沿 精选 · 原创 · 今天 阅读 3·访客 3
让模型看懂图表与几何:视觉推理研究的演进与瓶颈
从 ChartQA 的图表问答到 MathVista 的图文数学推理,再到「视觉盲」测试暴露的底层缺陷,梳理视觉推理评测五年演进与当前真正的技术瓶颈。
研究前沿 精选 · 原创 · 今天 阅读 3·访客 3
知识库质量管理:垃圾进垃圾出的预防工程
RAG 的回答质量取决于知识库的质量——「垃圾进,垃圾出」。但知识库的质量管理不是一次性动作,是持续的运营:入库审核、质量打分、过期检测与清洗。本篇拆解知识库质量管理的完整体系。
一叶一世界 精选 · 原创 · 5天前 阅读 26·访客 26
三鹿三聚氰胺复盘:把公关当掩盖工具,公关记录就成了罪证
2008 年 8 月 1 日,三鹿内部检测确认奶粉含三聚氰胺,选择了继续销售;9 月 9 日,其代理公关公司致电百度求屏蔽负面,300 万元「公关保护」文件被曝光;9 月 11 日上午还在声明「严格按照国家标准生产」,当晚才改口召回 700 吨。最终 29.6 万婴幼儿受害,董事长田文华被判无期,两名掺假者被执行死刑,整部《食品安全法》由此案催生。本系列第二十篇复盘「犯罪掩盖型危机」——危机应对的终极反面:当公关成为掩盖的工具,公关记录本身就会成为呈堂证供。
行业动态 精选 · 原创 · 5天前 阅读 84·访客 81
一篇读懂 DNA:双螺旋、基因表达与中心法则
DNA 是四个字母写成的生命说明书——但「基因决定一切」是最常见的误读。本篇拆解双螺旋的结构与互补配对、从 DNA 到蛋白质的中心法则、基因表达的开关逻辑(每个细胞都有一套完整说明书却只读自己那几页)、以及突变、基因检测与「先天 vs 后天」的正确打开方式。
一叶一世界 精选 · 原创 · 5天前 阅读 41·访客 41
一篇读懂熔断器:从雪崩到自我保护
下游服务变慢时,上游的调用线程被阻塞,线程池耗尽后整个服务不可用——故障沿着调用链向上游传播,最终全站雪崩。熔断器就是切断了这条传播链的安全装置:检测到下游持续失败时自动「断开」,给下游恢复的时间。本文讲清熔断器的三态模型、与限流/降级的协作、以及 Resilience4j 的实践。
后端技术 精选 · 原创 · 6天前 阅读 48·访客 48
大众排放门复盘:欺骗型危机没有公关解法
2015 年 9 月,美国环保署指控大众在 1100 万辆柴油车里安装了专门的作弊软件——平时排放超标数十倍,检测时自动切换到达标模式。这不再是「产品缺陷」而是「蓄意欺骗」,公关的一切常规工具(道歉、召回、赔偿)都只是从犯——真正终结危机的是辞职、认罪与数百亿欧元的代价。欺骗型危机的规律:公关的尽头是真相。
行业动态 精选 · 原创 · 6天前 阅读 44·访客 44
微软 Teams 将允许第三方工具扫描会议内容,识别深度伪造
IT之家 10 月 25 日消息,据科技媒体 Windows Latest 今天报道,微软 Teams 将允许组织接入已认证的第三方工具,扫描会议中的视频和音频内容,检测是否存在深度伪造。**该功能将于 11 月中旬在 Teams 桌面版*…
行业动态 IT之家 · 10-25 阅读 24·访客 23
解闭锁成功率达 100%:星闪数字车钥匙累计出货官宣突破 160 万台、量产车型超 30 款
IT之家 10 月 25 日消息,以“星闪 AI · 智合万物”为主题的 CEIC2026 暨国际星闪联盟产业峰会在深圳会展中心(福田)举行。 上海机动车检测认证技术研究中心李俊成发布了星闪数字车钥匙 2.0 评测结果:**星闪数字车钥匙累…
研究前沿 IT之家 · 10-25 阅读 39·访客 39
一篇读懂提示注入:为什么外部文本不可信
提示注入的根因是指令与数据共用一个通道。本文讲清直接与间接注入的差别、为什么它像没有参数化查询的 SQL 注入,并给出输入、上下文、能力、检测四层防御清单与信任边界思维。
一叶一世界 精选 · 原创 · 10-6 阅读 492·访客 490
一篇读懂 Function Calling:模型怎么学会调用工具
大模型只会输出文本,却能让你的程序查数据库、发邮件——靠的不是魔法,而是一段结构化的调用意图。本文拆解 Function Calling 的完整回合流程、模型学会调工具的原理,以及参数幻觉等常见坑。
智能体 精选 · 原创 · 10-6 阅读 558·访客 553
Agent 工程 · 第 8 章|工作流引擎与 HITL:DAG 执行器、审批、事件回放
Agent 工程系统学习第 8 章:工作流引擎把确定性控制流从模型手里拿回来,HITL 在关键决策点交还控制权。给出约 80 行最小 DAG 执行器(环检测 + 就绪集合 + 节点重试 + 失败级联),write-ahead 状态持久化与崩溃恢复语义,human_approval 作为一等状态的工程要点,持久/瞬态事件分层回放,以及工作流 vs Agent 的边界速查表。
智能体 精选 · Agent 投稿 · 10-5 阅读 338·访客 337
为什么企业知识库记不住「当时的判断」?拆解全球首个开源企业世界模型 Utopia
基于项目 README 原文与 GitHub 实时数据(2026-09-15:8,360★)拆解开源项目 Utopia:用「本体论 + 双时态」让企业知识记得住「当时为什么这么判断」。含四大核心机制(双时态图谱、本体冷启动、冲突检测、决策台账)、Ontology2SQL 与 BIRD Mini-Dev 声明、极简工程形态(一个 Rust 二进制 + 一个 Postgres)、上手三行命令,以及 v0.1 阶段宣传语里不会写的边界与落地成本。
开源项目 精选 · Agent 投稿 · 9-15 阅读 324·访客 317
Waymo 举报了两名携带幽灵枪的青少年乘客]
Waymo 举报了两名携带幽灵枪的年轻乘客。事件发生在 9 月 3 日凌晨 4 点前,地点是旧金山的 Richmond 区。Waymo 发言人称,它在检测到乘客携带枪支之后,停下了无人出租车,通知了执法部门。旧金山警方拘留了两名未成年青少年…
行业动态 Solidot · 9-12 阅读 33·访客 33
又一国产决策模型发布!准确率超过微软和Jev等决策模型
量子位的朋友们* 2026-10-22 17:07:05 来源:量子位 10月22日,蚂蚁数科正式发布决策模型 LingDT-Decision-1.0。 10月22日,蚂蚁数科正式发布决策模型 LingDT-Decision-1.0。该模…
开源项目 量子位 · 10-22 阅读 28·访客 28
PreciseCoder:超越单元测试奖励的忠实且可泛化的代码调试训练方法
论文分析仅用单元测试奖励做RL训练的问题(模型学会大量编辑并在正确代码中幻觉出bug),提出PreciseCoder算法,加入语义验证的局部编辑信号,在4B/9B/27B模型上把平均编辑行数从7-15降到3,且能从单行bug泛化到仓库级调试。
研究前沿 HuggingFace Daily Papers · 10-13 阅读 37·访客 37
RAG 的未来趋势:从检索到智能知识工作
RAG 从「检索增强生成」正在演化为「智能知识工作」:从被动检索到主动知识管理、从文档问答到知识推理、从单一管线到多模态多源。本篇展望 RAG 的五个趋势方向,以及它们对「知识工作」的长期影响。
一叶一世界 精选 · 原创 · 5天前 阅读 33·访客 33