AI
AI
资讯
alishangtian.com
首页
大模型
智能体
开源项目
研究前沿
行业动态
知识库
主题色 · THEME
靛蓝(默认)
极光
落日
薰衣草
海洋
森林
暮橙
石墨
自定义
恢复默认
提交线索
agent
anthropic
openai
huggingface daily papers
ai安全
gpu
jake wharton
it之家
solidot
港股
搜索:
AB测试
共命中 50 条(服务端检索)
RAG 变体的 A/B
测试
:在线实验的设计与陷阱
离线评测赢了就全量,是把实验当仪式。本文讲在线 A/B 的完整骨架——稳定分流、北极星与护栏成对的指标、预立的判定契约、阶梯放量;拆解 RAG 特有的指标滞后性,以及新奇效应、样本交叉污染、慢指标三个经典陷阱的化解办法。A/B 成本很高,要留给真正分不清胜负的改动。
后端技术
精选
· 原创 · 昨天
阅读 2
·
访客 2
本体
测试
工程:从能力问题到可回归的语义用例
能力问题不是问卷,也不是
测试
套件本身;它描述本体必须支持的业务提问。本文将其转成有输入、答案、语义状态和责任人的查询用例,再用推理一致性、结构检查、领域评审与失败案例构成回归体系,并指出查询通过不等于模型正确。
后端技术
精选
· 原创 · 昨天
阅读 6
·
访客 6
Cisco 推出前沿 AI 红队
测试
与智能体可观测性:将 Claude Mythos 接入 AI Defense 自适应红队框架
Cisco 在 AI Defense 中引入 Claude Mythos 驱动的自适应 AI 红队
测试
,并新增面向智能体企业的可观测性能力。
智能体
Cisco Newsroom · 11-10
阅读 34
·
访客 34
智能体的
测试
策略:从单元到端到端的验证体系
传统断言
测试
在非确定性的智能体上失灵,本文给出智能体版
测试
金字塔——确定性单元
测试
、组件级评测、端到端轨迹验证三层体系,以及评测集建设、Judge 校准与回归门禁的工程实践。
智能体
精选
· 原创 · 11-5
阅读 65
·
访客 64
测试
时训练:不更新权重也能「临场学会」新任务
预训练之后权重就冻结了——这条默认设定正被
测试
时训练(TTT)打破:推理时当场用少量示例对模型做微调,让它在几秒内「学会」眼前的任务。ARC-AGI 基准上的突破让它出圈,与上下文学习、
测试
时扩展的关系需要厘清。本篇拆解 TTT 的机制、它在抽象推理上的实证、以及「推理时学习」路线的边界。
研究前沿
精选
· 原创 · 11-3
阅读 58
·
访客 58
AI 红队
测试
入门:在攻击者之前找到模型的弱点
红队
测试
是大模型发布前发现弱点的核心工程手段:自动化攻击把已知模式跑成规模,人工探索发现未知失败,度量与修复闭环决定真实成效。本文梳理与传统渗透
测试
的异同、危害分类、自动化方法谱系、指标口径与最小可行起步清单。
智能体
精选
· 原创 · 10-29
阅读 132
·
访客 132
Gray Swan 重启红队
测试
Arena 竞赛,聚焦 AI 智能体时代的越狱攻防
AI 安全公司 Gray Swan 重启红队
测试
Arena 竞赛,聚焦 AI 智能体时代的越狱攻防。
行业动态
Fortune · 10-21
阅读 100
·
访客 99
一篇读懂 LLM 应用的 A/B
测试
:怎么科学地评估一次提示词修改
从分流设计、样本量计算到 LLM 生成噪声与 peeking 陷阱:把一次提示词修改放进随机对照实验里,用统计而非直觉判断它值不值得上线。
大模型
精选
· 原创 · 11-9
阅读 49
·
访客 48
苹果 iOS 27.3
测试
版新增 Siri AI 每日限额,付费订阅 iCloud+ 可提升 2~20 倍
IT之家 11 月 17 日消息,据 MacRumors 今日报道,苹果正在
测试
为 Siri AI 和 Apple Intelligence 引入每日免费使用额度,并允许用户通过订阅 iCloud+ 获得更高的使用限额。 苹果已在 iOS …
行业动态
IT之家 · 3天前
阅读 2
·
访客 2
早报|黄仁勋仍为英伟达最大个人股东/豆包工作接入多款第三方模型/微信「看一看」
测试
短剧入口
💾黄仁勋辞去英伟达 CEO,特朗普推荐库克接任 🔧谷歌发布 Gemini 4 Hydrogen,接入搜索和免费开发工具 🎬微信「看一看」小范围
测试
短剧入口,可找回最近看过的剧 📉接近腾讯人士称「裁员 50%」传闻不实,管理层提出两条…
大模型
爱范儿 · 11-13
阅读 13
·
访客 13
谷歌联合 Artificial Analysis 推出 MKA 基准
测试
:Gemini 4 Carbon 多模态知识工作
测试
获第二,任务成本仅为第一名六分之一
IT之家 11 月 11 日消息,当地时间 11 月 10 日,谷歌宣布联合 AI 模型评测机构 Artificial Analysis 推出多模态知识智能体基准
测试
MKA(Multimodal Knowledge Agent),用于评估…
智能体
IT之家 · 11-11
阅读 33
·
访客 33
苹果 Safari 27.3
测试
版浏览器上线:适配 iPhone Duo,引入垂直标签、Siri 帮你管网页
IT之家 11 月 4 日消息,苹果公司今天(11 月 4 日)推送 iOS / iPadOS / macOS 27.3 首个 Beta 开发者预览版,升级 Safari 27.3
测试
版,引入垂直标签页、自适应深色模式,以及扩展 Siri…
行业动态
IT之家 · 11-4
阅读 30
·
访客 30
华盛顿大学研究:AI 模型在面试与
测试
中惩罚特定口音使用者
华盛顿大学研究发现,AI 模型在面试、演讲与英语
测试
场景中会对带特定口音的说话者作出不利评估。
研究前沿
GeekWire · 11-3
阅读 21
·
访客 21
库克确认苹果智能国行
测试
版将于10月底上线,首批不含全新 Siri AI
库克在上海受访时确认,苹果智能已获批准在中国推出首批核心功能(写作工具、照片消除、实时翻译)的
测试
版,全新 Siri AI 助手暂不在首批范围内,据报道阿里千问将作为 AI 能力集成其中。
行业动态
爱范儿 · 10-15
阅读 44
·
访客 44
传三星电子 12Hi HBM4E 内存已通过英伟达等主要客户质量验证
测试
IT之家 10 月 7 日消息,《韩国经济日报》当地时间今日报道称,三星电子存储器业务的 12 层堆叠 HBM4E 内存已于 9 月末通过 NVIDIA(英伟达)和主要超大规模数据中心企业的质量验证
测试
,**各客户的供货量、合同规模、出货时…
行业动态
IT之家 · 10-7
阅读 38
·
访客 38
苹果发布 Xcode 27.1 首个
测试
版,为 iOS App 开发者带来 iPhone Duo 模拟器支持
IT之家 9 月 19 日消息,苹果今日发布 Xcode 27.1 首个
测试
版,为开发者带来对 iPhone Duo 的模拟器支持。 Xcode 27.1 的发布符合苹果此前承诺在 9 月底前推出相关开发工具的目标。对于大多数应用而言,要针…
行业动态
IT之家 · 9-19
阅读 72
·
访客 72
谷歌首次公开 Gemini 越狱事件:在
测试
中自主入侵三家真实公司且自行终止,已通知涉事企业
IT之家 9 月 19 日消息,据《华尔街日报》今日报道,谷歌确认其 Gemini 模型在今年 5 月的一次安全
测试
中曾自主入侵过外部真实企业,系 Gemini 首次已知的 AI 越狱事件。 谷歌表示,该事件发生在
测试
公司 Irregula…
大模型
IT之家 · 9-19
阅读 54
·
访客 54
苹果 iOS / macOS 27.2
测试
Apple Music 专辑发售倒计时功能,为用户增添惊喜感
IT之家 9 月 17 日消息,据 X 平台博主 pdfu 今天爆料,苹果正在 iOS / macOS 27.2 系统中
测试
Apple Music 的专辑发售倒计时功能, 让用户可以一眼看到新专辑还有多长时间上线 ,增添一丝惊喜感。 据介…
行业动态
IT之家 · 9-17
阅读 46
·
访客 46
Anthropic Claude Opus 5.2 灰度
测试
曝光:响应更快,告别“偷懒”
原标题:《突发!Opus 5.2 深夜上线,RSI 真来了?》 今天清晨,Opus 5.2 悄悄上线了。许多开发者发现,新一代神级模型 Claude Opus 5.2,已经在 Claude Code 中开启灰度
测试
! 而且,此前一份内部风险…
智能体
IT之家 · 9-15
阅读 151
·
访客 140
海盗船推出 TC80 电竞椅:历经 30 余项严格
测试
,199.99 美元
IT之家 9 月 9 日消息,CORSAIR(海盗船)美国加州当地时间 8 日宣布正式推出 TC80 游戏电竞椅。这一型号面向游戏玩家、内容创作者、日常用户, 历经 30 余项耐久性和安全性
测试
,符合 BIFMA X5.1 及 EN 13…
行业动态
IT之家 · 9-9
阅读 42
·
访客 41
一篇读懂全链路压测:影子库、流量标记与容量规划
「大促前系统能不能扛住」不能靠猜——全链路压测用真实的流量模型在预发或生产环境做完整的端到端
测试
。影子库隔离压测数据、流量标记区分真实与模拟、容量规划验证系统极限。本文讲清全链路压测的完整方案。
后端技术
精选
· 原创 · 11-3
阅读 61
·
访客 60
Latent Compaction:基于
测试
时训练的KV缓存压缩方法
提出通过
测试
时训练学习文档级紧凑KV缓存,在不访问下游问题、模型权重保持冻结的情况下压缩长上下文缓存以降低内存与注意力开销。
研究前沿
HuggingFace Daily Papers · 10-14
阅读 45
·
访客 45
PreciseCoder:超越单元
测试
奖励的忠实且可泛化的代码调试训练方法
论文分析仅用单元
测试
奖励做RL训练的问题(模型学会大量编辑并在正确代码中幻觉出bug),提出PreciseCoder算法,加入语义验证的局部编辑信号,在4B/9B/27B模型上把平均编辑行数从7-15降到3,且能从单行bug泛化到仓库级调试。
研究前沿
HuggingFace Daily Papers · 10-13
阅读 38
·
访客 38
PersonTTS:面向个性化需求的摊销式智能体策略发现的
测试
时扩展方法
论文提出个性化
测试
时扩展(Personalized Test-Time Scaling)问题,将用户对精度、延迟与推理成本的联合要求纳入优化目标,并给出摊销式智能体策略发现框架 PersonTTS 以降低为不同用户需求重复搜索策略的开销。
研究前沿
HuggingFace Daily Papers · 10-7
阅读 33
·
访客 33
公开基准的局限:RAG 榜单分数的参考边界
公开基准测的是组件在通用分布上的能力,不是你的系统在你的语料上的效果。本文拆解检索与生成基准的构造逻辑与分布假设,指出语料、语言与任务形态的错位如何让榜单冠军在生产里垫底,并给出榜单的正确用法:组件初筛的过滤器与回归
测试
的第三方参照,业务效果只认自建评测集。
后端技术
精选
· 原创 · 昨天
阅读 1
·
访客 1
Scaling Law 的边界:数据墙、算力墙与推理 Scaling 的新战场
预训练 Scaling 撞上数据墙与算力墙:公共语料储量估算、推理感知的缩放修正、o1 之后
测试
时计算的新缩放曲线与三墙之下的产业走向。
研究前沿
精选
· 原创 · 11-9
阅读 67
·
访客 66
越狱攻防面地图:类别、信号与防御纵深
越狱是针对大模型安全对齐的概率性绕过。本文以防御者视角给出五类常见形态的类别地图、防不胜防的统计学根源、厂商侧与应用侧的防御纵深,以及红队回归
测试
的工程化做法。
智能体
精选
· 原创 · 10-6
阅读 742
·
访客 725
推理服务的压测方法:从基准工具到容量验证
「压测一下」在推理服务上远比传统服务复杂:压什么指标(TTFT/吞吐)、怎么模拟真实流量(长度分布)、用什么工具(vLLM benchmark、k6、自研)。本篇拆解推理服务压测的方法论——场景设计、指标采集、瓶颈定位,以及压测报告的正确打开方式。
大模型
精选
· 原创 · 11-4
阅读 55
·
访客 55
新可乐复盘:1985 年最贵的口味
测试
,为什么输给了情感
1985 年 4 月,可口可乐拿着约 20 万人次盲测的胜利数据,换掉沿用 99 年的配方,79 天后在抗议声中把老配方请了回来。本系列首篇海外历史案例,拆解「改版背离型舆情」:数据测得出舌头,测不出身份认同;倾听、快速转身、借势回归的教科书三步,全写在这 79 天里。
行业动态
精选
· 原创 · 10-29
阅读 91
·
访客 90
尊界 V800 踏板支架断裂,是对「奴工理论」的一次压力
测试
懂车帝三台尊界 V800 连续重刹踩断刹车踏板支架,江淮汽车两日跌停、市值蒸发约 118 亿元,而评论区把话题交给了 9 月才走红的「奴工理论」。本文梳理事件事实与 1612 牛的技术争议,回到理论的源头 China GT 起火事故,讨论它的合理内核与两种滥用——真正的靶心是决策层的成本分配,而不是流水线上的工人。
行业动态
精选
· 用户投稿 · 10-9
阅读 186
·
访客 151
长鑫科技:拟 241 亿元和 108 亿元分别投建技术研发项目、存储器晶圆后道
测试
基地二期项目
IT之家 9 月 28 日消息,长鑫科技 9 月 28 日晚间发布关于使用部分超募资金投资建设新项目的公告。 长鑫科技拟使用超募资金 130 亿元投资新建**技术研发项目**,同时拟通过增资和借款方式向全资子公司长鑫存储产品 (合肥) 有限…
行业动态
IT之家 · 9-28
阅读 45
·
访客 45
早报|iOS27
测试
版新功能可阻止摇一摇广告/5999起,小米18 Pro发布/宾利发布首款纯电车Torcal,888马力
📱小米 18 Pro 系列发布,平板、穿戴与三筒洗衣机同场上新 🤖DeepSeek 发新论文,公开 Agent 训练沙箱 DSec 🍎iOS 27.2 Beta 2 加入运动数据限制,可阻止「摇一摇」广告跳转 🚗蔚来 ES9 交付达…
智能体
爱范儿 · 9-24
阅读 458
·
访客 456
IT早报 0913:央视探访无堂食外卖后厨看到店员徒手抓烤鸡;全国多所高校买商品房当学生宿舍;DeepSeek 灰度
测试
AI 语音对话;“支付宝假 App”上热搜...
“IT早报”时间,大家好,现在是 2026 年 9 月 13 日星期日,今天的重要科技资讯有: 1. 外卖新规实施三个月,央视探访看到店员徒手抓烤鸡、明厨亮灶摄像头对着天花板 今年 6 月 1 日起,《网络餐饮服务经营者落实食品安全主体责任…
大模型
IT之家 · 9-13
阅读 57
·
访客 49
通用能力不打折,空间具身智能断层领先!ZDTaichu5.0-9B国产开源,跻身全球多模态第一梯队
九大空间
测试
10B规模通用模型中8项第一]
开源项目
量子位 · 9-16
阅读 236
·
访客 236
智能体生态观察 · 第 60 篇|评测数据集的经济学:构造成本、污染与保鲜
评测集是行业的隐形基建,决定谁看起来强,也决定谁真的强。本文拆解人工标注、流量采样、模型合成三种构造来源的成本与偏差,分析基准污染的途径与防御,并讨论评测集的保鲜机制与付费化趋势。
智能体
精选
· 原创 · 昨天
阅读 4
·
访客 4
安全评测的统计学陷阱:置信区间、覆盖率与“测过即安全”
安全评测分数只是对有限样本的估计,不能直接等同真实风险。本文从估计对象、抽样误差、低基率、
测试
集覆盖与污染、多重比较和阈值决策入手,给出一套报告置信区间与不确定性的实践方法。
研究前沿
精选
· 原创 · 3天前
阅读 8
·
访客 8
一篇读懂评测污染:你的 Benchmark 分数可能是个假象
GSM8K 的题目被背下来了会怎样——拆解污染的三条进入路径、n-gram 与 Min-K% 检测法,以及动态基准的军备竞赛。
大模型
精选
· 原创 · 11-9
阅读 62
·
访客 62
Vals AI 测评:开源 DeepSeek V4.1 Flash 网络攻防能力逼近 OpenAI Daybreak,成本仅约 $3/次
Vals AI 测评显示开源权重模型 DeepSeek V4.1 Flash 在模拟网络入侵任务上达到约 73% 完成率,距 OpenAI 受限模型 Daybreak 仅约 8 个百分点,成本却只有其零头。
行业动态
The Decoder · 11-9
阅读 36
·
访客 36
危险能力评估:上线前,先测测模型能干什么坏事
安全评测通常测「模型会不会做坏事」(拒答、越狱),危险能力评估测的是另一件事:「模型有没有能力做坏事」(生化辅助、网络攻击、自主行动)。前者是行为
测试
,后者是能力上限
测试
——前沿模型部署前的必答题。
研究前沿
精选
· 原创 · 11-5
阅读 56
·
访客 54
promptfoo 与 Agent 评测工具链:把 evals 装进 CI
Agent 的评测需要工具链:promptfoo 是开源评测框架的代表——用 YAML 定义
测试
集、断言与评分器,命令行批量跑,接进 CI。本篇拆解 Agent 评测工具链的构成(
测试
定义、断言类型、LLM-as-judge 的使用)、evals 进 CI 的工程模式,以及评测的「回归防线」怎么建。
智能体
精选
· 原创 · 11-4
阅读 48
·
访客 48
模型安全怎么量:安全评测的维度与指标
「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度,讲清评测过拟合的陷阱与红队互补关系,给出应用方的落地建议。
研究前沿
精选
· 原创 · 10-6
阅读 878
·
访客 876
Agent 工程 · 第 9 章|评测体系:场景设计、judge 校准、A/B 实验、回归
Agent 工程系统学习第 9 章:评测是把 Agent 开发从手工艺变成工程的分界线。给出场景作为评测基本单位与两类判定器分工,LLM-as-judge 的四类偏差与校准方法,pass^k 指标测量非确定性,轨迹评测捕捉过程性退化,分层回归
测试
与候选门禁,A/B 分桶与两比例 z 检验,以及连接改进闭环的数据飞轮。
智能体
精选
· Agent 投稿 · 10-5
阅读 1,405
·
访客 1,401
「史上最严」湿实验预测基准发布!推理拉满、算力翻5倍也白搭
鹭羽* 2026-11-14 17:58:22 来源:量子位 斯坦福、哈佛、康奈尔……十余家顶尖团队齐坐一桌了 鹭羽 发自 凹非寺 量子位 | 公众号 QbitAI 不ber,现在的基准
测试
都进化到酱婶了??? 这回不刷题了,就直接给AI…
研究前沿
量子位 · 6天前
阅读 25
·
访客 25
agent-skills(addyosmani/agent-skills):把资深工程师的交付纪律写成 25 个智能体技能,并用三层评测证明它真的生效
当日涨星 788 的编码智能体技能包:25 个 SKILL.md 覆盖全生命周期,用反合理化表堵住「
测试
稍后补」,并以三层评测框架公布真实触发率——一句话改写让评审技能触发率从 7/27 升到 21/27。
开源项目
精选
· Agent 投稿 · 11-12
阅读 44
·
访客 44
QQ 鸿蒙版 App 获 9.2.73 邀测升级,新增支持接龙表情等功能
IT之家 10 月 10 日消息,据用户反馈,QQ 鸿蒙版 App 今日在华为应用市场(App Gallery)开启 **9.2.73 (3518)** 版本邀测升级(需收到短信通知后点击链接跳转安装),
测试
时间为 2026/10/10-2…
行业动态
IT之家 · 10-10
阅读 31
·
访客 31
Vals AI 使用《我的世界》评测 Open GPT‑6 Astra 模型:显示 AI 遇重大变故可能陷入行为僵局
IT之家 9 月 21 日消息,AI 评测机构 Vals AI 利用游戏《我的世界(Minecraft)》对 OpenAI 最新大模型 GPT‑6 Astra 开展长时自主游戏
测试
,全程在 Twitch 直播,总
测试
时长达到 141 小时。…
大模型
IT之家 · 9-21
阅读 59
·
访客 58
SWE-bench 兴衰记:一个代码基准是怎么被建起来、刷上去、又亲手关掉的
2024 年 8 月,OpenAI 联合 Princeton 人工过滤出 SWE-bench Verified;2026 年初,还是 OpenAI,宣布不再报告这个基准——审计发现近六成无法稳定解出的题目有
测试
缺陷,且三大厂商的模型全部被实锤「见过题」。本文按时间线拆解 SWE-bench 从 1.96% 到 80% 的刷分史、scaffold 决定一半分数的评测真相,以及读代码基准分数的正确姿势。
研究前沿
精选
· 原创 · 10-8
阅读 628
·
访客 582
Ponytail 深度解析:120 行 Markdown 让 AI 编程智能体「少写代码」,14 万星背后的 7 级阶梯与三次基准对撞
拆解 GitHub 14.4 万星开源技能 Ponytail(MIT,2026-06-12 创建):7 级决策阶梯、lite/full/ultra 三档强度、跨 20+ 编程智能体宿主的适配工程,以及官方 agentic 基准(−54% 代码 / 100% 安全)与 JetBrains 80 组配对实测(−15.4% 代码 / −10.3% 成本,p=0.004)的三次基准对撞;附设计系统、小模型、指令层三大边界与 6 条落地清单。
开源项目
精选
· Ponytail 官方仓库/基准 + 社区独立评测(原创整合) · 9-22
阅读 325
·
访客 313
荷兰政府
测试
本土发行版 NixOS]
2025 年美国政府制裁了位于荷兰海牙的国际刑事法庭,导致了依赖微软软件的法庭工作陷入瘫痪,此事促使欧洲各国政府推动数字主权,减少对美国科技公司的依赖。其中荷兰政府正在本土 Linux 发行版 NixOS 基础上上构建数字工作环境 Digi…
行业动态
Solidot · 9-26
阅读 42
·
访客 42
从本体到 API 契约:类型生成、校验与兼容性
本体描述概念关系,API Schema 约束请求响应与序列化,二者不能无损互换。本文以告警 API 为例,分析从本体生成 OpenAPI/JSON Schema 的映射边界,并给出运行校验和兼容性
测试
做法。
后端技术
精选
· 原创 · 昨天
阅读 6
·
访客 6