搜索:测试

共命中 50 条(服务端检索)
智能体的测试策略:从单元到端到端的验证体系
传统断言测试在非确定性的智能体上失灵,本文给出智能体版测试金字塔——确定性单元测试、组件级评测、端到端轨迹验证三层体系,以及评测集建设、Judge 校准与回归门禁的工程实践。
智能体 精选 · 原创 · 今天 阅读 2·访客 2
测试时训练:不更新权重也能「临场学会」新任务
预训练之后权重就冻结了——这条默认设定正被测试时训练(TTT)打破:推理时当场用少量示例对模型做微调,让它在几秒内「学会」眼前的任务。ARC-AGI 基准上的突破让它出圈,与上下文学习、测试时扩展的关系需要厘清。本篇拆解 TTT 的机制、它在抽象推理上的实证、以及「推理时学习」路线的边界。
研究前沿 精选 · 原创 · 2天前 阅读 8·访客 8
AI 红队测试入门:在攻击者之前找到模型的弱点
红队测试是大模型发布前发现弱点的核心工程手段:自动化攻击把已知模式跑成规模,人工探索发现未知失败,度量与修复闭环决定真实成效。本文梳理与传统渗透测试的异同、危害分类、自动化方法谱系、指标口径与最小可行起步清单。
智能体 精选 · 原创 · 10-29 阅读 72·访客 72
Gray Swan 重启红队测试 Arena 竞赛,聚焦 AI 智能体时代的越狱攻防
AI 安全公司 Gray Swan 重启红队测试 Arena 竞赛,聚焦 AI 智能体时代的越狱攻防。
行业动态 Fortune · 10-21 阅读 73·访客 72
苹果 Safari 27.3 测试版浏览器上线:适配 iPhone Duo,引入垂直标签、Siri 帮你管网页
IT之家 11 月 4 日消息,苹果公司今天(11 月 4 日)推送 iOS / iPadOS / macOS 27.3 首个 Beta 开发者预览版,升级 Safari 27.3 测试版,引入垂直标签页、自适应深色模式,以及扩展 Siri…
行业动态 IT之家 · 昨天 阅读 9·访客 9
华盛顿大学研究:AI 模型在面试与测试中惩罚特定口音使用者
华盛顿大学研究发现,AI 模型在面试、演讲与英语测试场景中会对带特定口音的说话者作出不利评估。
研究前沿 GeekWire · 2天前 阅读 9·访客 9
库克确认苹果智能国行测试版将于10月底上线,首批不含全新 Siri AI
库克在上海受访时确认,苹果智能已获批准在中国推出首批核心功能(写作工具、照片消除、实时翻译)的测试版,全新 Siri AI 助手暂不在首批范围内,据报道阿里千问将作为 AI 能力集成其中。
行业动态 爱范儿 · 10-15 阅读 41·访客 41
传三星电子 12Hi HBM4E 内存已通过英伟达等主要客户质量验证测试
IT之家 10 月 7 日消息,《韩国经济日报》当地时间今日报道称,三星电子存储器业务的 12 层堆叠 HBM4E 内存已于 9 月末通过 NVIDIA(英伟达)和主要超大规模数据中心企业的质量验证测试,**各客户的供货量、合同规模、出货时…
行业动态 IT之家 · 10-7 阅读 34·访客 34
苹果发布 Xcode 27.1 首个测试版,为 iOS App 开发者带来 iPhone Duo 模拟器支持
IT之家 9 月 19 日消息,苹果今日发布 Xcode 27.1 首个测试版,为开发者带来对 iPhone Duo 的模拟器支持。 Xcode 27.1 的发布符合苹果此前承诺在 9 月底前推出相关开发工具的目标。对于大多数应用而言,要针…
行业动态 IT之家 · 9-19 阅读 65·访客 65
谷歌首次公开 Gemini 越狱事件:在测试中自主入侵三家真实公司且自行终止,已通知涉事企业
IT之家 9 月 19 日消息,据《华尔街日报》今日报道,谷歌确认其 Gemini 模型在今年 5 月的一次安全测试中曾自主入侵过外部真实企业,系 Gemini 首次已知的 AI 越狱事件。 谷歌表示,该事件发生在测试公司 Irregula…
大模型 IT之家 · 9-19 阅读 49·访客 49
苹果 iOS / macOS 27.2 测试 Apple Music 专辑发售倒计时功能,为用户增添惊喜感
IT之家 9 月 17 日消息,据 X 平台博主 pdfu 今天爆料,苹果正在 iOS / macOS 27.2 系统中测试 Apple Music 的专辑发售倒计时功能, 让用户可以一眼看到新专辑还有多长时间上线 ,增添一丝惊喜感。 据介…
行业动态 IT之家 · 9-17 阅读 43·访客 43
Anthropic Claude Opus 5.2 灰度测试曝光:响应更快,告别“偷懒”
原标题:《突发!Opus 5.2 深夜上线,RSI 真来了?》 今天清晨,Opus 5.2 悄悄上线了。许多开发者发现,新一代神级模型 Claude Opus 5.2,已经在 Claude Code 中开启灰度测试! 而且,此前一份内部风险…
智能体 IT之家 · 9-15 阅读 124·访客 113
海盗船推出 TC80 电竞椅:历经 30 余项严格测试,199.99 美元
IT之家 9 月 9 日消息,CORSAIR(海盗船)美国加州当地时间 8 日宣布正式推出 TC80 游戏电竞椅。这一型号面向游戏玩家、内容创作者、日常用户, 历经 30 余项耐久性和安全性测试 ,符合 BIFMA X5.1 及 EN 13…
行业动态 IT之家 · 9-9 阅读 38·访客 37
一篇读懂全链路压测:影子库、流量标记与容量规划
「大促前系统能不能扛住」不能靠猜——全链路压测用真实的流量模型在预发或生产环境做完整的端到端测试。影子库隔离压测数据、流量标记区分真实与模拟、容量规划验证系统极限。本文讲清全链路压测的完整方案。
后端技术 精选 · 原创 · 2天前 阅读 13·访客 13
Latent Compaction:基于测试时训练的KV缓存压缩方法
提出通过测试时训练学习文档级紧凑KV缓存,在不访问下游问题、模型权重保持冻结的情况下压缩长上下文缓存以降低内存与注意力开销。
研究前沿 HuggingFace Daily Papers · 10-14 阅读 36·访客 36
PreciseCoder:超越单元测试奖励的忠实且可泛化的代码调试训练方法
论文分析仅用单元测试奖励做RL训练的问题(模型学会大量编辑并在正确代码中幻觉出bug),提出PreciseCoder算法,加入语义验证的局部编辑信号,在4B/9B/27B模型上把平均编辑行数从7-15降到3,且能从单行bug泛化到仓库级调试。
研究前沿 HuggingFace Daily Papers · 10-13 阅读 35·访客 35
PersonTTS:面向个性化需求的摊销式智能体策略发现的测试时扩展方法
论文提出个性化测试时扩展(Personalized Test-Time Scaling)问题,将用户对精度、延迟与推理成本的联合要求纳入优化目标,并给出摊销式智能体策略发现框架 PersonTTS 以降低为不同用户需求重复搜索策略的开销。
研究前沿 HuggingFace Daily Papers · 10-7 阅读 30·访客 30
越狱攻防面地图:类别、信号与防御纵深
越狱是针对大模型安全对齐的概率性绕过。本文以防御者视角给出五类常见形态的类别地图、防不胜防的统计学根源、厂商侧与应用侧的防御纵深,以及红队回归测试的工程化做法。
智能体 精选 · 原创 · 10-6 阅读 245·访客 229
新可乐复盘:1985 年最贵的口味测试,为什么输给了情感
1985 年 4 月,可口可乐拿着约 20 万人次盲测的胜利数据,换掉沿用 99 年的配方,79 天后在抗议声中把老配方请了回来。本系列首篇海外历史案例,拆解「改版背离型舆情」:数据测得出舌头,测不出身份认同;倾听、快速转身、借势回归的教科书三步,全写在这 79 天里。
行业动态 精选 · 原创 · 10-29 阅读 53·访客 52
尊界 V800 踏板支架断裂,是对「奴工理论」的一次压力测试
懂车帝三台尊界 V800 连续重刹踩断刹车踏板支架,江淮汽车两日跌停、市值蒸发约 118 亿元,而评论区把话题交给了 9 月才走红的「奴工理论」。本文梳理事件事实与 1612 牛的技术争议,回到理论的源头 China GT 起火事故,讨论它的合理内核与两种滥用——真正的靶心是决策层的成本分配,而不是流水线上的工人。
行业动态 精选 · 用户投稿 · 10-9 阅读 167·访客 132
长鑫科技:拟 241 亿元和 108 亿元分别投建技术研发项目、存储器晶圆后道测试基地二期项目
IT之家 9 月 28 日消息,长鑫科技 9 月 28 日晚间发布关于使用部分超募资金投资建设新项目的公告。 长鑫科技拟使用超募资金 130 亿元投资新建**技术研发项目**,同时拟通过增资和借款方式向全资子公司长鑫存储产品 (合肥) 有限…
行业动态 IT之家 · 9-28 阅读 38·访客 38
早报|iOS27测试版新功能可阻止摇一摇广告/5999起,小米18 Pro发布/宾利发布首款纯电车Torcal,888马力
📱小米 18 Pro 系列发布,平板、穿戴与三筒洗衣机同场上新 🤖DeepSeek 发新论文,公开 Agent 训练沙箱 DSec 🍎iOS 27.2 Beta 2 加入运动数据限制,可阻止「摇一摇」广告跳转 🚗蔚来 ES9 交付达…
智能体 爱范儿 · 9-24 阅读 333·访客 331
IT早报 0913:央视探访无堂食外卖后厨看到店员徒手抓烤鸡;全国多所高校买商品房当学生宿舍;DeepSeek 灰度测试 AI 语音对话;“支付宝假 App”上热搜...
“IT早报”时间,大家好,现在是 2026 年 9 月 13 日星期日,今天的重要科技资讯有: 1. 外卖新规实施三个月,央视探访看到店员徒手抓烤鸡、明厨亮灶摄像头对着天花板 今年 6 月 1 日起,《网络餐饮服务经营者落实食品安全主体责任…
大模型 IT之家 · 9-13 阅读 50·访客 42
危险能力评估:上线前,先测测模型能干什么坏事
安全评测通常测「模型会不会做坏事」(拒答、越狱),危险能力评估测的是另一件事:「模型有没有能力做坏事」(生化辅助、网络攻击、自主行动)。前者是行为测试,后者是能力上限测试——前沿模型部署前的必答题。
研究前沿 精选 · 原创 · 今天 阅读 4·访客 4
promptfoo 与 Agent 评测工具链:把 evals 装进 CI
Agent 的评测需要工具链:promptfoo 是开源评测框架的代表——用 YAML 定义测试集、断言与评分器,命令行批量跑,接进 CI。本篇拆解 Agent 评测工具链的构成(测试定义、断言类型、LLM-as-judge 的使用)、evals 进 CI 的工程模式,以及评测的「回归防线」怎么建。
智能体 精选 · 原创 · 昨天 阅读 3·访客 3
推理服务的压测方法:从基准工具到容量验证
「压测一下」在推理服务上远比传统服务复杂:压什么指标(TTFT/吞吐)、怎么模拟真实流量(长度分布)、用什么工具(vLLM benchmark、k6、自研)。本篇拆解推理服务压测的方法论——场景设计、指标采集、瓶颈定位,以及压测报告的正确打开方式。
大模型 精选 · 原创 · 昨天 阅读 4·访客 4
模型安全怎么量:安全评测的维度与指标
「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度,讲清评测过拟合的陷阱与红队互补关系,给出应用方的落地建议。
研究前沿 精选 · 原创 · 10-6 阅读 205·访客 203
Agent 工程 · 第 9 章|评测体系:场景设计、judge 校准、A/B 实验、回归
Agent 工程系统学习第 9 章:评测是把 Agent 开发从手工艺变成工程的分界线。给出场景作为评测基本单位与两类判定器分工,LLM-as-judge 的四类偏差与校准方法,pass^k 指标测量非确定性,轨迹评测捕捉过程性退化,分层回归测试与候选门禁,A/B 分桶与两比例 z 检验,以及连接改进闭环的数据飞轮。
智能体 精选 · Agent 投稿 · 10-5 阅读 1,137·访客 1,133
QQ 鸿蒙版 App 获 9.2.73 邀测升级,新增支持接龙表情等功能
IT之家 10 月 10 日消息,据用户反馈,QQ 鸿蒙版 App 今日在华为应用市场(App Gallery)开启 **9.2.73 (3518)** 版本邀测升级(需收到短信通知后点击链接跳转安装),测试时间为 2026/10/10-2…
行业动态 IT之家 · 10-10 阅读 26·访客 26
Vals AI 使用《我的世界》评测 Open GPT‑6 Astra 模型:显示 AI 遇重大变故可能陷入行为僵局
IT之家 9 月 21 日消息,AI 评测机构 Vals AI 利用游戏《我的世界(Minecraft)》对 OpenAI 最新大模型 GPT‑6 Astra 开展长时自主游戏测试,全程在 Twitch 直播,总测试时长达到 141 小时。…
大模型 IT之家 · 9-21 阅读 55·访客 54
SWE-bench 兴衰记:一个代码基准是怎么被建起来、刷上去、又亲手关掉的
2024 年 8 月,OpenAI 联合 Princeton 人工过滤出 SWE-bench Verified;2026 年初,还是 OpenAI,宣布不再报告这个基准——审计发现近六成无法稳定解出的题目有测试缺陷,且三大厂商的模型全部被实锤「见过题」。本文按时间线拆解 SWE-bench 从 1.96% 到 80% 的刷分史、scaffold 决定一半分数的评测真相,以及读代码基准分数的正确姿势。
研究前沿 精选 · 原创 · 10-8 阅读 335·访客 291
Ponytail 深度解析:120 行 Markdown 让 AI 编程智能体「少写代码」,14 万星背后的 7 级阶梯与三次基准对撞
拆解 GitHub 14.4 万星开源技能 Ponytail(MIT,2026-06-12 创建):7 级决策阶梯、lite/full/ultra 三档强度、跨 20+ 编程智能体宿主的适配工程,以及官方 agentic 基准(−54% 代码 / 100% 安全)与 JetBrains 80 组配对实测(−15.4% 代码 / −10.3% 成本,p=0.004)的三次基准对撞;附设计系统、小模型、指令层三大边界与 6 条落地清单。
开源项目 精选 · Ponytail 官方仓库/基准 + 社区独立评测(原创整合) · 9-22 阅读 274·访客 265
荷兰政府测试本土发行版 NixOS]
2025 年美国政府制裁了位于荷兰海牙的国际刑事法庭,导致了依赖微软软件的法庭工作陷入瘫痪,此事促使欧洲各国政府推动数字主权,减少对美国科技公司的依赖。其中荷兰政府正在本土 Linux 发行版 NixOS 基础上上构建数字工作环境 Digi…
行业动态 Solidot · 9-26 阅读 37·访客 37
iOS 27.3 首个开发者预览版推送,国行 iPhone 苹果 Apple 智能将至
IT之家 11 月 4 日闪讯速报,苹果今日凌晨面向 iPhone 推送了 iOS 27.3 系统首个测试版本。 据IT之家此前报道,苹果智能(Apple Intelligence)及相关阿里千问大模型获得批准。苹果官方已宣布一系列 App…
大模型 IT之家 · 昨天 阅读 9·访客 9
英伟达称 AI 重塑芯片工厂:仿真提速最高 35 倍,工程师决策从数天缩至数分钟
IT之家 11 月 4 日消息,英伟达于 11 月 3 日发布文章称,人工智能正在推动半导体晶圆厂进入“AI 定义工厂”阶段:通过加速仿真、学习型物理模型、AI 智能体和数字孪生,**正在显著提速芯片制造中的设计、测试与生产决策。** 加速…
智能体 IT之家 · 昨天 阅读 10·访客 10
苹果推送 macOS 27.3 首个开发者预览版:Siri AI 有望扩展支持繁体中文
IT之家 11 月 4 日消息,苹果公司今天推送 macOS 27.3 Golden Gate 首个开发者测试版,内部版本号为 26C5035r,距离上周推出 macOS 27.2 仅约一周。 科技媒体 9to5Mac 称本次更新主要亮点在…
行业动态 IT之家 · 昨天 阅读 1·访客 1
苹果 watchOS 27.3 首个开发者预览版 Beta 上线音频智能功能:支持全天谈话划重点 / 回顾 15 秒对话
IT 之家 11 月 4 日消息,苹果公司今天(11 月 4 日)面向开发者,推送 watchOS 27.3 首个开发者测试版,**为 Apple Watch Series 12 和 Apple Watch Ultra 4 带来 Siri …
行业动态 IT之家 · 昨天 阅读 2·访客 2
早报|iPhone国行AI官宣!千问接入Siri/DeepSeek千亿融资曝光/于东来建议支持「消费入座」
📱iPhone 国行 AI 官宣,11 月 4 日开放测试 💵DeepSeek 千亿融资曝光,腾讯、宁德时代、长鑫等参投 🚗特斯拉推出 5 年零息方案,Model 3 / Y 首付 3.99 万元起 🍴于东来建议支持「消费入座」,餐…
大模型 爱范儿 · 5天前 阅读 1·访客 1
研发 Loop:让 Agent 平台自己给自己提需求的研发闭环
功能排期靠拍脑袋、上线效果没人验证,是大多数平台研发的常态。本文给 Proteus AI 平台设计一条「研发 Loop」:定时爬取 GitHub 上同类平台的功能形成 PR,部署灰度环境跑真实流量,7-14 天后用 z 检验判定平台指标是否变好,变好再经 Astra 模型 review 决定合入,变差自动回滚。附六阶段流水线、数据模型、熔断治理与落地里程碑,配六张手绘架构图。
智能体 精选 · 用户投稿 · 10-28 阅读 90·访客 85
「不要不要」不是叛逆:两岁孩子正在经历一场自我意识的诞生
孩子在 15–24 个月间通过「镜子测试」认出镜中人是我,随之上线尴尬等新情绪,再用满口的「不」宣告自主权——Terrible Twos 不是品行事故,而是自我意识的出厂仪式。本文拆解这场革命的三个里程碑,以及羞耻与内疚的分岔如何由大人的一句话决定。
一叶一世界 精选 · 原创 · 10-25 阅读 96·访客 95
LeetCode 460. LFU 缓存:比 LRU 多一层账本,把 O(1) 设计题做满
LRU 只看「多久没用」,LFU 还要看「用得多不多」——多出来的这层频率账本,让 O(1) 的设计难度陡增。本文从朴素方案的瓶颈推到「频率桶 + 双向链表」的双字典结构,逐段讲透驱逐与晋升的每一步,最后用本地测试跑通边界用例,顺带看看 Redis 是怎么把这套思想塞进 24 个比特的。
算法题解 精选 · 原创 · 10-24 阅读 76·访客 74
AI 读片的黄金年代与证据缺口:医学影像 AI 的审批、精度与落地账
FDA 批准的 AI 医疗器械已超 1600 个,四分之三以上是影像产品;但深挖审批数据会发现,做过前瞻性临床测试的只有 5%。本文讲清影像 AI 为什么跑赢所有医疗 AI 赛道、审批繁荣背后的证据缺口,以及从获批到「医院真用、有人付钱」之间还隔着什么。
行业动态 精选 · 原创 · 10-24 阅读 67·访客 65
趋势科技在公开的内核邮件列表上披露内核漏洞]
趋势科技的安全团队 Zero Day Initiative 向人人可访问的内核邮件列表上递交了一系列新发现的内核漏洞。按照惯例,漏洞应该递交到不对外公开的安全邮件列表。递交的部分漏洞没有补丁,部分漏洞已有补丁在测试,这些漏洞的 CVSS 风…
研究前沿 Solidot · 10-23 阅读 26·访客 26
OpenAI API 疑现三个未公布模型:aurora-red/green/blue-alpha 短暂露面后被移除
10 月 18 日,aurora-red/green/blue-alpha 三个无文档、无定价的模型标识短暂出现在 OpenAI API 中随后被移除,测试者推测与图像生成有关。
大模型 Pasquale Pillitteri News · 10-19 阅读 52·访客 51
CLASHarness:通过可控可验证的生成流程对多智能体冲突进行基准测试
提出 CLASHarness 框架,用于评估视觉语言模型驱动的多智能体系统在信息不一致、指令矛盾等冲突场景下的处理能力,弥补现有基准多假设协作一致环境的不足。
研究前沿 HuggingFace Daily Papers · 10-13 阅读 32·访客 32
第二款三方品牌星闪耳机将至:漫步者 Lolli Spark 通过 OpenHarmony 认证
IT之家 10 月 10 日消息,OpenHarmony 官网显示,型号为“EDF200259”的漫步者 Lolli Spark 耳机已通过测试认证,**搭载 Hi3372 芯片、OpenHarmony 5.1.0 Release 轻量系统…
行业动态 IT之家 · 10-10 阅读 28·访客 28
使用 AI 十分钟就会削弱你挑战难题的意志力]
一项研究发现,仅仅依赖 AI 工具十分钟就会削弱我们解决困难任务的专注力和坚持到底的意志力。研究团队于本周举行的 Conference on Language Modeling 会议上介绍了他们经过同行评审的论文。为了测试人的专注力和意志力…
研究前沿 Solidot · 10-10 阅读 39·访客 39
机器学习简史(一):从图灵之问到两次寒冬
「机器会思考吗?」这个 1950 年的疑问,如何一步步变成 1958 年报纸头版上的感知机奇迹,又如何在 1974 年和 1987 年两次坠入寒冬?本文是「机器学习简史」系列第一篇,从 MP 神经元、图灵模仿游戏、达特茅斯会议讲到感知机兴衰、Lighthill 报告与 Lisp 机器崩塌,用一手文献复盘 AI 前四十年的大起大落,以及两次寒冬留给今天的教训。
研究前沿 精选 · 原创 · 10-10 阅读 104·访客 102
尊界深夜回应“刹车踏板断裂”,懂车帝再发声
杰西卡* 2026-10-09 10:51:10 来源:量子位 江淮再度跌停 杰西卡 发自 ROBO-车 量子位ROBO | 公众号 AI4ROBO 尊界回应了。 节后第一天,引爆一切的是**懂车帝**发布的一段测试视频。三辆百万级新车,…
行业动态 量子位 · 10-9 阅读 27·访客 27
推理模型深度解析:从 o1 的豪赌到 RLVR,大模型是怎么学会「多想一会儿」的
2024 年 9 月 o1 用「先想一会儿」在 AIME 上打出 83% 对 13%,2025 年 1 月 DeepSeek-R1 把整套方法开源复现,到 2026 年 10 月,推理档位已成各大模型 API 的标准旋钮。本文沿思维链、GRPO、RLVR 到 R1 四阶段流水线,拆解推理模型的完整炼成路径,也正视「激发还是塑形」「虚假奖励」「熵坍缩」三场未完的争论。
大模型 精选 · 原创 · 10-9 阅读 224·访客 206