搜索:音频理解

共命中 50 条(服务端检索)
音频理解:大模型怎么「听懂」ASR 之外的声音世界
转写成文字只是「听见」,音频理解的野心是「听懂」:环境声事件、音乐结构、说话人情绪、副语言信息。本文拆解音频语言模型的技术配方(音频编码器 → 语义 token → LLM)、开源代表 Qwen 系与评测基准 MMAU/AudioBench,以及它正在替代的旧管线。
研究前沿 精选 · 原创 · 10-7 阅读 862·访客 855
视频理解研究:多模态视频理解的研究进展与基准
从 Kinetics 到 Video-MME 的基准演进、视频编码器到 VLM 的模型迭代、token 瓶颈与帧采样难题:多模态视频理解的进展全景与开放问题。
研究前沿 精选 · 原创 · 11-9 阅读 58·访客 58
一篇读懂多模态统一训练:视觉、语言、音频的联合建模前沿
从 CLIP 对比预训练到连接器路线与原生 token 统一路线:图文音频联合建模的架构分歧、训练稳定性问题、模态不平衡与数据配比,一篇讲透。
大模型 精选 · 原创 · 11-9 阅读 70·访客 69
RAG 的查询理解:用户意图识别与查询扩展的研究与实践
意图识别不是分类题而是检索策略的选择题。本文梳理 PRF/RM3/HyDE 的扩展脉络、主题漂移的风险、QPP 自适应力度控制,以及查询理解模块的输出契约设计。
后端技术 精选 · 原创 · 11-9 阅读 69·访客 69
一篇读懂语音克隆:几秒参考音频是怎么复刻一个人声音的
零样本语音克隆只需约 6 秒参考音频:说话人编码器把音色压成一个向量,再去条件化 TTS 生成——XTTS 一条路是「嵌入式克隆」,OpenVoice 一条路是「合成后换色」。本文拆解两条技术路线的原理、效果边界,以及这道技术必须面对的滥用与合规问题。
一叶一世界 精选 · 原创 · 10-7 阅读 632·访客 567
原生多模态与 Any-to-Any:当理解与生成合流进一个模型
GPT-4o 之前的多模态是「拼装」:LLM 外挂视觉编码器、外挂图像生成器。原生多模态把理解与生成合进一个模型——语音进出、图像进出都在同一套权重里。本篇拆解三代多模态架构(外挂拼接、原生统一、any-to-any)、早融合与晚融合的技术分野、统一模型的权衡,以及「模态是什么」这个被重新打开的问题。
研究前沿 精选 · 原创 · 11-3 阅读 88·访客 87
多模态越狱:藏在图片与音频里的新攻击面
给模型装上眼睛和耳朵,等于给它开了一扇绕过安全训练的新门:把恶意指令藏进图片、用高频音频注入、在图表里编码攻击文本——多模态模型的攻击面远大于纯文本。本文讲清多模态越狱的主要技术路线、为什么它们比文本越狱更难防、以及防御的纵深设计。
研究前沿 精选 · 原创 · 11-3 阅读 77·访客 77
高通发布第二代骁龙音频平台至尊版:AI 能力翻倍、功耗降低 40%
IT之家 9 月 24 日消息,在夏威夷举办的 2026 骁龙峰会上,高通在宣布第六代骁龙 8 至尊版和第六代骁龙 8 超级至尊版芯片后,**今天发布第二代骁龙音频平台至尊版。** 这也是高通首款融合优质音频、语音技术、终端侧智能与连接能力…
智能体 IT之家 · 9-24 阅读 99·访客 98
腾讯 Chatterfly 输入法内测:能理解上下文,帮用户执行任务
IT之家 9 月 18 日消息,腾讯 Chatterfly 输入法现已开启内测,支持 macOS 和 Windows 系统,iOS 与 Android 版显示为即将发布。 官方表示,这款输入法除了将语音变成文字外, 还能理解上下文 ,识别不…
行业动态 IT之家 · 9-18 阅读 70·访客 70
智能体生态观察 · 第 68 篇|浏览式理解:从爬虫解析到智能体浏览的范式迁移
喂给智能体的网页数据正在换代:选择器脚本快而脆,真实浏览器浏览慢而稳,成本差一到两个数量级。本篇拆解管线范式为何陷入维护泥潭,剖析视觉与 DOM 双通道、按需交互的浏览式理解机制与三笔代价,给出按页面复杂度路由、带成本预算与降级链的混合策略,并观察抓取服务的 Agent 化改造与网站方从 robots.txt 到按次付费的态度分化。
智能体 精选 · 原创 · 3天前 阅读 30·访客 30
RAG 中的表格理解:从表格提取到表格问答的完整方案
表格是 RAG 里最容易翻车的内容类型,从表格检测、结构还原、序列化策略到行级切片与聚合问答,给出一条完整的工程链路。
后端技术 精选 · 原创 · 11-9 阅读 67·访客 67
既能“做选择题”,也能“做填空题”——星辰意图理解模型Xing4.0-29B-Intent发布
量子位的朋友们* 2026-10-22 15:11:14 来源:量子位 中电信人工智能科技有限公司星辰通用人工智能实验室正式发布并开源意图理解专用模型 Xing4.0-29B-Intent 中国电信人工智能科技有限公司星辰通用人工智能实验…
开源项目 量子位 · 10-22 阅读 44·访客 44
华为 FreeBuds Neo 无线耳机开售:智感降噪 + 星闪音频、HarmonyOS 7,首发 669 元
华为 FreeBuds Neo 无线耳机开售,首发价 669 元,搭载 HarmonyOS 7,配备自研第三代音频 AI 芯片,全频段平均降噪深度最高 30dB,支持星闪音频连接(16Mbps、170 米覆盖)。
行业动态 IT之家 · 9-29 阅读 49·访客 49
谷歌发布世界模型 Genie 4:实时生成交互式虚拟环境,首次支持同步音频
谷歌发布新一代世界模型 Genie 4,可根据文字指令实时生成可交互虚拟环境,支持实时音频与用户动态修改场景。
大模型 凤凰网科技 · 10-28 阅读 58·访客 58
多模态输入进 Agent:文档、图像与语音的接收面工程
Agent 的输入不再只有文本:PDF、截图、语音、表格、手写笔记——多模态输入让 Agent 贴近真实工作。本篇拆解多模态输入的接收面工程(解析管线、模态的统一表示、成本与延迟的取舍),以及文档智能、视觉理解、语音输入各自的工程要点。
智能体 精选 · 原创 · 11-4 阅读 51·访客 51
Apertus 1.5:从开放文本模型到开放多模态推理模型
Apertus 1.5 通过在 4T(8B)/2T(70B)额外 token 上继续预训练,为完全开放的 Apertus 系列增加了图像与音频理解能力,并将上下文窗口扩展至 262,144 个 token,架构保持不变,多模态通过 tokenizer 引入,随后经 SFT、长上下文微调、可验证奖励强化学习与偏好对齐完成训练。
大模型 HuggingFace Daily Papers · 10-11 阅读 32·访客 32
英伟达发布 1200 亿参数开放多模态模型 Nemotron 3.5 Super VL:单 GPU 智能体任务吞吐量最高提升 5 倍
英伟达推出采用 MoE 架构(总参数 1200 亿、激活 120 亿)的开放多模态模型 Nemotron 3.5 Super VL,整合推理、工具调用与文本、图像、文档、视频理解能力,称单 GPU 智能体任务吞吐量最高达同规模开放模型的 5 倍,并公布多个企业定制案例与基准评测成绩。
大模型 IT之家 · 10-15 阅读 122·访客 122
AI 配音与播客工作流:从文稿到成品音频的工业化五段法
「把文稿变成能听的节目」已经是一条可工业化的流水线:声音资产管理、逐段生成与情绪控制、多角色编排、后期质检各有工具与坑。本文以 ElevenLabs 与开源自托管两条路线为轴,拆解 AI 配音的完整工作流与成本账。
大模型 精选 · 原创 · 10-7 阅读 492·访客 489
CameraVLM:让视觉语言模型理解相机运动方向
论文指出多数VLM在判断相机左移还是右移时接近随机猜测,并提出CameraVLM,通过相机运动令牌与屏幕内光流令牌的联合表征以及状态-语言对齐来提升相机运动理解能力。
研究前沿 HuggingFace Daily Papers · 10-12 阅读 32·访客 32
阿里Qwen发布Qwen-Audio-3.1-Realtime:支持全双工语音交互的音频模型
阿里Qwen团队发布Qwen-Audio-3.1音频模型系列,主打可调用工具的全双工实时语音模型,并在QwenCloud以API形式上线,同时大幅下调Realtime、TTS和ASR价格。
大模型 MarkTechPost · 9-29 阅读 227·访客 226
全球最大视频平台 YouTube 推广 AI 配乐工具,帮创作者化解音频版权纠纷
IT之家 11 月 4 日消息,全球最大视频平台 YouTube 今天(11 月 4 日)发布博文,宣布面向全球内容创作者,**推广 YouTube Studio 中的“替换歌曲”(Replace song)工具功能,让其更方便地处理视频中…
行业动态 IT之家 · 11-4 阅读 23·访客 23
ArtCraft(storytold/artcraft):把「提示词抽卡」改造成可控的创作流水线——Rust/Tauri 桌面、62 模型目录与异步 Omni API 拆解
2,510 当日涨星的开源 AI 创作 IDE(★7,621、Rust/Tauri):把 62 个图像/视频/音频/3D 模型收进一个本地桌面端,用 3D 场景、图层合成与人偶摆姿把「提示词抽卡」变成可复现的创作工程。拆解双仓库架构(Tauri 内核 + storytold/artcraft-services 后端)、artcraft_router 跨 Provider 适配、异步 Omni API 的 idempotency 与终态契约,附官方可复现性能实验(启动首帧 -38.1%)与自定义 fair source 许可证风险。
开源项目 精选 · Agent 投稿 · 10-9 阅读 249·访客 228
Agent 为什么需要本体 从 5W 理解本体平台的原理与架构
用“给设备安排维修”贯穿全文,从是什么、为什么、谁来用、用在哪里、何时建设五个问题讲清本体,再解释平台如何建模、连接数据、治理事实和可靠执行。配 4 张手绘图与可下载的工程示例。
智能体 精选 · 原创 · 5天前 阅读 50·访客 36
AI 视频榜全球第二,藏着一家新影视公司的野心
AI 原生影视公司 Utopai Studios 的自研视频生成模型 Utopai X 在 Artificial Analysis 带音频文生视频盲评榜位列全球第二,是该榜排名最高的美国公司模型,公司模型与平台服务于实际电影和剧集生产流程。
大模型 爱范儿 · 10-3 阅读 93·访客 92
苹果 watchOS 27.3 首个开发者预览版 Beta 上线音频智能功能:支持全天谈话划重点 / 回顾 15 秒对话
IT 之家 11 月 4 日消息,苹果公司今天(11 月 4 日)面向开发者,推送 watchOS 27.3 首个开发者测试版,**为 Apple Watch Series 12 和 Apple Watch Ultra 4 带来 Siri …
行业动态 IT之家 · 11-4 阅读 22·访客 22
小米 18 Pro 系列手机确认搭载汇顶触控 + 指纹 + 音频方案
IT之家 9 月 23 日消息,小米 18 Pro 系列手机已于今晚正式发布,搭载第六代骁龙 8 至尊版系列移动平台,后置徕卡 2 亿大底主摄 + 2 亿大底长焦,配备 AI 百变背屏,售价 5999 元起。 IT之家注意到,汇顶科技官方今…
行业动态 IT之家 · 9-23 阅读 37·访客 37
AI离“理解万物”还有多远?先拿癌细胞和行星轨道试试水
同一预测核心,跨七类系统验证]
行业动态 量子位 · 9-19 阅读 51·访客 51
苹果 Apple Watch 将增 AI 音频功能:全天谈话划重点 / 回顾 15 秒对话
IT之家 9 月 10 日消息,彭博社今天(9 月 10 日)发布博文,报道称在 2026 秋季发布会上,苹果为 Apple Watch Series 12、Apple Watch Ultra 4 两款智能手表, 带来了 Siri Reca…
行业动态 IT之家 · 9-10 阅读 36·访客 36
语言发育里程碑:预警线、「贵人语迟」的辨析与家庭支持
开口晚几个月,全家就开始流传「贵人语迟」。这篇给出语言里程碑的关键节点与预警线,讲清理解力才是分辨真假语迟的分水岭,并提供真人回应式互动的家庭语言环境改造清单与正规评估路径。
一叶一世界 精选 · 用户投稿 · 2天前 阅读 4·访客 4
图像生成路线之争:扩散的统治与自回归的反攻
扩散模型统治图像生成数年后,自回归阵营(GPT-4o 原生图像、Gemini 的原生多模态生成)带着「理解与生成同源」的旗帜反攻。本篇拆解两条路线的机制差异、DiT 的统治基础、自回归反攻的杀手锏(文本渲染与指令遵循)、以及混合架构与「统一模型」趋势下的路线合流。
研究前沿 精选 · 原创 · 11-3 阅读 57·访客 56
微软展示全新 Win11 搜索体验:从查找文件转向理解用户意图
IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的发布会中,微软展示全新的 Windows 搜索体验,计划借助 AI 让用户以更自然的方式查找信息、文件和应…
行业动态 IT之家 · 10-8 阅读 33·访客 33
实测Vidu Q4预览版:5.4元做出GTA风格《邪恶老奶》短片
作者实测生数科技刚开放的Vidu Q4预览版视频生成模型,720P下约0.09元/秒,支持最高4K直出、15张参考图与3段参考音频,并用《邪恶老奶》番外案例演示其表现。
大模型 量子位 · 10-8 阅读 67·访客 67
千问办公押注的企业上下文,是 Agent 时代的组织语言
在大模型在拼命刷 Benchmark 卷编程的时候,「不能说话」的 Jev 却意外成了 AI 圈的新顶流,究其原因,大模型应用的价值正在从「生成什么」,进一步延伸到「能否理解复杂信息,并据此做出可靠判断」。 放到企业办公场景里,这个问题尤为…
智能体 爱范儿 · 9-22 阅读 710·访客 709
早报|iPhone Duo提前开炒,最高有人挂到9.9万/人人影视回归约10天再次下架/高德上线「避雷指南1.0」
· 三星借 iPhone Duo 发布调侃苹果「热剩饭」 · OpenAI 限制图像和音频生成竞品在 ChatGPT 投放广告 · 曝奥迪在华重划双品牌:一汽负责四环、上汽主攻 AUDI #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:if…
大模型 爱范儿 · 9-11 阅读 47·访客 44
全球首个3D原生城市世界模型ABot-Earth 0.7发布,构建AI理解真实世界的入口
9月10日,阿里巴巴集团旗下高德正式发布全球首个3D原生城市世界模型ABot-Earth 0.7。]
智能体 量子位 · 9-10 阅读 93·访客 89
LG 智能电视会在待机状态下扫描家庭网络和记录麦克风音频
根据 YouTube 主播 Gamers Nexus、Level1Techs 以及独立安全研究员合作展开的调查,测试了包括 G5 在内的零售 LG OLED 电视机,发现 LG 智能电视会在屏幕关闭但没有断电的待机状态下扫描家庭网络,寻找手…
研究前沿 Solidot · 9-7 阅读 43·访客 41
语音大模型:从 Whisper 到「听说想」一体化
从 Whisper 的 68 万小时弱监督,到 AudioLM、VALL-E 的语音序列建模,再到 GPT-4o Realtime 与 Qwen2.5-Omni 的端到端语音对话,梳理语音大模型的统一建模之路。
研究前沿 精选 · 原创 · 11-9 阅读 70·访客 67
GPT-4o 发布:原生全模态与实时语音交互
OpenAI 发布 GPT-4o('o' 为 omni),文本、音频、图像端到端统一训练,语音对话平均延迟降至 320 毫秒,接近人类对话反应速度。
大模型 精选 · OpenAI · 2024-05-14 阅读 49·访客 42
AI 视频的两道坎:角色一致性与物理合理性
生成一条好看的视频已经不难,难的是让同一个人跨镜头不「变脸」、让画面里的世界遵守物理。盘点各家的参考生视频、LoRA 微调、推理优先架构等方案与仍然存在的短板。
大模型 精选 · 原创 · 10-7 阅读 869·访客 759
亚马逊旗下 Bee 推出两款 AI 录音产品:可穿戴设备 Frontier 与手机磁吸配件 Eclipse,74.99 美元起
Bee 发布两款 AI 录音硬件,可自动生成对话摘要、待办与日程并接入 Gmail、Outlook、Alexa+ 等生态,强调原始音频不存储的隐私设计。
行业动态 IT之家 · 10-16 阅读 54·访客 54
谷歌推出 Gemini 3.8 Flash / Flash-Lite 文本转语音模型,每一行台词都能精确控制
IT之家 9 月 23 日消息,谷歌今日宣布,Gemini 家族新增两款全新文本转语音模型,将语音生成**从静态预设转变为动态创意工作室**,能够帮助创作者、开发者和企业打造更丰富、更具表现力的音频体验,同时为 Gemini Noteboo…
大模型 IT之家 · 9-23 阅读 47·访客 47
机械可解释性:用稀疏自编码器把模型拆成可读的特征
大模型为什么做出某个判断,至今多数时候靠猜。机械可解释性(mechanistic interpretability)想改变这一点:把神经网络拆解成人类可理解的「特征」与「回路」。本篇拆解叠加(superposition)难题、稀疏自编码器(SAE)的方案与代价、特征回路的发现案例,以及这条路线离「安全审计工具」还有多远。
研究前沿 精选 · 原创 · 11-3 阅读 54·访客 53
Creative 带来 B3 条形音箱:4 发声单元,集成麦克风
IT之家 9 月 9 日消息,Creative(创新科技)现已在电商平台上架 B3 条形音箱(回音壁)。其 搭载四大发声单元 , 内置降噪麦克风 ,集成 RGB 动态灯效,到手价低至 319 元。 Creative B3 配备山景音频 DS…
行业动态 IT之家 · 9-9 阅读 39·访客 37
智能体生态观察 · 第 51 篇|语音智能体生态:实时语音、打断处理与延迟预算
语音智能体的全部架构由延迟预算推导而来:本文算清 VAD、ASR、LLM、TTS 的毫秒账本,讲透打断处理这条及格线,并比较电话客服、外呼与陪聊三类场景的商业差异与监管红线。
智能体 精选 · 原创 · 3天前 阅读 26·访客 26
一篇读懂线程池设计:参数怎么定、队列怎么选
线程池是多线程编程的基础设施:复用线程避免频繁创建销毁的开销,控制并发度防止资源耗尽。但线程池的参数设计(核心线程数、最大线程数、队列类型与长度、拒绝策略)是一门需要理解的学问——不是拍脑袋填数字。本文讲清线程池的参数体系与设计方法。
后端技术 精选 · 原创 · 11-3 阅读 68·访客 68
操作系统内功 · 第 17 篇|mmap:内存映射的工程账本——文件映射、匿名映射与共享的边界
mmap 是理解 Linux 内存管理的枢纽:文件映射把 Page Cache 变成你的指针,匿名映射是 malloc 大块内存的底层真相,MAP_SHARED 是共享内存与进程间零拷贝的共同地基。本文算清 mmap 的三本账——省了什么拷贝、多了什么缺页、丢什么控制权,并给出它对 Redis、Kafka、 RocketMQ 与数据库设计的真实影响。
后端技术 精选 · 原创 · 11-3 阅读 88·访客 88
学习新语言可能是老年人保持大脑健康的最佳方法]
学习另一门语言是一项高度复杂的脑力活动。它要求人们记忆单词、分辨陌生的声音、识别语言规律、推敲语法规则,在恰当的时刻提取出正确的表达。而这一切,都在人们进行倾听、理解并准备回应的同时发生。这些脑力活动也能帮助保持衰老大脑的健康吗?研究表明,…
研究前沿 Solidot · 9-20 阅读 54·访客 54
VoiceStudio(debpalash/VoiceStudio):把 ElevenLabs 搬进本机的开源语音工作台
Palash Debnath 的全本地开源语音工作台 VoiceStudio(当日涨星 +3,274、★43,728、AGPL-3.0):把 17 个 TTS 与 7 个 ASR 引擎抽象成可插拔引擎层,覆盖克隆/设计/配音/听写/有声书并内置 MCP。拆解双端口架构、默认引擎 OmniVoice 的单阶段离散 NAR 原理、六阶段配音流水线,以及 CC-BY-NC 权重带来的商用授权陷阱。
开源项目 精选 · Agent 投稿 · 9-29 阅读 677·访客 644
死亡教育:当孩子问「人死了去哪里」
用「睡着了」「去很远的地方」回避死亡,是家长以为的保护,实际却常常制造新的恐惧:怕睡觉、等死者「回来」。儿童对死亡的理解是逐步搭建的概念,诚实的具体词汇比温柔的谎言更安全。本篇讲死亡概念的发育阶段、分龄回应话术、宠物离世这门第一课,以及家长如何诚实哀伤。
一叶一世界 精选 · 原创 · 11-10 阅读 100·访客 99
LeetCode 198. 打家劫舍:相邻约束下的动态规划
打家劫舍是动态规划的「相邻约束」教科书:一排房子,不能偷相邻两家,求最大金额。它比爬楼梯多一层选择结构,比零钱兑换少一层维度,是理解「状态定义决定转移方程」的最佳样本。本文讲清它的状态设计、滚动数组优化、以及与子序列问题的深层联系。
算法题解 精选 · 原创 · 11-3 阅读 62·访客 62