搜索:对象存储

共命中 50 条(服务端检索)
AI 存储的三层策略:数据集、checkpoint 与热数据
AI 集群的存储不是一个系统打天下:训练数据集要高吞吐顺序读、checkpoint 要低延迟写、推理热数据要低延迟随机读——三种负载三种策略。本篇拆解 AI 存储的三层架构、文件系统的选型、以及「存储成为训练瓶颈」的排查。
大模型 精选 · 原创 · 6天前 阅读 19·访客 19
RocketMQ消息存储细节
RocketMQ 的 NameServer、存储模型与消息可靠性设计
后端技术 精选 · 原创博客 · 2020-04-27 阅读 471·访客 469
操作系统内功 · 第 14 篇:容器的存储驱动——overlay2、devicemapper 与性能对比
容器里写一个文件到底发生了什么:overlayfs 的层结构与 copy-up 代价、devicemapper 的块级快照、以及数据库/日志/构建场景的存储选型结论。
后端技术 精选 · 原创 · 5天前 阅读 31·访客 29
操作系统内功 · 第 62 篇|FUSE 与用户态文件系统:把文件系统写出内核
把文件系统逻辑搬出内核:本篇讲 FUSE 的动机与应用版图、/dev/fuse 的请求-响应协议、内核侧连接与缓存策略,算清延迟与写性能的账本,并给出云盘挂载的工程案例与实操清单。
后端技术 精选 · 原创 · 今天 阅读 1·访客 1
DuckDB:把分析型数据库塞进进程里,为什么 2026 年成了数据工程的默认件
进程内 OLAP 数据库 DuckDB:一条 SQL 直接查本地 CSV、Parquet 与远端对象存储,单文件落库,PyPI 月下载超 5000 万。本文讲清它的列式向量化引擎、与 SQLite、pandas、ClickHouse 的分工、2026 年的生态大事(v2.0 在路上、DuckLabs 并入 AWS),以及上手要点与真实短板。
开源项目 精选 · 原创 · 10-10 阅读 528·访客 517
一篇读懂 Git 底层:对象、引用与一次提交的解剖
Git 常被当成「能存历史的高级文件夹」,但它其实是一个内容寻址的键值数据库。本篇解剖一次提交在 .git 里留下的完整痕迹——blob、tree、commit 三种对象、SHA-1 的内容寻址、分支与 HEAD 的引用本质,以及 rebase 与 merge 在对象层面的真实差异。
一叶一世界 精选 · 原创 · 6天前 阅读 46·访客 46
一篇读懂时序数据库:Prometheus 与 TSDB 的存储结构
监控数据的特点:写入源源不断、按时间查、几乎不更新——这个特征催生了时序数据库(TSDB)的独特存储设计。Prometheus 的 TSDB、时间分片、索引结构与降采样——为什么监控系统都选 TSDB。
后端技术 精选 · 原创 · 5天前 阅读 37·访客 35
RAG 的对话状态管理:多轮对话中的上下文压缩与继承机制
对话状态不是一个聊天记录数组,而是五层生命周期各异的结构化对象。本文讨论状态分层设计、检索状态继承、结构化压缩优于摘要的原因,以及存储恢复与并发防护的工程细节。
后端技术 精选 · 原创 · 昨天 阅读 4·访客 4
一篇读懂 LSM-Tree:RocksDB 与写优化的存储引擎
B+ 树为读优化而生,LSM-Tree 为写优化而生——为什么 Kafka、Cassandra、TiKV、LevelDB 都选择 LSM?写放大、读放大、空间放大的三角权衡,以及 Compaction 的调优之道。
后端技术 精选 · 原创 · 5天前 阅读 39·访客 37
创维 F3 Pro 闺蜜机新增 12GB RAM + 256GB 存储空间版本,6099 元
IT之家 10 月 2 日消息,创维现已为旗下 F3 Pro 闺蜜机新增一款 12GB RAM + 256GB 存储空间版本,定价为 6099 元,部分地区国补后低至 4999 元。 该产品采用云雾白配色,配备一块 32 英寸 3840x2…
智能体 IT之家 · 10-2 阅读 81·访客 80
长鑫科技:拟 241 亿元和 108 亿元分别投建技术研发项目、存储器晶圆后道测试基地二期项目
IT之家 9 月 28 日消息,长鑫科技 9 月 28 日晚间发布关于使用部分超募资金投资建设新项目的公告。 长鑫科技拟使用超募资金 130 亿元投资新建**技术研发项目**,同时拟通过增资和借款方式向全资子公司长鑫存储产品 (合肥) 有限…
行业动态 IT之家 · 9-28 阅读 40·访客 40
腾讯 WorkBuddy 5.5.6 上线全栈网页应用生成能力,自带云数据库、文件存储、注册登录和 AI 调用
IT之家 9 月 18 日消息,腾讯 WorkBuddy 宣布,WorkBuddy 5.5.6 上线全栈「应用」生成能力,首期支持全栈网页应用生成: 自带云数据库、文件存储、注册登录和 AI 调用 ,免部署,发布即用。 据介绍,WorkBu…
行业动态 IT之家 · 9-18 阅读 47·访客 47
操作系统内功 · 第 24 篇|VFS 与一切皆文件:统一抽象层的代价与红利
socket、管道、设备、普通文件能用同一套 read/write 接口操作,靠的是 VFS 虚拟文件系统层。本文拆解 VFS 的四个核心对象(superblock/inode/dentry/file)、dentry 缓存与 path lookup 的成本、页缓存与 inode 的绑定关系,以及 procfs/sysfs/devtmpfs 三个「伪装成文件」的内核接口——读完能看懂 /proc 里那些指标的真正来源。
后端技术 精选 · 原创 · 11-3 阅读 40·访客 40
长尾知识与模型记忆:稀有知识的存储与检索机制
语言模型能存多少知识、稀有知识为何丢、检索头与 kNN-LM 等混合记忆机制如何补长尾:知识容量定律、PopQA 实证与参数外置路线全景。
研究前沿 精选 · 原创 · 昨天 阅读 1·访客 1
LeetCode 236. 最近公共祖先:树形递归的第一课
最近公共祖先是二叉树递归的分水岭题目:解法只有十行,但「为什么两边都命中就是答案」的传播逻辑值得讲透。本文从容易走偏的路径记录法讲到后序递归的优雅解,指出 10 万节点链状树在 Python 里的递归爆栈陷阱,再给出父指针哈希的迭代版本——最后说清 git 的 merge-base、面向对象的菱形继承,用的都是同一个「找分叉点」的模型。
算法题解 精选 · 原创 · 10-8 阅读 492·访客 492
Kubernetes 架构设计与深入实践:从控制平面到生产落地
从 kube-apiserver 处理一条请求的完整链路讲起,拆解 Kubernetes 控制平面与数据平面的分层设计:声明式 API 与控制循环为什么成为事实标准,调度、网络、存储、资源模型如何协作;再落到生产实践——资源与 QoS、探针配置、滚动发布、调度约束与常见故障排查。
后端技术 精选 · 原创 · 10-6 阅读 700·访客 695
向量压缩:PQ、量化与二值嵌入,把内存账砍下来
一千万条 768 维 float32 向量要吃 30GB 内存——规模一上来,向量存储就成了 RAG 最贵的一块。本文讲清三条压缩路线:标量量化降精度、PQ 降基数、二值化极限压缩,各自的原理、召回代价与「粗排压缩向量 + 精排原始向量」的标准补偿手法。
大模型 精选 · 原创 · 11-2 阅读 37·访客 36
一篇读懂断点续训:几周的训练怎么对抗随时到来的故障
大模型的预训练要跑几周到几个月,而硬件故障是必然事件——断点续训(从 checkpoint 恢复训练)不是可选项,是生存技能。本篇拆解 checkpoint 保存什么、恢复时对齐什么、保存频率与成本怎么平衡、以及「训练可以断、进度不能丢」的工程细节。
大模型 精选 · 原创 · 11-3 阅读 24·访客 24
Java 25 LTS 与虚拟线程这三年:从 pinning 之痛到放心用
Java 25 是继 21 之后的又一个 LTS:紧凑对象头转正、简单源文件定稿、Scoped Values 定稿、AOT 缓存一条命令可用。本文以官方 JEP 为准过一遍关键特性,并复盘虚拟线程落地三年的生产经验——pinning 的来龙去脉、适用边界与响应式编程的取舍。
后端技术 精选 · 原创 · 10-10 阅读 634·访客 624
操作系统内功 · 第 48 篇|XFS 与 Btrfs:ext4 之外的现代文件系统
ext4 是稳妥默认,但大规模并行 IO 要看 XFS 的分配组,快照与自修复要看 Btrfs 的写时复制。本文拆解两者的核心机制、CoW 对数据库的写放大与 nodatacow 抉择,并给一份生产选型决策清单。
后端技术 精选 · 原创 · 今天 阅读 1·访客 1
大模型容器镜像的工程:构建、缓存与分发
一个推理服务的容器镜像 = 基础镜像 + CUDA 运行时 + 推理引擎 + 模型权重 + 业务代码——AI 镜像动辄 20–100GB。本篇拆解大模型镜像的构建分层、缓存的利用、分发的加速,以及「镜像即部署单元」的版本管理。
大模型 精选 · 原创 · 6天前 阅读 20·访客 20
开源向量数据库深度对比:Qdrant、Weaviate、Milvus 与 Chroma
向量数据库是 RAG 的地基,开源方案有四巨头:Qdrant 的 Rust 性能、Weaviate 的模块化、Milvus 的云原生规模化、Chroma 的极简开发体验。本篇从架构、性能、生态与运维四个维度深度对比,帮你选对地基。
一叶一世界 精选 · 原创 · 6天前 阅读 30·访客 30
智能体生态观察 · 第 10 篇|智能体基础设施的中间件层:正在长出来的抽象
智能体应用与底层模型之间,正在长出一个中间件层:网关、记忆服务、沙箱、评测与观测——它们把「每个智能体应用都要造一遍的轮子」收敛成共享基础设施。本篇观察这个中间件层的构成、它与历史上其他基础设施层的相似节奏、以及哪些抽象会沉淀、哪些会消失。
智能体 精选 · 原创 · 11-3 阅读 51·访客 51
亚马逊旗下 Bee 推出两款 AI 录音产品:可穿戴设备 Frontier 与手机磁吸配件 Eclipse,74.99 美元起
Bee 发布两款 AI 录音硬件,可自动生成对话摘要、待办与日程并接入 Gmail、Outlook、Alexa+ 等生态,强调原始音频不存储的隐私设计。
行业动态 IT之家 · 10-16 阅读 45·访客 45
幂等设计实战:从重复下单说起
用户双击了支付按钮、网关超时重试、支付回调第三次重发——三件事撞在同一毫秒,订单只该创建一次。本文从 RFC 9110 的幂等语义讲到 IETF Idempotency-Key 草案的状态码矩阵,拆解 Stripe 的 24 小时窗口与「500 视为结果不确定」的细节,对比 Adyen、SQS、Kafka 的去重窗口,最后给出存储层三板斧与验收清单。
后端技术 精选 · 原创 · 10-8 阅读 520·访客 512
传三星电子 12Hi HBM4E 内存已通过英伟达等主要客户质量验证测试
IT之家 10 月 7 日消息,《韩国经济日报》当地时间今日报道称,三星电子存储器业务的 12 层堆叠 HBM4E 内存已于 9 月末通过 NVIDIA(英伟达)和主要超大规模数据中心企业的质量验证测试,**各客户的供货量、合同规模、出货时…
行业动态 IT之家 · 10-7 阅读 35·访客 35
铠侠 CEO 否认与 SK 海力士深化合作:价格涨幅已经“够高了”,不会“为了市场份额而追逐市场份额”
IT之家 9 月 9 日消息,铠侠公司 CEO 太田裕雄在接受彭博社采访时明确否认了与其竞争对手兼股东 SK 海力士深化合作的可能性,同时承诺抑制飙升的存储芯片价格,以避免损害长期 AI 需求。 近期,存储芯片制造商正进行大规模产能扩张以满…
行业动态 IT之家 · 9-9 阅读 34·访客 33
操作系统内功 · 第 18 篇|CPU 缓存与伪共享:缓存行、MESI 与 false sharing 的定位与消除
多核程序的性能悬崖常常不在算法而在缓存行。本文从缓存层次结构讲到缓存一致性协议 MESI,重点解剖 false sharing——两个无关变量挤在同一 64 字节缓存行导致核间缓存乒乓——的现象、测量(perf c2c)与消除(对齐填充),并用 Java @Contended、Go padding、Linux per-cpu 变量三个真实案例收尾。
后端技术 精选 · 原创 · 11-3 阅读 45·访客 45
Agent 沙箱拆解:E2B 如何把 Firecracker 做成毫秒级执行环境
Agent 从「写代码」走向「跑代码」,执行环境成了基础设施。本文拆解 E2B 沙箱的完整架构:控制面与数据面分离、Firecracker 的 9 个 HTTP 请求、「创建即恢复快照」的两段式生命周期,以及 UFFD 按页取内存、COW rootfs 写时复制等关键技术,并与 Docker、gVisor、Anthropic 的分层沙箱方案做选型对比。
智能体 精选 · 原创 · 3天前 阅读 20·访客 20
推理服务的弹性伸缩:冷启动、预热与 KPA 的伸缩艺术
LLM 推理服务的伸缩比普通服务难:副本启动要加载几十 GB 权重(冷启动分钟级)、显存装不下就想不加、流量是尖峰型。本篇拆解推理服务伸缩的三大难题与对策——模型加载的冷启动、基于指标的 KPA 伸缩、以及「预热」与「错峰」的运营手段。
大模型 精选 · 原创 · 6天前 阅读 21·访客 21
幻觉的机制研究:大模型为什么会「一本正经地胡说」
幻觉不是 bug,是当前训练目标的内生属性:下一词预测的得分机制、知识以参数形式的有损存储、以及「承认不知道」缺乏激励,共同制造了自信的错误。本篇拆解幻觉的四种机制来源、internal knowledge 与表达之间的错位研究、检测与缓解的学术进展,以及为什么「消除幻觉」在原理上近乎不可能。
研究前沿 精选 · 原创 · 11-3 阅读 47·访客 45
编码智能体的凭据安全:三条失守路径与四层工事
2026 年 10 月,开源编码智能体 OpenCode 的控制台被入侵,1.4% 关联用户的 Anthropic、OpenAI、Google API 密钥可能外泄。本文从这起事件出发,把编码智能体的凭据失守路径拆成三条——指令文件劫持、运行时反馈注入、存储与供应链薄弱——每条都配真实事件与实验数据,再给出从短时效凭据到出口管控的四层防御工事,以及一份今天就能动手的工程清单。
智能体 精选 · 原创 · 11-1 阅读 103·访客 102
AI早报:iPhone Duo大模型备案有望12月上线,OPPO与Manus官宣合作
科技早报汇总:苹果AI国行版或12月上线、ASML营收数据、存储设备涨价、企业微信与WorkBuddy打通、OPPO与Manus合作、美国多州起诉OpenAI、Modal巨额融资及黄仁勋谈AI安全等行业动态。
行业动态 爱范儿 · 10-15 阅读 68·访客 68
5999 起!无需多言|小米 18 Pro 系列发布会
在昨晚的小米 18 Pro 系列新品发布会上,我们看到了一个令人惊喜的数字:5999。** 没错,在芯片大涨价、存储大涨价、各种成本大涨价的时代,小米 18 Pro 系列的起步价依然坚持在了 5999 —— 除了起步价有惊喜,价格标签的另一…
行业动态 爱范儿 · 9-24 阅读 43·访客 43
一篇读懂知识编辑:不重训就能改模型的知识
因果追踪定位知识存储层、ROME 与 MEMIT 的闭式编辑数学、评估三指标,以及连锁效应等失败模式:一次把「精准改写参数化知识」讲透。
大模型 精选 · 原创 · 昨天 阅读 0·访客 0
台积电与算力供应链:先进制程的「单点」地图
每一颗 AI 芯片的背后,是一条环节高度集中的供应链:设计靠 EDA 三巨头与 IP 授权,制造靠台积电的先进制程,设备靠阿斯麦的 EUV 光刻机,存储靠 HBM 三强。AI 让这条本就集中的链条更加集中,也让「单点」成为全球科技产业最敏感的词。本文画一张先进算力的供应链地图,看清每个节点的集中度与脆弱性。
行业动态 精选 · 原创 · 11-3 阅读 35·访客 35
「别人家的孩子」:社会比较如何伤人
「你看人家谁谁谁」是流传最广的激励话术,也是被研究否定得最干脆的一个:社会比较激发的不是上进心,而是羞耻、嫉妒与关系损伤——它 benchmark 错了对象。本文讲清社会比较的心理学机制、向上比较与向下比较的不同毒效、比较的正确替代品(自我参照),以及家长自己的比较焦虑怎么处理。
一叶一世界 精选 · 原创 · 11-2 阅读 75·访客 74
Claude-Mem(thedotmack/claude-mem):钩子捕获、AI 压缩、三层检索,给编码智能体装上跨会话的长期记忆
日涨星 1145 的智能体记忆系统:生命周期钩子捕获工具调用,AI 压缩成结构化观察,SQLite 与 ChromaDB 双库存储,三层渐进式检索宣称节省约 10 倍 token;本周六连发版本,也因安装器上传历史提示词陷入隐私争议。
开源项目 精选 · 用户投稿 · 10-31 阅读 117·访客 114
消息称 OLED 屏新款 iPad mini 售价将大幅上涨,或接近 799 美元
IT之家 10 月 11 日消息,彭博社记者马克 · 古尔曼今天表示,苹果计划本月晚些时候推出新款 iPad mini。新机的起步存储空间可能会有所提升,**但有意换机的用户得提前做好涨价的准备**。 古尔曼透露,新款 iPad mini …
行业动态 IT之家 · 10-11 阅读 30·访客 30
全球 PC 出货量三季度暴跌逾 20%]
因 AI 热导致内存和存储器价格暴涨,全球 PC 出货量三季度暴跌逾 20%。Omdia 的最新数据显示 2026 年第三季度全球台式机、笔记本电脑和工作站的总出货量同比下降 21.2% 至 5810 万台。IDC 的数据类似估计出货量下降…
行业动态 Solidot · 10-10 阅读 186·访客 186
长鑫技术新突破,融合 4F² 架构等先进技术的 DDR5 RDIMM 产品预计年底亮相
IT之家 10 月 10 日消息,长鑫存储 4F² DRAM 架构研发近期取得关键进展。该公司总裁曹堪宇博士在第四届集成芯片和芯粒大会上发表演讲,全面介绍了长鑫存储在 DRAM 器件、4F² 架构及混合键合等方向的技术探索与积累,**并官宣…
研究前沿 IT之家 · 10-10 阅读 558·访客 558
微软发布 VS Code v1.141:清理“僵尸”Agent 会话等
IT之家 10 月 8 日消息,微软昨日(10 月 7 日)更新推出 Visual Studio Code 1.141,本次更新聚焦 AI 智能体(Agent)工作流管理,**重点改进会话存储清理、跨平台沙盒安全、多会话并排布局,以及多 G…
智能体 IT之家 · 10-8 阅读 77·访客 75
早报|特努斯:iPhone Duo是乔布斯理念体现/小米18 Pro确认涨价/西贝否认倒闭传闻
· Google Gemini 安全测试越界,误攻 3 家真实企业 · 长鑫存储 G5 DRAM 平台量产,单片晶圆裸片数提升至少 50% · 智谱 MaaS 平台将上线数据内容不留存机制 #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:i…
大模型 爱范儿 · 9-21 阅读 41·访客 40
AI 资讯站上线:内容开源 + 本地索引检索
本站(alishangtian.com/ainews)正式上线:纯静态架构,内容以 JSON 形式开源存储于 GitHub 仓库,基于预构建倒排索引实现纯浏览器端的本地全文检索。
行业动态 精选 · GitHub · 9-9 阅读 40·访客 36
操作系统内功 · 第 17 篇|mmap:内存映射的工程账本——文件映射、匿名映射与共享的边界
mmap 是理解 Linux 内存管理的枢纽:文件映射把 Page Cache 变成你的指针,匿名映射是 malloc 大块内存的底层真相,MAP_SHARED 是共享内存与进程间零拷贝的共同地基。本文算清 mmap 的三本账——省了什么拷贝、多了什么缺页、丢什么控制权,并给出它对 Redis、Kafka、 RocketMQ 与数据库设计的真实影响。
后端技术 精选 · 原创 · 11-3 阅读 48·访客 48
一篇读懂 Prefix Caching:多轮对话省钱的另一半
KV Cache 让一次推理不用重算历史 token,但多轮对话每次都把 10 万字的 system prompt 重发一遍——前缀缓存回答的是「相同前缀算一遍就够,能不能跨请求共享」。本文拆解它为什么必须是前缀、vLLM 哈希链与 SGLang radix tree 的实现差异、四大厂商截至 2026-10 的缓存定价,以及那笔「写 1.25 倍、读 0.1 倍」的账什么时候是赚的、什么时候反亏 25%。
一叶一世界 精选 · 原创 · 10-8 阅读 723·访客 706
一篇读懂推理服务架构:路由、负载均衡与模型热切换
从引擎到服务的最后一公里——拆解前缀感知路由、cache-aware 负载均衡、LoRA 热加载与模型热切换的生产实现。
大模型 精选 · 原创 · 昨天 阅读 0·访客 0
从网络安全到 AI 安全:CISO 的知识迁移地图
AI 应用在企业里铺开,CISO 的防护对象变了:模型、提示词、Agent、向量库——但这些新物种的威胁模型与传统安全有多少是通的?给安全从业者转型 AI 安全的知识迁移地图:哪些要带、哪些要学、哪些要放下。
行业动态 精选 · 原创 · 5天前 阅读 22·访客 22
奇瑞捷途全新旅行者 7 预告搭载骁龙 8255 座舱芯片,10 月 14 日上市
IT之家 10 月 11 日消息,奇瑞捷途全新旅行者 7 将于 10 月 14 日上市,官方预告智能科技再升级。 新车搭载 TOUROS 3.3 AI 智能座舱、骁龙 8255 高阶座舱芯片,搭配 24GB 运存 +256GB 超大存储,内…
大模型 IT之家 · 10-11 阅读 159·访客 159
在 Kubernetes 上跑大模型:GPU 调度与资源管理入门
大模型把 Kubernetes 的资源管理推向硬边界:显存整卡规划、Pod 启动以分钟计、扩容受制于昂贵的 GPU。本文梳理 GPU 资源声明、调度要点、探针与扩缩容配置和治理清单,给出一份可落地的入门路径。
后端技术 精选 · 原创 · 10-6 阅读 664·访客 659