「CUDA 护城河」被提了十年，它到底由什么构成？本篇从底层拆起：CUDA 是语言与运行时，cuDNN/cuBLAS 是优化库，NCCL 是通信库，TensorRT 是编译器——分层拆解每一层的角色，以及生态替代（ROCm/CANN）真实差距所在。

Learn how to leverage NVIDIA’s cuDNN Frontend Graph API to build custom kernel fusions, autotuning engine configurations…

国产 AI 芯片（昇腾、寒武纪、海光等）在算力上快速追赶，但真正的差距不在芯片在软件栈。本篇以昇腾 CANN 为主例拆解国产算力栈的层次（驱动→运行时→算子库→框架适配）、与 CUDA 生态的真实差距点、以及国产替代的务实推进路径。

在边缘设备上跑 LLM，硬件怎么选？Jetson Orin、RK3588、Hailo、以及手机芯片——本篇拆解边缘推理硬件的算力、内存与生态对比，给出「按模型规模选硬件」的决策框架，以及边缘部署区别于云端的工程要点。

英伟达的市值故事常被讲成「卖芯片的赶上了 AI」，但芯片从来不是它最深的护城河——CUDA 生态才是。十六年前的一次软件豪赌，让每一家 AI 公司的训练代码都写在了英伟达的地基上；换掉芯片不只是换硬件，是重写整个技术栈。本文讲清这座护城河的构成、它为什么难攻，以及攻城者的三条路线。

2012 年 10 月，一个用两块游戏显卡训练了五六天的神经网络，把 ImageNet 图像识别错误率从 26% 砍到 15%，整个领域为之改宗。此后五年：ResNet 越过人眼基准、注意力机制埋下 Transformer 的种子、AlphaGo 4:1 击败李世石让全世界重新认识机器学习。本文是「机器学习简史」系列第三篇，用一手论文数据复盘深度学习的黄金五年，也不回避这五年里的「炼金术」之争。

FlashAttention 不近似、不改公式，却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标：分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配，以及它管不了的事：KV cache 与自定义 mask。

芯片发布一场接一场，参数眼花缭乱。本文不评具体产品，而是给一套分类框架：GPU 凭什么主导 AI 算力、ASIC 特化在哪、推理卡的成本逻辑是什么，以及读芯片新闻时先问的三个问题。