Together Compiler:用 AI 智能体自动优化开源模型的 GPU 推理代码

Together AI 于 11 月 4 日发布 Together Compiler:一个用 AI 智能体团队持续优化开源模型 GPU 代码的编译系统。

工作方式:不是由人类专家手工调优 kernel,而是由多个 AI 智能体持续重写模型背后的 GPU 代码,并配合「持久化引擎」跟踪流量变化。

关键数字:官方称每个开源模型可在 24 小时内完成优化;随流量变化,相比现有最优开源推理引擎可带来 1.3x 到 3.7x 的吞吐提升。Forbes 将这一模式称为开源模型上的「递归自我改进」。

这项能力与 Together AI 的 Polymorphic Inference 服务绑定,为托管的开源模型提供持续的吞吐与延迟优化。(正文基于官方博客与多方报道整理)

← 返回资讯列表