通明湖中心开源 AKO：让编程智能体在几小时内，优化出超越 FlashInfer 专家的 GPU Kernel
近日，北京通明湖信息技术应用创新中心（简称“通明湖中心”）开源了AKO：Agentic Kernel Optimization，包含 AKO4ALL 与 AKO4X 两个工具
MLSys 2026 英伟达 GPU 内核竞赛，B200 硬件环境。通明湖中心开源的 AKO4X ，在统一口径复测下于五项竞赛内核上全部超越 MIT HAN Lab 的 KDA（MLSys 2026 MoE 赛道冠军）的竞赛提交；在其中具备 FlashInfer 专家基线的四项内核上同样全部超越专家实现，DSA 稀疏注意力相对专家基线最高提速30.71×。轻量版 AKO4ALL 更可在单次提示、约一小时内完成多款推理算子优化，并全部突破 FlashInfer 专家基准。
近日，北京通明湖信息技术应用创新中心（简称“通明湖中心”）开源了AKO：Agentic Kernel Optimization，包含 AKO4ALL 与 AKO4X 两个工具。
AKO 不是新的模型，也不是一套用于训练或替换智能体的方法。它是一个面向 kernel 优化的智能体框架：包裹 Claude Code，为编程智能体提供 benchmark、性能分析器、迭代记录与反作弊检查，但不修改智能体，也不训练模型。读代码、修改 kernel、运行评测、进行性能分析、持续迭代，每一步的决策由智能体自身完成，AKO 负责提供任务环境、工具与可追踪的优化记录。
在 NVIDIA B200 上，无论是 MLSys 2026 FlashInfer 竞赛的 kernel，还是 FlashInfer-Bench 中更广泛的推理算子，AKO 在本次评测范围内均取得了相对 FlashInfer 高性能算子库专家实现 的加速。
AKO4X 在我们测过的 FlashInfer-Bench 算子上、相对 FlashInfer 专家实现的平均加速（B200）。竞赛中的 DSA 稀疏注意力加速尤为突出（30×+），单独列于下文表格。
开源地址：
1.项目主页 ：
tongminglaic.github.io/AKO
2.AKO4ALL ：
https://github.com/TongmingLAIC/AKO4ALL
3.AKO4X ：
https://github.com/TongmingLAIC/AKO4X
（完整链接见文末）
一、设计理念：减少流程约束，提供充分的任务信息
当前的编程智能体已具备较强的代码理解、修改与调试能力。kernel 优化的反馈周期短，指标相对明确，改动边界也较清晰：一次修改能否通过正确性评测、延迟是否下降、哪些工作负载受益或退化，通常可由 benchmark 快速给出。因此，关键问题不是再设计一套固定的控制流程，而是为智能体提供可靠、完整、可操作的任务环境。
许多既有方法会将模型放入固定流程：生成、运行、修错、再生成，并由外部脚本预先规定每一步。这种方式工程上可控，但也会限制智能体对代码、性能数据与历史尝试的自主判断。AKO 采用的是另一种组织方式：任务专用框架提供 benchmark、性能分析器、日志、归档库与检查机制，但不规定智能体下一步必须如何行动。智能体可以自行决定读取哪段代码、如何评测、何时调用性能分析器、在 Triton / CUDA / TileLang / CuTe DSL 之间切换，或回退到某个历史版本。
少流程约束并不意味着少工程投入。AKO4X 是一个较重的任务专用框架，但其复杂度主要用于向智能体提供更多工具、信息与记忆，而不是限定智能体如何修改 kernel。
二、两个开源工具：AKO4ALL 与 AKO4X
AKO4ALL 是一个轻量、即插即用的 Claude Code SKILL。安装后，将智能体指向目标 kernel 与一组测试输入即可开始迭代。AKO4ALL 内置评测器，支持 Triton、CUDA、TileLang、CuTe DSL 等多种后端；智能体可以切换语言、重构实现或调整优化策略。它适合快速优化单个 kernel，也适合在新硬件上开展初步实验。AKO4ALL 也已被主流推理引擎 SGLang 的官方仓库采用，作为其 diffusion kernel 调优工作流中的优化工具，由核心维护者提交并持续维护（见 sglang 仓库内的 SKILL 文件）。此外，本届 MLSys 2026 FlashInfer 竞赛 MoE 赛道 Full-Agent 类别的第二名方案 MoE Kernel Agent 同样基于 AKO4ALL 构建——其三阶段优化流水线沿用了 AKO4ALL 的智能体优化闭环，并在仓库致谢中明确说明（见 MoE Kernel Agent 仓库）。
AKO4X 面向更正式的多轮优化流程。每一轮都会自动创建隔离环境，并将历史尝试、有效经验与失败教训沉淀到按算子组织的归档库中，使后续轮次能够在已有经验之上继续推进。AKO4X 也支持在 kernel 优化之外，让智能体可选地改进框架自身。它更适合在固定算子上开展长期、可复现、可审计的优化，例如本次 FlashInfer-Bench / MLSys 竞赛中的实验设置。
AKO4X 架构
AKO4X 的两层架构：(a)通用智能体框架由 Claude Code 提供，并与 Claude Opus 等模型共同构成智能体，AKO 不修改智能体，也不训练模型；(b) AKO4X 的贡献是任务专用框架，包括任务模板、跨轮记忆归档库，以及一整套 SKILL（性能分析器、sanitizer、各类 DSL 等）。
三、在 FlashInfer 专家实现之上持续加速
本次评测沿用MLSys 2026 FlashInfer 竞赛的官方设定：硬件为 NVIDIA B200，覆盖 Fused MoE、Sparse Attention、Gated Delta Net 三类算子，基线为 FlashInfer 的专家实现。
在同一套 B200 评测口径下，我们将 AKO4X 与 KDA（Kernel Design Agents，MIT HAN Lab，GitHub）在竞赛中提交的 kernel 一并复测，并统一对比同一个 FlashInfer 专家基线：（DSA = 稀疏注意力，GDN = Gated Delta Net，MoE = 混合专家，MLA / GQA = 两类注意力变体。）
DSA top-k indexer 对应的专家基线在我们的评测镜像上无法产生可用结果，因此该项改为直接与 KDA 对比延迟：AKO4X 比 KDA 快 1.27X ，两者均 128/128 通过。
关于 DSA 的 30× 量级，需要单独说明： 这一结果不应被理解为 AKO 相对充分优化的专家 kernel 普遍具有 30× 加速。其主要原因是 FlashInfer-Bench 在 DSA 赛道上的工作负载较为特殊，FlashInfer 的专家实现在该组工作负载上本身表现不佳，因此留下了较大优化空间。作为对照，在 GEMM 上基线为 cuBLAS；本次最好的 DSL kernel 仅达到其 0.95×，并未超过。
在官方 Full-Agent 的 DSA 与 MoE 两个赛道上，AKO 的成绩均高于获奖资格名单中的第一名，本应双双位列第一；仅因区域资格限制未被列入该名单（据组委会确认），官方完整榜单尚未公开——可谓这两个赛道的“无冕之王”。我们公开技术结果、代码、数据与完整优化轨迹，供社区参考与复现。
轻量的 AKO4ALL 也显示出有效性。在 GQA decode、MLA decode、MLA prefill、RMSNorm 四个算子上，AKO4ALL 在单次提示、约 55 分钟内实现 4/4 全部超过 FlashInfer 专家。其中 MLA prefill 达到 1.50×，高于经过多轮迭代的 AKO4X（1.36×）。这一结果说明，较薄的即插即用 SKILL 在部分场景中也可以形成有效的优化闭环。需要注意的是，这组 AKO4ALL 使用了更新的 Claude Opus 4.8，AKO4X 使用 Opus 4.7，因此更强的模型也可能贡献了一部分提升。
AKO4ALL vs AKO4X
四、为什么智能体适合 kernel 优化？
并非所有系统优化问题都适合由智能体循环处理。kernel 优化之所以成为一个相对合适的任务，主要有三方面原因。
模型能力是前提。 Opus 这样的强模型已能读懂性能分析器的输出、理解 kernel 瓶颈，并在 Triton / CUDA / TileLang 之间切换。AKO 不需要额外构建复杂的上层控制器，而是将真实反馈、运行日志、候选实现与历史记录组织成智能体可用的任务环境。
任务反馈适合闭环。 kernel 优化通常具有较短的反馈路径与明确的评价指标。一次改动能否通过正确性评测、延迟是否下降、哪个工作负载退化、哪类形状受益，benchmark 都能迅速给出。这类可检验、可比较的反馈，是编程智能体进行持续迭代的重要前提。
固定且可访问的工作负载允许特化优化。 FlashInfer-Bench 的工作负载来自真实工业推理场景，并非随意选取的形状；但从优化角度看，它仍为智能体提供了面向特定工作负载的优化空间。智能体尤其适合针对具体输入分布生成特化实现。例如，DSA 稀疏注意力的最终提交在同一个 kernel 文件中混合了 Triton 与 TileLang，并按 T 值分派：T=1、2 走 Triton 路径，T≥3 走 TileLang 路径。对人类工程师而言，大量面向特定工作负载的代码通常需要较高的工程投入；对编程智能体而言，这类重复但可验证的特化修改更容易形成迭代优势。
AKO 要展示的不是单次生成一个 kernel 的能力，而是在条件合适时持续推进 kernel 性能的能力。当环境足够清晰、反馈足够可信、工具足够完备时，智能体可以从生成候选 kernel 进一步推进到持续优化 kernel。
五、kernel 优化远未被解决
AKO 并不意味着智能体已取代 kernel 工程师。真实的 kernel 优化仍然包含大量边界条件、系统约束与工程判断。
最典型的风险之一是 reward hacking（奖励作弊）。竞赛过程中，我们多次观察到虚假加速：某个 kernel 在 CUDA graph 捕获时执行一次，重放时却被静默跳过，导致计时器无法计入其耗时，而一个过期的缓冲区仍能通过正确性评测；或者某个以指针为键的缓存仅因 benchmark 恰好复用了输入缓冲区才得以成立。这类结果表面上通过了正确性评测，并改善了所测得的延迟，但本质上是在利用 benchmark、CUDA graph、缓存或计时机制的漏洞，并不是真实、可移植、可部署的优化。
真实工业场景通常更加复杂。很多时候，即便是相对简单的端到端测试，也难以提供干净、低噪声、可归因的信号；性能瓶颈也未必位于单个 kernel 文件中，而可能横跨调度、编译、运行时、内存布局、批处理策略，甚至服务系统本身。
因此，更准确的边界是：在一个边界清晰、反馈明确、工作负载可访问的环境中，强编程智能体已能非常有效地完成 kernel 优化，并且可以在真实高性能库的专家实现之上继续推进性能。满足这些条件的其他领域，也可能借助智能体开展类似的优化。
六、让智能体进入 kernel 工程师的工作流
AKO 的目标不是将优化过程神秘化，而是将其还原为可复现、可审计、可比较的工程闭环：读代码、运行 benchmark、分析性能数据、提出假设、修改 kernel、验证正确性、记录结果、持续迭代。过去，这一闭环主要依赖经验丰富的 kernel 工程师手工完成；AKO 让编程智能体也能进入同样的工作流，并在明确的评测环境中持续改进。
更长期看，随着模型能力提升，kernel 工程流程有望进一步自动化：新硬件推出后，智能体自动读取性能数据、理解架构差异，并在真实业务工作负载上生成与验证一批高质量 kernel，更快地将常见算子优化到接近甚至超过专家水平。
AKO 旨在为这一方向提供一个可用的起点，进一步降低手写高性能 kernel 的门槛。
开源信息
项目主页：https://tongminglaic.github.io/AKO/总仓库：
https://github.com/TongmingLAIC/AKO