伯克利团队“Agent Teams”新研究：持续自进化，突破GPU内核优化局部最优

GPU Kernel的优化工作并非仅是将可运行的代码加速那么简单。在实际的生产环境中，编码智能体需要在硬件指令集、内存布局、并行策略以及整体架构之间不断权衡。尽管初期能取得一定进展，但往往会倾向于选择更易实现、性能上限较低的方案，从而落入局部最优的困境。

为了应对这一挑战，加州大学伯克利分校（UC Berkeley）的研究团队提出了“持续进化智能体团队”（EvolvingAgent Teams）。他们的核心理念是，与其单纯增加智能体的数量，不如让一个中央监督器根据当前的性能瓶颈，在每个迭代周期重组智能体团队，动态调整角色分配、协作模式以及知识管理方式。

论文链接：https://arxiv.org/abs/2610.36848

整个Evolving Agent Teams 框架由两层结构组成：底层是负责编写、编译、测试和分析Kernel的智能体团队；上层则是一个监督器，负责监控优化进展，分析成功与失败的原因，并决定下一轮如何调整团队配置。

图｜Evolving AgentTeams 框架

如果智能体团队在调试过程中遇到瓶颈，监督器可以引入一个Debugger；如果缺乏性能数据作为优化依据，则加入Profiling Scientist；如果早期发现未能传递给后续的智能体团队，则加入Knowledge Integrator，负责整理实验记录和行动计划。同时，该系统还维护了一个跨团队的持久化文件系统，用于保存代码、角色记录、失败尝试、硬件观察以及已验证的策略。

MLA paged decode Kernel 展示了这一机制如何帮助智能体团队突破局部最优。MLA是DeepSeek-V3所采用的注意力结构，其优化难点在于较高的寄存器占用压力，以及CUDA Core与Tensor Core的协同工作。实验初期，单个智能体多次尝试WGMMA路径均未成功，随后转向了更容易调试的WMMA。虽然WMMA最终能够运行，但这也限制了Tensor Core的利用率。

为了防止智能体团队过早放弃，监督器引入了Disciplinarian，要求智能体团队保留WGMMA约束，并且每次只进行一项能够明确评估效果的修改。之后，任务被分配给并行运行的Debugger和主优化智能体：前者负责验证难以实现的矩阵乘法路径，后者则继续推进其他优化工作。

图｜使用Claude Opus 4.6对MLA decode Kernel进行长时间优化的过程

当监督器发现早期实验中的关键发现没有传递给后续的智能体团队时，便会引入Knowledge Integrator，建立跨团队的经验文档。这最终帮助智能体团队验证了P@V WGMMA路径。完成核心架构调整后，监督器还会要求重新进行Profiling，以进一步优化性能。

在四项CUDA Kernel任务中，Evolving Agent Teams均超越了强编码智能体基线。这些任务覆盖了NVIDIA B200和H100 GPU，包括FlashAttention-4、Gated Delta Net prefill、MLA decode，以及GEMM与AllReduce融合。

图｜四项Kernel任务的性能对比

在相同的Token预算下，对于MLA decode任务，Claude Code的性能约为生产环境FlashInfer Kernel的51%，而Evolving Agent Teams则达到了74%。相比之下，固定的四角色团队为31%，Codex单智能体为28%。这表明，性能差距不仅来自底层模型的能力，也取决于智能体团队能否随任务阶段的变化而调整其组织方式。

图｜MLA解码消融实验

在投入更多推理预算后，Evolving Agent Teams生成的MLA Kernel在FlashInfer-Bench的47个生产负载上，平均性能达到了FlashInfer的1.21倍，其中36个负载超过了生产环境的FlashInfer Kernel，其余11个负载则处于FlashInfer的0.86到0.99倍之间。这意味着，仍有部分负载存在差距。

随着运行时间的延长，智能体团队在Gated Delta Net prefill上取得了4.06倍的平均加速。在GEMM与AllReduce融合任务中，它们逐步推进异步加载、Warp Specialization和NVLink multicast，最终达到基准性能的1.56倍，略高于ThunderKittens报告的1.54倍。

图｜GDN和G+AR在额外预算下的演化轨迹

在Flash-KMeans实验中，智能体团队将经过专家优化的Triton Kernel改写为CUDA WGMMA Kernel，在计算受限配置下最高将延迟降低了约1.5倍，在内存受限配置下则与Triton结果相近。这说明，该框架在已有专家优化实现的基础上，同样具备进一步探索和改进的能力。

在其他场景中，智能体团队也取得了不错的结果：在AMD MI350X上，将Kimi Delta Attention prefill的性能优化到vLLM生产HIP Kernel的3.01倍；在NVIDIA B200上，相比FlashKDA达到3.44倍；在Apple M4 Pro上，MoE专家卸载服务使Qwen3.8-Flash-Next在4-bit MLX环境下达到每秒30.3个Token；在RoboDojo机器人操作任务中，系统在留出种子上的得分为62.1，高于排行榜截至10月26日的最高分55.3。

图｜另外四种设置下的完整运行结果

与单纯增加推理预算不同，这些结果指向了另一个方向：对于长期、开放式的代码优化任务，瓶颈不仅在于智能体能否提出更好的修改，也在于当前智能体团队是否拥有适合这一阶段的角色、协作协议和经验结构。Evolving Agent Teams试图调整搜索过程本身。

不过，这项研究仍有一些局限。四项主要实验各运行两次，其他场景大多只进行了一次实验，尚不足以支持充分的统计比较。团队表示，后续工作还应包括成本与性能之间的Pareto分析，以及更高噪声领域中的受控研究。因此，当前结果更适合被理解为长期智能体优化任务的系统设计探索，而不是已经普遍验证的智能体团队协作规律。

本文来自微信公众号 “学术头条”（ID：SciTouTiao），作者：学术头条，36氪经授权发布。