本文作者包括明尼苏达大学的张子健（共同第一作者），王嵘（共同第一作者），李世阳，罗越波，洪明毅，丁才文。 CUDA 代码的性能对于当今的模型训练与推理至关重要，然而手动编写优化 CUDA Kernel 需要很高的知识门槛和时间成本。与此同时，近年来 LLM 在 Code 领域 获得了诸多成功。这推动人们去探索如何利用 LLM 来编写优化 CUDA kernel。然而，现有的方法面临诸多问题，例如高昂的训练与推理成本，不良的 kernel 性 能，以及缺乏硬件反馈导致的盲目探索。 那么对于使用 LLM 进行 CUDA 代码生成，我们能不能设计一个简单而有效的方法，使其能够低成本地生成可靠高效的 CUDA kernel？ 明尼苏达大学的团队提出了一种新的方法—— CudaForge 。这是一种 简单、高效且低成本 的多智能体 CUDA Kernel 生成与优化工作流。该工作流受人类专家的 实际开发流程启发，包含初始 Kernel 的编写、正确性测试、硬件反馈分析以及迭代改进等关键阶段。 实验结果表明，CudaForge 在 KernelBench Levels 1-3 上取得了 SOTA 的结果，超越了现有的所有 ...