摩尔线程MusaCoder开源 首个基于国产全功能GPU全栈训练的代码大模型

近日，摩尔线程正式发布并开源面向GPU底层算子生成的专用代码大模型MusaCoder。这是业内首个基于国产GPU算力底座完成全链路训练与验证的开源代码大模型，其完整后训练流程均在基于MTT S5000构建的夸娥智算集群上完成。

在KernelBench严格评测中，MusaCoder-27B-RL以Overall Pass@8 93.2%、Avg.@8 88.60%的成绩，超越Claude Opus 4.7、DeepSeek-V4 Pro、GLM-5.1、Kimi K2.6等主流SOTA代码模型，性能达到当前行业领先水平。

据介绍，MusaCoder是摩尔线程面向GPU底层算子生成任务设计的专用代码大模型，包含9B和27B两个参数规模。该模型重点支持从PyTorch标准算子自动生成高性能CUDA/MUSA原生Kernel代码，旨在降低开发者手写底层GPU算子的门槛，提升GPU高性能计算场景下的代码生成、验证和优化效率。

传统代码大模型虽然具备较强的通用编程能力，但在GPU Kernel生成任务中仍面临显著挑战：一方面，GPU Kernel对并行计算、线程组织、内存访问、索引映射和硬件执行特性要求极高；另一方面，生成代码不仅要语法正确，还必须能够通过编译、数值正确性验证、反作弊检测，并在真实执行中获得性能收益。

针对上述难点，MusaCoder构建了一套面向GPU原生算子（CUDA/MUSA）生成的大模型全栈后训练方法论。该流程覆盖数据构建、执行验证、强化学习优化等关键环节，使模型能够从基础代码能力逐步进化为具备底层算子生成与修复能力的专用模型。

据悉，MusaCoder的SFT（监督微调）、RFT（拒绝采样微调）、RL（强化学习）、异步rollout、在线编译执行验证及reward计算等全栈训练与验证流程，均依托摩尔线程旗舰级AI训推一体智算卡MTT S5000所构建的夸娥智算集群完成。

这一成果，充分验证了国产GPU不仅能够支撑大模型推理和常规微调任务，更能够稳定承载代码大模型后训练全周期算力需求。尤其是在GPU Kernel生成这一类任务中，训练系统需要频繁进行代码生成、编译、执行、验证和反馈计算，对硬件、编译栈、运行时、调度系统和评测基础设施都提出了更高要求。

摩尔线程表示，MusaCoder的正式开源，旨在为MUSA生态提供面向PyTorch到原生算子生成的基础模型能力，帮助开发者更高效地完成GPU Kernel的生成、验证、修复和优化，降低底层算子开发门槛。同时，MusaCoder也为高校、科研机构和开源社区提供了一个基于国产全功能GPU的代码生成研究平台，推动异构计算编程、AI编译优化和自动化Kernel生成等方向的开放研究与技术交流。

展望未来，摩尔线程将持续增强MusaCoder在复杂任务上的生成与修复能力，并进一步探索与IDE插件、自动调试工具、profiling工具等开发者工具链的结合，逐步形成从PyTorch参考实现到MUSA原生Kernel的自动生成、验证、修复和优化闭环，持续推动国产GPU生态建设与AI基础设施创新。