近日，上海人工智能實驗室和沐曦股份聯(lián)合發(fā)布了高性能GPU算子生成系統(tǒng)—— Kernel-Smith。

Kernel-Smith創(chuàng)新性地將“穩(wěn)定評估驅動的進化智能體”與“面向進化的后訓練范式”深度融合，依托上海人工智能實驗室書生大模型Intern-S1-Pro的基座能力進行深度定制化訓練，讓大模型真正化身為“算子優(yōu)化大師”。

在雙方的合作中，沐曦團隊全程深度參與。聯(lián)合創(chuàng)始人、CTO兼首席軟件架構師楊建、研發(fā)副總裁黃向軍、AI部門的武亞光、董華楠、謝佳形均參與了該項目并做出貢獻。

沐曦自研軟件棧MXMACA展現(xiàn)出了深度兼容能力。在MXMACA后端測試中，Kernel-Smith 表現(xiàn)出色。研究團隊在四類常用算子上對比了不同模型生成高性能 MXMACA 算子的能力，結果顯示，Kernel-Smith-MACA-30B 的平均加速比超過了 DeepSeek-v3.2 和 Qwen3-235B-2507 等大參數(shù)量的開源模型，而 Kernel-Smith-MACA-235B 取得了進一步性能提升，驗證了 Kernel-Smith 框架支持異構平臺的能力。

沐曦MXMACA 平臺算子性能優(yōu)化任務評測結果

目前，Kernel-Smith 自動生成的高性能算子已在實際場景中得到應用：不僅加速了 DeepSeek 新架構 Engram，并合入 DLBlas；還落地主流生產(chǎn)級推理引擎 SGLang 和 LMDeploy，實現(xiàn)了大模型自動生成算子從實驗室受控評估，到前沿模型研發(fā)與生產(chǎn)級部署的雙重跨越。

技術報告鏈接：

https://arxiv.org/pdf/2603.28342

在線體驗鏈接：

https://chat.intern-ai.org.cn/kernel-smith

算子開發(fā)的兩大挑戰(zhàn)

在當今的大模型時代，高性能 GPU 算子（Kernel）是將硬件算力轉化為實際吞吐量的核心引擎。無論是支撐 Megatron、vLLM、LMDeploy 等底層系統(tǒng)，還是驅動 AI for Science (AI4S) 的復雜科學計算，高效的算子實現(xiàn)都是釋放硬件潛能的重中之重。

然而，盡管大模型的編程能力日益強大，但讓其自主生成高性能算子并穩(wěn)定應用于真實生產(chǎn)環(huán)境，仍是一個未被全面攻克的行業(yè)難題。

當前的算子開發(fā)高度依賴工程師的經(jīng)驗。一個高效的算子往往需要在眾多融合模式、Tiling 策略等實現(xiàn)方案中反復搜索與調(diào)試，而現(xiàn)有基于 LLM 的算子生成系統(tǒng)，多依賴多輪對話或基于歷史的 Agent 循環(huán)，這帶來了兩大挑戰(zhàn)：

路徑依賴與試錯成本高： 傳統(tǒng)的 Debug 過程容易讓模型“錨定”在早期的錯誤決策上，限制了探索的多樣性。

“寫對”不等于“跑得快”： 功能上的正確性與極致的性能是兩種完全不同的能力。模型不僅需要一次性生成正確的代碼，更需要具備在測試階段通過持續(xù)迭代，不斷提升算子性能的能力。

兩大創(chuàng)新設計

為了解決這些問題，研究團隊創(chuàng)新地提出一個統(tǒng)一的進化智能體與強化訓練框架。

核心設計一：構建穩(wěn)定評估驅動的進化智能體。

進化搜索天然適合算子優(yōu)化，因為它可以通過維護一個候選程序池，在多輪迭代中不斷累積性能增益。然而，這一過程對“評測方差”極其敏感：如果 GPU 運行時間測量存在噪聲，智能體可能會誤刪極具潛力的算子，或者保留次優(yōu)解，這種錯誤會在代際之間不斷放大。

為此，Kernel-Smith 在智能體設計上將“評測穩(wěn)定性”放在首位。通過固定計算圖、重復測量以及異常值剔除等機制，大幅抑制了計時噪聲，確保了進化搜索動態(tài)的可靠性。同時，研究團隊還為 NVIDIA Triton 和 MetaX Maca GPU 構建了專屬的后端評估服務，提供編譯、正確性和加速比的結構化執(zhí)行反饋。

核心設計二：化長為短，面向進化的后訓練策略。在模型訓練層面，Kernel-Smith 將訓練定義為進化循環(huán)中的“局部優(yōu)化器（Local Improver）”。

具體而言，研究團隊將長周期的進化軌跡轉化為以“步驟”為中心的監(jiān)督與強化學習信號。算法只保留那些“在保證正確性的前提下，帶來了高收益性能提升”的修改步驟。通過這一設計，Kernel-Smith 不僅提升了單步修改的代碼質(zhì)量，更大幅提高了進化搜索中性能增益的復合增長率。

顯著性能優(yōu)勢，超越頂尖閉源模型

得益于上述兩大核心設計，Kernel-Smith 在實戰(zhàn)中展現(xiàn)出了顯著的性能優(yōu)勢。在統(tǒng)一的進化智能體協(xié)議下，Kernel-Smith-235B-RL 在 KernelBench（Nvidia Triton 后端）上實現(xiàn)了整體性能的 SOTA。在嚴格保證功能正確性的前提下，其平均加速比不僅優(yōu)于所有開源基線模型，還超越了 Gemini-3.0-pro 和 Claude-4.6-opus 等頂尖閉源大模型。

KernelBench-Triton 評測結果

更重要的是，評測曲線顯示，Kernel-Smith-235B-RL 的平均得分增長曲線在整個搜索過程中始終處于領先地位（如下圖所示），這充分證明了該模型能夠最有效地利用測試時算力（Test-time Compute）實現(xiàn)性能躍升。

不同模型使用同樣的 KernelSmith Agent Framework，在 KernelBench-Triton 上的迭代增長曲線圖

走出實驗室，賦能前沿創(chuàng)新與生產(chǎn)級應用

Kernel-Smith 生成的高性能優(yōu)化算子不僅成功賦能前沿架構創(chuàng)新，加速了 DeepSeek 新架構 Engram 并合入 DLBlas 開源算子庫 ；更重要的是，它已順利落地主流生產(chǎn)級推理引擎，分別為 SGLang 優(yōu)化了 FlashAttention 后端的 normal_decode_set_metadata 算子，并為 LMDeploy 優(yōu)化了 DeepSeek MoE Routing 算子，真正實現(xiàn)了大模型自動生成算子從實驗室受控評估，到前沿模型研發(fā)與生產(chǎn)級部署的雙重跨越。

相關 Pull Request 鏈接：

https://github.com/DeepLink-org/DLBlas/pull/102

https://github.com/sgl-project/sglang/pull/20778

https://github.com/InternLM/lmdeploy/pull/4345

在 NV-H200 硬件環(huán)境下的算子隔離評測中，Kernel-Smith 展現(xiàn)出顯著的 Test-Time Scaling 效應：隨著演化迭代的深入，算子性能實現(xiàn)持續(xù)增長。

算子進化迭代曲線圖

在主流推理引擎的實際落地中，Kernel-Smith 自動生成的算子為 SGLang 和 LMDeploy 分別帶來了 4.78x 和 1.36x 的真實加速收益。在 DeepSeek Engram 復雜場景的深度探索中，模型成功跨越局部最優(yōu)解，觸發(fā)了從 5 倍到 12 倍以上的突破性性能躍升，最終達到 14.59x 加速。

算子隔離評測結果

同時，研究團隊在社區(qū)率先將自動化算子評測擴展至端到端模型吞吐。Kernel-Smith 生成的算子不僅穩(wěn)定提升了 LMDeploy 的端到端吞吐（最高約3%），還可靠地降低了 SGLang 的真實服務延遲。這驗證了生成代碼在復雜系統(tǒng)中的魯棒性，也為自動化算子在生產(chǎn)級引擎中的端到端集成提供了可行的實踐參考。

LMDeploy 端到端模型吞吐評測

結語

沐曦股份堅持“自主創(chuàng)新+開放兼容”的雙軌并行路線，在底層硬件完成突破的同時，致力于圍繞MXMACA軟件棧， 打造一個開放、自主、全棧兼容的智能計算生態(tài)，公司的目標是將建成人工智能時代的“Android”。

目前，MXMACA軟件棧不僅深度兼容主流GPU生態(tài)，還支持40多種AI框架，覆蓋訓練、推理、科學計算全場景，可大福降低開發(fā)者的生態(tài)遷移成本。同時可支持500多款AI模型、4500多個開源項目軟件兼容測試，覆蓋95%的主流AI場景。此前已支持國內(nèi)多款AI模型的“Day0適配”、實現(xiàn)即插即用。MXMACA開源社區(qū)也于去年開放，截至2026年3月13日，軟件棧注冊用戶已超過30萬人。

此次合作，既是MXMACA軟件棧生態(tài)的價值體現(xiàn)，也為公司持續(xù)深耕AI算力基礎設施、推動高性能計算技術產(chǎn)業(yè)化升級奠定了堅實基礎，未來雙方將繼續(xù)深化協(xié)同，依托Kernel-Smith與MXMACA的技術合力，為AI大模型、科學計算等領域提供更高效、更可靠的算力解決方案。

關于沐曦股份

沐曦股份致力于自主研發(fā)全棧高性能GPU芯片及計算平臺，為智算、通用計算、云渲染等前沿領域提供高能效、高通用性的算力支撐，助力數(shù)字經(jīng)濟發(fā)展。