大模型的快速發(fā)展正推動(dòng)AI算力需求進(jìn)入爆發(fā)式增長(zhǎng)階段。與此同時(shí)，不同應(yīng)用場(chǎng)景又對(duì)AI芯片提出了多樣化的挑戰(zhàn)：例如在大模型Prefill場(chǎng)景，對(duì)算力要求更高，對(duì)內(nèi)存帶寬的要求則遠(yuǎn)低于Decode場(chǎng)景；大模型訓(xùn)練場(chǎng)景則不僅需要高算力與大容量?jī)?nèi)存，還需要更高的互連帶寬與大規(guī)模集群組網(wǎng)能力。顯然，單一的芯片架構(gòu)已難以滿足多元化的業(yè)務(wù)需求，為部署不同類型的業(yè)務(wù)，大模型應(yīng)用廠商往往需要引入多種不同架構(gòu)的AI芯片。因此造成的跨芯片架構(gòu)間業(yè)務(wù)代碼遷移與維護(hù)工作，尤其是算子遷移工作，往往耗時(shí)數(shù)月，成為業(yè)務(wù)遷移流程中的主要瓶頸。

針對(duì)行業(yè)痛點(diǎn)，北京智源人工智能研究院依托AI算法優(yōu)化、芯片架構(gòu)分析、編譯器技術(shù)和分布式通信領(lǐng)域的多年積累，聯(lián)手眾多社區(qū)伙伴共同啟動(dòng)了眾智FlagOS項(xiàng)目，旨在通過(guò)統(tǒng)一軟件層解耦A(yù)I模型與異構(gòu)硬件，打破不同架構(gòu)芯片之間的軟件生態(tài)壁壘，為芯片硬件與上層AI應(yīng)用之間搭建統(tǒng)一且高效銜接的橋梁，系統(tǒng)性解決“適配難、調(diào)優(yōu)慢、協(xié)同弱”三大行業(yè)難題，實(shí)現(xiàn)“一次開發(fā)，處處運(yùn)行”，致力于為AI產(chǎn)業(yè)打造開放協(xié)同的創(chuàng)新技術(shù)底座。

從2024年初起，寒武紀(jì)和智源研究院開始進(jìn)行FlagGems（基于Triton的高性能通用AI算子庫(kù)）的聯(lián)合開發(fā)工作，后續(xù)進(jìn)一步拓展到FlagTree（統(tǒng)一多后端的增強(qiáng)版Triton編譯器）、FlagCX（統(tǒng)一通信庫(kù)）、FlagScale（并行訓(xùn)推一體框架）等組件。至2025年9月，寒武紀(jì)已經(jīng)完成對(duì)FlagOS下各組件的適配和優(yōu)化工作。隨著智源研究院在“AICC2025暨首屆FlagOS開放計(jì)算開發(fā)者大會(huì)”發(fā)布了FlagOS v1.5，寒武紀(jì)產(chǎn)品可通過(guò)眾智大模型全棧生態(tài)基座支撐更廣泛的生態(tài)伙伴。

寒武紀(jì)與FlagOS的適配與優(yōu)化主要集中在算子、編譯器、分布式通信庫(kù)和并行框架組件等方面，以下將逐一介紹。

FlagGems

FlagGems是基于Triton語(yǔ)言實(shí)現(xiàn)的大模型算子庫(kù)，目標(biāo)是在多硬件后端上提供高性能的算子實(shí)現(xiàn)，并通過(guò)基準(zhǔn)測(cè)試與自適應(yīng)調(diào)優(yōu)，持續(xù)優(yōu)化性能表現(xiàn)。項(xiàng)目提供面向不同芯片廠商的后端適配機(jī)制、可配置的調(diào)優(yōu)參數(shù)體系，以及完整的文檔、測(cè)試與基準(zhǔn)評(píng)測(cè)入口。

作為FlagOS生態(tài)的核心算子組件庫(kù)，F(xiàn)lagGems以“高復(fù)用性、極致性能、架構(gòu)通用性”為設(shè)計(jì)理念，通過(guò)標(biāo)準(zhǔn)化算子模塊體系，大幅降低芯片廠商的算子開發(fā)與適配成本。作為首批深度參與FlagGems生態(tài)建設(shè)的芯片廠商，寒武紀(jì)全程投入算子適配與性能調(diào)優(yōu)驗(yàn)證工作，目前已完成206/209個(gè)核心算子的全功能支持，平均性能提升達(dá)1.9倍，其中絕大部分算子性能達(dá)到原生算子的80%以上。寒武紀(jì)將持續(xù)探索性能優(yōu)化邊界，針對(duì)低效能的凹點(diǎn)算子展開專項(xiàng)攻堅(jiān)，進(jìn)一步消除性能瓶頸，實(shí)現(xiàn)全算子高性能覆蓋。

FlagTree

FlagTree是一個(gè)面向多種AI芯片的開源統(tǒng)一編譯器，致力于為多元化的AI硬件生態(tài)提供統(tǒng)一的編譯、適配和優(yōu)化能力。項(xiàng)目以Triton生態(tài)為基礎(chǔ)，兼容現(xiàn)有主流AI芯片后端，統(tǒng)一代碼倉(cāng)庫(kù)，并快速實(shí)現(xiàn)單倉(cāng)庫(kù)多后端支持，為上游模型開發(fā)者與下游芯片廠商的協(xié)作與創(chuàng)新提供了極大便利，可大幅提升開發(fā)效率，促進(jìn)了Triton生態(tài)的繁榮和演進(jìn)。

在寒武紀(jì)與FlagTree的深度合作中，寒武紀(jì)Triton已成功合并至FlagTree主代碼倉(cāng)庫(kù)。基于FlagTree編譯器與FlagGems算子庫(kù)，寒武紀(jì)針對(duì)QWen3-8B大語(yǔ)言模型開展全鏈路適配驗(yàn)證：將模型中的37個(gè)核心算子（涵蓋矩陣乘法matmul、層歸一化layer_norm、注意力機(jī)制attention等關(guān)鍵計(jì)算單元）替換為FlagGems提供的Triton優(yōu)化算子，在寒武紀(jì)芯片上進(jìn)行推理性能測(cè)試，整網(wǎng)推理吞吐性能達(dá)到原生算子版本的80%，完全滿足實(shí)時(shí)推理場(chǎng)景需求。

這一成果不僅驗(yàn)證了FlagTree+FlagGems技術(shù)棧的工程穩(wěn)定性，更彰顯了Triton框架兩大核心優(yōu)勢(shì)：顯著提升開發(fā)效率，算子迭代周期從傳統(tǒng)的2周大幅縮短至3天；跨架構(gòu)兼容性，為前沿LLM模型的快速工程化開辟了高效技術(shù)路徑。

FlagCX

FlagCX是一款面向大規(guī)模AI訓(xùn)練的通信中間件，通過(guò)對(duì)底層硬件差異進(jìn)行抽象，使開發(fā)者能夠在異構(gòu)硬件環(huán)境中無(wú)縫開展分布式訓(xùn)練，從而有效提升資源利用效率和訓(xùn)練性能。

FlagCX開源后，寒武紀(jì)即開始積極參與共建。從FlagCX v0.1.0版本開始，寒武紀(jì)就實(shí)現(xiàn)了絕大部分通信原語(yǔ)的支持，如今已完成對(duì)allreduce、reducescatter、allgather、send、recv等通信操作的全面支持。這種支持并非簡(jiǎn)單的接口對(duì)接，而是通過(guò)FlagCX統(tǒng)一適配器模塊，實(shí)現(xiàn)了FlagCX與寒武紀(jì)原生CNCL通信庫(kù)的高效、深度集成。

FlagCX通過(guò)其核心層（FlagCX Core）處理異構(gòu)通信，同時(shí)通過(guò)適配器無(wú)縫兼容包括寒武紀(jì)CNCL在內(nèi)的各大廠商同構(gòu)通信庫(kù)。這意味著，當(dāng)用戶在純寒武紀(jì)MLU集群上進(jìn)行同構(gòu)訓(xùn)練時(shí)，F(xiàn)lagCX能夠直接調(diào)用經(jīng)過(guò)深度優(yōu)化的CNCL庫(kù)，確保通信性能與直接使用CNCL原生庫(kù)基本持平，幾乎無(wú)性能損耗。這種深度集成保障寒武紀(jì)用戶在享受FlagCX統(tǒng)一接口便利性的同時(shí)，同樣可以獲得原生性能體驗(yàn)。

在寒武紀(jì)MLU與其他AI芯片的混合環(huán)境中，F(xiàn)lagCX成功保障混合訓(xùn)練的模型精度與純MLU獨(dú)立訓(xùn)練結(jié)果完全一致。更重要的是，在如此復(fù)雜的異構(gòu)環(huán)境下，平均單卡吞吐量仍能達(dá)到MLU獨(dú)立訓(xùn)練的99%以上。性能測(cè)試表明寒武紀(jì)MLU與FlagCX的結(jié)合，可以做到精度無(wú)損且性能和原生通信庫(kù)持平的水平，為用戶使用異構(gòu)算力資源進(jìn)行大模型訓(xùn)推提供了可靠的技術(shù)基礎(chǔ)。

FlagScale

FlagScale是智源人工智能研究院主導(dǎo)開發(fā)的大模型全生命周期工具集，是FlagOS生態(tài)的核心組成部分，致力于構(gòu)建覆蓋模型開發(fā)、分布式訓(xùn)練與推理部署的統(tǒng)一技術(shù)體系。框架融合了Megatron-LM、vLLM、SGLang、Verl等主流開源項(xiàng)目，為大模型提供從訓(xùn)練到推理的一站式解決方案。

在與FlagScale的深度合作中，寒武紀(jì)基于MLU硬件平臺(tái)完成了對(duì)Megatron-LM訓(xùn)練框架和vLLM推理框架的全面適配與優(yōu)化。在訓(xùn)練環(huán)節(jié)，MLU平臺(tái)已充分支持智源Megatron體系下的多類主流模型，包括Llama系列、Aquila2系列、Qwen3系列等，并覆蓋從模型并行到混合精度的完整訓(xùn)練流程；在推理環(huán)節(jié)，MLU平臺(tái)對(duì)vLLM框架實(shí)現(xiàn)了完備的兼容支持，可高效運(yùn)行社區(qū)開源的多種大語(yǔ)言模型推理任務(wù)。

在完成框架級(jí)適配后，結(jié)合MLU架構(gòu)特性，寒武紀(jì)還圍繞通信、算子和內(nèi)存調(diào)度進(jìn)行了多層次性能優(yōu)化。通過(guò)集成自研CNCL通信庫(kù)、CNNL高性能算子庫(kù)及混合精度算子調(diào)度機(jī)制，可顯著提升分布式訓(xùn)練的通信效率與算力利用率；在vLLM推理中，針對(duì) Attention、LayerNorm、GEMM等核心算子進(jìn)行了指令級(jí)與內(nèi)存訪問(wèn)模式優(yōu)化，為后續(xù)性能提升奠定基礎(chǔ)。

憑借在FlagScale生態(tài)中的深度集成與架構(gòu)適配經(jīng)驗(yàn)，寒武紀(jì)MLU平臺(tái)具備了對(duì)未來(lái)FlagScale開發(fā)或開放的新模型進(jìn)行快速、即時(shí)適配的能力。無(wú)論是Megatron-LM體系下的新一代訓(xùn)練模型，還是vLLM推理端的最新開源模型，MLU都能夠在框架演進(jìn)中實(shí)現(xiàn)同步更新與性能優(yōu)化，保持良好的生態(tài)兼容性和持續(xù)演進(jìn)能力。

FlagScale的全面適配與持續(xù)優(yōu)化，使寒武紀(jì)MLU在大模型訓(xùn)練與推理全鏈路中具備了統(tǒng)一、高效、可擴(kuò)展的框架級(jí)生態(tài)能力。這一進(jìn)展不僅加速了國(guó)產(chǎn)AI硬件在開源大模型生態(tài)中的融合，也為大模型的工程化和高性能部署提供了有力支撐。