4月1日，在2026中國IC領(lǐng)袖峰會“邊緣AI與算力芯片”垂直技術(shù)論壇上，國科微AI算法部部長倪亞宇發(fā)表題為《FlashAttention-4：新一代大模型推理NPU流水線范式設(shè)計》的主題演講。

隨著大模型加速走向產(chǎn)業(yè)落地，推理效率、內(nèi)存帶寬與系統(tǒng)功耗成為端側(cè)部署的關(guān)鍵瓶頸。尤其在Transformer與大型語言模型持續(xù)演進的背景下，注意力機制（Attention）的高效實現(xiàn)，已成為芯片架構(gòu)與工具鏈優(yōu)化的重要突破口。

倪亞宇表示，國科微正聚焦FlashAttention等前沿技術(shù)在NPU平臺上的落地探索，推動構(gòu)建更適合端側(cè)量產(chǎn)部署的NPU架構(gòu)與工具鏈，為自動駕駛、邊緣計算、智能終端及AIGC等場景提供高效能算力支撐。

NPU部署“滿血版”FlashAttention仍面臨挑戰(zhàn)

作為大模型中的核心計算結(jié)構(gòu)之一，注意力機制在實際運行中普遍面臨訪存開銷高、流水線效率受限等問題。FlashAttention的提出，為解決這一問題提供了新的路徑。

FlashAttention是由斯坦福大學Tri Dao等人于2022年提出的一種快速且內(nèi)存高效的精確注意力算法。它通過對注意力計算過程進行等價重構(gòu)，通過分塊計算、在線Softmax、重計算與異步流水等方式，將中間計算過程保留在片上緩存中，減少外部存儲訪問帶寬壓力，顯著提升推理效率。

在剛剛過去的3月中旬，F(xiàn)lashAttention 4.0版本正式發(fā)布。倪亞宇指出，F(xiàn)lashAttention從1.0演進至4.0，在并行性、長序列支持、低精度計算及異步執(zhí)行等方面持續(xù)增強。但相較GPU，當前NPU在向量單元算力、異步流水排布、動態(tài)調(diào)度及超長上下文等能力上仍存差距。倪亞宇指出，要實現(xiàn)“滿血版”FlashAttention，需圍繞計算流水線、數(shù)據(jù)復用與系統(tǒng)帶寬進行協(xié)同設(shè)計。

國科微NPU 4.0：構(gòu)建更高效的推理單元

自2020年起，國科微持續(xù)投入NPU自主研發(fā)，形成從GKNPU 1.0到4.0的演進路線，產(chǎn)品能力向更高算力、更廣模型覆蓋與更優(yōu)能效比升級。目前，國科微AI視覺與車載AI系列芯片已搭載3.0版本NPU，支持0.5T至8T算力，支持視覺、音頻、時序等AI模型在端側(cè)芯片應用落地。

在GKNPU 4.0架構(gòu)設(shè)計中，國科微提出面向高效注意力計算的增強型脈動陣列架構(gòu)，針對性擴展矩陣和向量計算能力，強化對大模型注意力機制中的關(guān)鍵操作的支持，壓縮數(shù)據(jù)搬運路徑與流水線開銷，增強片上閉環(huán)計算能力。該設(shè)計旨在減少對外部帶寬的依賴，提升推理鏈路執(zhí)行效率，有效應對大模型推理中的帶寬瓶頸、激活值碎片化及超長上下文的內(nèi)存壓力。

強化工具鏈，推動高效規(guī)?；渴?/p>

在NPU架構(gòu)演進的同時，國科微持續(xù)強化工具鏈能力。新一代GKToolchain 3.0面向端側(cè)異構(gòu)算力場景，重點提升硬件感知編譯、自動分塊、自動向量化、異步數(shù)據(jù)讀寫與計算流水編排能力，推動模型部署從“可適配”邁向“高效率、可規(guī)?；?。

同時，工具鏈圍繞動態(tài)內(nèi)存管理、投機推理加速等前沿方向持續(xù)演進，增強對長上下文管理及復雜推理流程的支撐能力，助力客戶高效完成從模型到芯片的部署閉環(huán)。

隨著AI應用從訓練側(cè)走向推理側(cè)、從云端走向終端，產(chǎn)業(yè)對算力平臺的要求正從“高峰值性能”轉(zhuǎn)向“高能效、可量產(chǎn)、易部署”的綜合能力。NPU在端側(cè)規(guī)?；涞刂芯邆滹@著的成本與功耗優(yōu)勢。

倪亞宇表示，國科微將持續(xù)堅持算法與硬件協(xié)同創(chuàng)新，圍繞大模型推理核心瓶頸，不斷完善NPU架構(gòu)、產(chǎn)品能力與工具鏈體系，推動端側(cè)智能計算平臺向更高性能、更低功耗、更強工程可落地方向演進，為客戶提供更具競爭力的算力方案。

審核編輯 黃宇