日前，云天勵飛中標湛江市AI滲透支撐新質(zhì)生產(chǎn)力基礎(chǔ)設(shè)施建設(shè)項目。根據(jù)項目規(guī)劃，公司將基于自研國產(chǎn)AI推理加速卡，參與建設(shè)AI推理算力集群，并推動DeepSeek等國產(chǎn)大模型在相關(guān)應(yīng)用場景中的適配與部署，為政務(wù)和產(chǎn)業(yè)數(shù)字化應(yīng)用提供算力基礎(chǔ)設(shè)施支持。

面向大模型應(yīng)用構(gòu)建推理算力基礎(chǔ)設(shè)施

本次項目建設(shè)的AI推理算力集群將圍繞大模型推理任務(wù)需求進行系統(tǒng)設(shè)計。

在大模型推理過程中，不同計算階段對系統(tǒng)資源的需求存在差異。當前業(yè)界普遍采用“Prefill–Decode分離”的推理架構(gòu)，通過針對不同階段的資源配置優(yōu)化，提高整體系統(tǒng)運行效率。

在該架構(gòu)下，Prefill階段主要負責長上下文理解和計算，對算力和帶寬需求較高；Decode階段則持續(xù)生成Token，對系統(tǒng)延遲更加敏感。項目建設(shè)過程中，將結(jié)合不同階段的特點進行算力資源配置和系統(tǒng)優(yōu)化。

同時，隨著模型上下文長度不斷增加，大量中間狀態(tài)需要以KV Cache形式存儲。圍繞這一特點，項目在系統(tǒng)設(shè)計中對計算、存儲與網(wǎng)絡(luò)之間的協(xié)同進行了優(yōu)化，以提升數(shù)據(jù)訪問效率和整體系統(tǒng)性能。

在網(wǎng)絡(luò)架構(gòu)方面，系統(tǒng)將采用統(tǒng)一高速互聯(lián)架構(gòu)，通過400G光網(wǎng)絡(luò)構(gòu)建集群物理層網(wǎng)絡(luò)，實現(xiàn)節(jié)點之間的高帶寬、低延遲通信，并支持從單節(jié)點數(shù)十卡規(guī)模擴展至千卡級集群規(guī)模，以滿足不同規(guī)模AI應(yīng)用需求。

項目整體建設(shè)完成后，將形成面向大模型推理任務(wù)的算力基礎(chǔ)設(shè)施，為相關(guān)應(yīng)用場景提供穩(wěn)定的算力支撐。

持續(xù)推進AI推理芯片與算力系統(tǒng)技術(shù)研發(fā)

根據(jù)項目規(guī)劃，本次AI推理算力集群將分三期建設(shè)，并將采用云天勵飛自研的國產(chǎn)AI推理加速卡。

一期項目將部署云天勵飛 X6000 推理加速卡；未來將率先搭載公司最新一代芯片產(chǎn)品。

在AI推理芯片研發(fā)方面，云天勵飛正持續(xù)推進面向不同推理階段的技術(shù)布局。根據(jù)公司戰(zhàn)略規(guī)劃，未來將逐步推出針對Prefill階段優(yōu)化的芯片產(chǎn)品，以及面向Decode階段低延遲需求的推理芯片，并通過系統(tǒng)級協(xié)同優(yōu)化進一步提升整體推理效率。

其中，公司首款面向長上下文推理場景優(yōu)化的Prefill芯片DeepVerse100預計將在年內(nèi)完成流片，并計劃在相關(guān)算力系統(tǒng)中開展部署。

在長期技術(shù)規(guī)劃方面，公司提出“1001計劃”，即以“百億Token一分錢”為長期目標，通過芯片架構(gòu)與算力系統(tǒng)協(xié)同優(yōu)化，持續(xù)推動大模型推理成本下降。

未來，公司將繼續(xù)推進AI推理芯片相關(guān)技術(shù)研發(fā)，推動人工智能技術(shù)在更多行業(yè)中的普惠落地。