近日，在華為中國合作伙伴大會(huì)期間，昇騰人工智能伙伴峰會(huì)在深圳正式召開。會(huì)上，華為昇騰計(jì)算業(yè)務(wù)總裁張迪煊發(fā)表了《與時(shí)代 共昇騰》的演講。他表示，長(zhǎng)思考能力將scaling延展到推理，集群推理成為大模型推理系統(tǒng)的標(biāo)配，昇騰率先落地大規(guī)模專家并行方案，平均單卡性能提升到原來的3~4倍。

全文如下

尊敬的各位領(lǐng)導(dǎo)、各位來賓，線上/線下的伙伴們、朋友們，大家下午好！很高興和大家相聚在合作伙伴大會(huì)計(jì)算峰會(huì)的現(xiàn)場(chǎng)。當(dāng)下，人工智能已經(jīng)成為推動(dòng)世界發(fā)展的核心驅(qū)動(dòng)，昇騰作為智能化底座，在各位伙伴和開發(fā)者朋友們的共同支持和努力下，得到了快速發(fā)展。我謹(jǐn)代表華為昇騰計(jì)算業(yè)務(wù)，再次感謝大家，歡迎大家的到來！

今天我的演講主題是：與時(shí)代 共昇騰！

每年，AI都在突破我們預(yù)設(shè)的認(rèn)知邊界，從圖像識(shí)別到藝術(shù)創(chuàng)作，從信息檢索到邏輯推演，每一天都是探索的起點(diǎn)。朋友們，你準(zhǔn)備好每年重啟一次認(rèn)知邊界了嗎？

唯有持續(xù)創(chuàng)新才能與時(shí)代同頻

認(rèn)知的突破源于技術(shù)的躍遷。2012年，機(jī)器視覺完成從理論到應(yīng)用的蛻變；10年后，ChatGPT完成從感知理解到生成創(chuàng)造的跨越；不到2年，Sora實(shí)現(xiàn)從語言到視覺的銜接；僅1年，DeepSeek又實(shí)現(xiàn)從內(nèi)容生成到邏輯推理的進(jìn)化；多模態(tài)、長(zhǎng)序列、思維鏈、強(qiáng)化學(xué)習(xí)等技術(shù)的密集爆發(fā)，推動(dòng)模型迭代進(jìn)入指數(shù)級(jí)加速的新紀(jì)元。時(shí)代的變化永不停歇，唯有持續(xù)創(chuàng)新才能與時(shí)代同頻。應(yīng)用的創(chuàng)新已經(jīng)不再圍繞單模型能力，而是發(fā)揮每個(gè)模型專長(zhǎng)，協(xié)同增效。每次長(zhǎng)思考的邏輯推理，都會(huì)帶來額外20倍的token生成，隨之而來的是百倍的推理算力需求，AI推理也從“單卡加速”走向“分布式推理加速”，需要在性能與收益之間找到最佳平衡。

如今，業(yè)界不僅在模型結(jié)構(gòu)上創(chuàng)新，還延伸到“訓(xùn)推全流程”的工程創(chuàng)新，下探到底層硬件資源的極致利用。

這些變化激發(fā)著AI創(chuàng)新的覺醒。伴隨著越來越多的企業(yè)、高校、科研機(jī)構(gòu)及開發(fā)者的加入，人工智能產(chǎn)業(yè)將迸發(fā)出更加旺盛的創(chuàng)新活力，也是構(gòu)建自主AI生態(tài)的黃金時(shí)期，未來充滿想象與機(jī)遇！

2025進(jìn)入大模型應(yīng)用元年

DeepSeek揭開了AI自主創(chuàng)新的序幕，高質(zhì)量模型+后訓(xùn)練范式大幅提升行業(yè)模型效果，降低行業(yè)落地門檻，帶來技術(shù)平權(quán)。

AI開發(fā)從“實(shí)驗(yàn)室特權(quán)”變?yōu)椤叭窆ぞ呦洹保行F(tuán)隊(duì)占據(jù)了AI創(chuàng)新的半壁江山；需求驅(qū)動(dòng)行業(yè)場(chǎng)景倍增，讓應(yīng)用不再聚焦于頭部企業(yè)，而是在千行萬業(yè)的業(yè)務(wù)流中涌現(xiàn)。

我們都知道，移動(dòng)互聯(lián)網(wǎng)時(shí)代，流量是衡量產(chǎn)業(yè)發(fā)展的量綱；AI時(shí)代，Tokens成為新的衡量標(biāo)準(zhǔn)，2024年年初，中國日均Token消耗量為1千億，今天每日消耗量已達(dá)到了十萬億級(jí)，1年增長(zhǎng)100倍。

我們將以“中國速度”迎來大模型的應(yīng)用元年！

昇騰攜手伙伴與時(shí)俱進(jìn)

在創(chuàng)新的道路上，昇騰與時(shí)共進(jìn)，加速前行。

今年春節(jié)前夕，DeepSeek R1快速席卷了國內(nèi)外AI技術(shù)圈及產(chǎn)業(yè)界。而昇騰早在去年年中，DeepSeek V2發(fā)布的時(shí)候，就已經(jīng)聯(lián)合幻方團(tuán)隊(duì)完成了模型結(jié)構(gòu)適配及性能的調(diào)優(yōu)。

依托已沉淀的經(jīng)驗(yàn)和技術(shù)積累，昇騰幾乎在R1上線的同時(shí)就完成了昇騰版本的發(fā)布。同時(shí)在春節(jié)期間，昇騰也與伙伴硅基流動(dòng)共同作戰(zhàn)，迅速面向全國用戶第一時(shí)間提供DeepSeek的線上服務(wù)，在新春的煙花點(diǎn)亮夜空時(shí)，為大家獻(xiàn)上AI的厚禮。如今，硅基新增用戶數(shù)突破了300萬，增長(zhǎng)了800%！

春節(jié)隨后的2周，當(dāng)國內(nèi)友商還在探索適配DeepSeek的時(shí)候，昇騰已經(jīng)圍繞融合算子、通信優(yōu)化、并行加速、推理系統(tǒng)、強(qiáng)化學(xué)習(xí) 5大方向?qū)崿F(xiàn)工程技術(shù)創(chuàng)新，讓一體機(jī)性能實(shí)現(xiàn)翻番。并率先落地大規(guī)模專家并行技術(shù)，讓推理性能實(shí)現(xiàn)再翻番，支撐伙伴抓住推理新機(jī)遇。

同時(shí)昇騰率先完整復(fù)現(xiàn)Open-R1后訓(xùn)練全流程，并將能力沉淀成套件及解決方案，開放給伙伴，支撐伙伴抓住后訓(xùn)練新機(jī)遇。

春節(jié)過后的一個(gè)月，已有超過80個(gè)伙伴基于昇騰落地大模型應(yīng)用一體機(jī)、國內(nèi)25城人工智能計(jì)算中心也全都上線DeepSeek，為本地的高校、企業(yè)及科研院所提供即時(shí)可用的服務(wù)。

目前已有超過150家企業(yè)基于昇騰部署上線DeepSeek，比如：

龍崗政數(shù)局是第一家上線DeepSeek的政府部門，為全區(qū)兩萬多名公職人員提供政務(wù)辦公、城市治理、民意速辦等服務(wù)；

東南大學(xué)依托昇騰算力平臺(tái)本地部署，在校園網(wǎng)內(nèi)，師生通過訪問鏈接，可無限次免費(fèi)體驗(yàn)“滿血版”DeepSeek，徹底告別“服務(wù)器繁忙”困擾。服務(wù)上線即刻引發(fā)使用熱潮，上線一小時(shí)，用戶訪問數(shù)即突破千人；上線近一周，日均生成超1億token 。

這些成果離不開每一位伙伴的付出，感謝各位伙伴一路陪伴，與昇騰同行！

昇騰AI基礎(chǔ)軟件棧全新升級(jí)發(fā)布

一直以來，昇騰堅(jiān)持聚焦根技術(shù)創(chuàng)新，并結(jié)合業(yè)界的反饋和建議，不斷迭代和演進(jìn)各個(gè)能力組件，以滿足不同時(shí)期的需求。今天，面向大模型深度創(chuàng)新的時(shí)代，昇騰全新升級(jí)昇騰AI基礎(chǔ)軟件棧！

在架構(gòu)上，面向不同開發(fā)訴求及場(chǎng)景，實(shí)現(xiàn)了更清晰的分層：

硬件使能層CANN深度開放，從上層圖引擎到底層運(yùn)行時(shí)，從融合算子到通信算法，釋放硬件極致性能，使能伙伴及客戶自主創(chuàng)新。AI框架層支持業(yè)界生態(tài)，早在2023年10月Pytorch開源社區(qū)就已官方宣布支持昇騰，上個(gè)月，vLLM開源社區(qū)也已官方宣布擁抱昇騰，這意味著當(dāng)前所有訓(xùn)練和推理上的創(chuàng)新都可以基于昇騰快速實(shí)現(xiàn)。同時(shí)，昇思在大家的貢獻(xiàn)下，也在持續(xù)演進(jìn)，最近，鵬城實(shí)驗(yàn)室基于昇思發(fā)布GRPO強(qiáng)化訓(xùn)練框架，率先突破了大模型強(qiáng)化學(xué)習(xí)技術(shù)全棧壁壘。

應(yīng)用使能層沉淀極致加速能力，訓(xùn)練加速庫實(shí)現(xiàn)從單任務(wù)加速到多任務(wù)加速；推理引擎支持從單卡加速到大規(guī)模專家并行集群的極致加速。

從預(yù)訓(xùn)練到后訓(xùn)練，使能模型高效創(chuàng)新

無論是預(yù)訓(xùn)練還是后訓(xùn)練，都需要基于業(yè)務(wù)數(shù)據(jù)快速迭代，Time to Accuracy是最關(guān)心的指標(biāo)之一，也代表著企業(yè)投入訓(xùn)練的成本。

面向預(yù)訓(xùn)練，昇騰通過超節(jié)點(diǎn)集群架構(gòu)創(chuàng)新滿足前沿模型探索，依托高速總線互聯(lián)，混合并行加速等技術(shù)，訓(xùn)練效率提升2.7倍；同時(shí)，基于CCAE集群故障預(yù)測(cè)及斷點(diǎn)續(xù)訓(xùn)的能力，大規(guī)模集群平均無故障運(yùn)行時(shí)間從幾小時(shí)提升到幾天，支撐客戶更短時(shí)間完成基礎(chǔ)大模型預(yù)訓(xùn)練。

強(qiáng)化學(xué)習(xí)技術(shù)的成熟，讓每個(gè)企業(yè)都有機(jī)會(huì)打造屬于自己的“R1模型”。

昇騰率先復(fù)現(xiàn)了后訓(xùn)練全流程，并沉淀成套件及解決方案，使能所有伙伴和客戶更敏捷迭代匹配場(chǎng)景的行業(yè)模型。

今天，昇騰將發(fā)布業(yè)界首個(gè)強(qiáng)化學(xué)習(xí)開發(fā)套件MindSpeed RL。

業(yè)界首個(gè)強(qiáng)化學(xué)習(xí)開發(fā)套件MindSpeed RL提供了從數(shù)據(jù)準(zhǔn)備、模型獲取到訓(xùn)練啟動(dòng)、模型評(píng)估的全流程工具、腳本及算法，并在Gitee上開源，致力于通過能力及技術(shù)賦能，降低后訓(xùn)練門檻，助力伙伴及客戶構(gòu)建更強(qiáng)大的后訓(xùn)練系統(tǒng)。強(qiáng)化學(xué)習(xí)是一個(gè)通過“探索 - 反饋 - 優(yōu)化” 循環(huán)實(shí)現(xiàn)智能決策的過程，涉及到訓(xùn)練與推理系統(tǒng)的頻繁交互，這對(duì)訓(xùn)推系統(tǒng)間數(shù)據(jù)同步效率及通信效率提出了更高的挑戰(zhàn)。昇騰提供了業(yè)界首個(gè)大規(guī)模MoE訓(xùn)推共卡強(qiáng)化學(xué)習(xí)技術(shù)，通過訓(xùn)推參數(shù)同步、權(quán)重動(dòng)態(tài)轉(zhuǎn)換、共卡調(diào)度控制實(shí)現(xiàn)千億參數(shù)規(guī)模下的訓(xùn)推共卡切換，節(jié)省訓(xùn)練資源的同時(shí)，提升交互效率。同時(shí)，面對(duì)生成、前向、訓(xùn)練三個(gè)核心環(huán)節(jié)中相互等待的問題，昇騰提供了創(chuàng)新的多模型異步流水調(diào)度方案，利用MBS動(dòng)態(tài)內(nèi)存優(yōu)化切分技術(shù)，將通信與計(jì)算充分并行，實(shí)現(xiàn)流水掩蓋，相較于原始GRPO算法，可以將流水掩蓋性能提升10%以上。歡迎大家在Gitee上下載使用，打造自己的行業(yè)R1模型！

率先實(shí)現(xiàn)大規(guī)模專家并行方案

長(zhǎng)思考能力將scaling延展到推理，Tokens已經(jīng)成為衡量推理系統(tǒng)的唯一標(biāo)準(zhǔn)，集群推理成為大模型推理系統(tǒng)的標(biāo)配，系統(tǒng)即要確保用戶的低時(shí)延響應(yīng)，又需要提高整體吞吐，以最大化推理的經(jīng)濟(jì)價(jià)值。

為了實(shí)現(xiàn)大模型推理的極限計(jì)算，昇騰從算子到推理系統(tǒng)全面創(chuàng)新。針對(duì)MoE架構(gòu)，國內(nèi)首創(chuàng)大規(guī)模專家并行方案，通過將MoE模型的多專家權(quán)重?cái)?shù)據(jù)分散部署到更多的卡上，降低單卡權(quán)重加載時(shí)延，讓模型解碼輸出更快；同時(shí)，單卡內(nèi)存容量占用的降低，能夠支持更大用戶并發(fā)所需的KV緩存，實(shí)現(xiàn)系統(tǒng)的更大吞吐性能。

復(fù)雜的并行方案帶來了更多的通信開銷，昇騰獨(dú)創(chuàng)雙流并行等優(yōu)化技術(shù)，通過計(jì)算、訪存、通信的相互掩蓋，將all2all通信時(shí)延降低50%；提供PA+MLAPO融合算子將計(jì)算耗時(shí)降低70%；通過多專家動(dòng)態(tài)均衡，實(shí)現(xiàn)20%以上的資源利用率提升。

就在上周，昇騰與科大訊飛攜手，發(fā)布了國內(nèi)首個(gè)大規(guī)模專家并行方案，也是繼DeepSeek公布其MoE模型訓(xùn)推方案后，業(yè)界首個(gè)基于自主創(chuàng)新的算力平臺(tái)的全新解決方案。平均單卡性能提升到原來的3~4倍。面向未來，昇騰將持續(xù)在此基礎(chǔ)上疊加超節(jié)點(diǎn)等更多的創(chuàng)新技術(shù)，單卡性能可以再次提升5~10倍以上，持續(xù)保持大規(guī)模吞吐領(lǐng)先。

一體機(jī)解決方案加速伙伴AI應(yīng)用落地

面向中小企業(yè)、學(xué)校和醫(yī)院等機(jī)構(gòu)需要快速部署、快速落地AI應(yīng)用的需求，昇騰聯(lián)合合作伙伴提供基于昇騰的一體機(jī)解決方案。昇騰為伙伴提供高性能、易部署的AI基礎(chǔ)軟硬件底座，使能伙伴打造豐富多樣、開箱即用的一體機(jī)產(chǎn)品。華鯤振宇的一體機(jī)方案已經(jīng)部署在成都區(qū)域政務(wù)服務(wù)大廳中，提升服務(wù)效率。

從模型部署、推理加速到應(yīng)用上線，昇騰都為伙伴提供了業(yè)界領(lǐng)先的方案支持。量化、調(diào)優(yōu)等工具鏈顯著提升50%部署效率；MLA親和等特性，讓伙伴的大模型應(yīng)用一體機(jī)吞吐性能提升90%；服務(wù)化能力支持應(yīng)用天級(jí)上線。

目前已有超80家合作伙伴基于昇騰發(fā)布大模型應(yīng)用一體機(jī)方案，為金融、政府、能源、制造、教育等廣泛行業(yè)場(chǎng)景提供智能應(yīng)用，加速AI落地行業(yè)。

推理引擎MindIE持續(xù)升級(jí)

今年2月份，vLLM開源社區(qū)宣布了與昇騰的對(duì)接，實(shí)現(xiàn)昇騰與開源版本0 Day演進(jìn)，開發(fā)者可基于昇騰使用vLLM全量功能，無感切換。

同時(shí)，通過MindIE Turbo推理加速插件，可以為vLLM提供并行策略、投機(jī)解碼、動(dòng)態(tài)調(diào)度等的高階優(yōu)化特性，在vLLM基礎(chǔ)之上進(jìn)行深度優(yōu)化，吞吐可提升20%以上，獲得極致性能體驗(yàn)。

中國工商銀行基于MindIE部署了滿血版DeepSeek，通過量化、MLA、多專家均衡等技術(shù)支撐，較初始版本實(shí)現(xiàn)了數(shù)倍的推理性能提升，目前已在行內(nèi)大規(guī)模部署，支持萬級(jí)日訪問量，為數(shù)十萬員工提供服務(wù)。

昇騰自動(dòng)駕駛SDK正式發(fā)布

智駕已成為新能源車標(biāo)配，L2及L2+智駕滲透率已經(jīng)從2024年的66%提升到了80%。伴隨而來的是智駕模型規(guī)模提升、數(shù)據(jù)采集規(guī)模變化以及訓(xùn)練節(jié)奏的加快，數(shù)據(jù)的快速閉環(huán)以及模型天級(jí)迭代成為智駕訓(xùn)練的剛需。

今天，昇騰也將為大家?guī)砣碌腄riving SDK 昇騰自動(dòng)駕駛訓(xùn)練套件。支持感知、預(yù)測(cè)、決策及規(guī)控類模型開發(fā)，提供數(shù)據(jù)標(biāo)注、難例挖掘、場(chǎng)景理解及重建能力，加速自動(dòng)駕駛數(shù)據(jù)閉環(huán)；在智駕模型開發(fā)上，預(yù)置50多種主流的智駕模型開箱即用，分鐘級(jí)完成自有模型搭建；在模型性能上，提供超50個(gè)高性能智駕算子，滿足目標(biāo)檢測(cè)、點(diǎn)云等場(chǎng)景需求，模型性能提升30%以上；套件中的模型及算子也全量開源在Gitee上，并提供豐富的參考設(shè)計(jì)，切實(shí)幫助伙伴及客戶提升自定義開發(fā)效率。

昇騰聯(lián)合華為車BU，將該套件應(yīng)用于ADS智駕系統(tǒng)的開發(fā)中，大幅縮短ADS 3.0模型訓(xùn)練時(shí)長(zhǎng)，實(shí)現(xiàn)天級(jí)上線。

堅(jiān)持圍繞五大創(chuàng)新方向發(fā)展AI產(chǎn)業(yè)生態(tài)

昇騰的生態(tài)發(fā)展離不開每一位伙伴的共同努力。

在過去的一年時(shí)間里，昇騰堅(jiān)定圍繞硬件、算子、加速庫、模型及應(yīng)用五大創(chuàng)新方向，攜手伙伴，共同發(fā)展。現(xiàn)在，已經(jīng)取得了豐富的成果。今年，昇騰將持續(xù)加大生態(tài)投入，從技術(shù)、政策、生態(tài)及激勵(lì)幾個(gè)維度持續(xù)為伙伴提供支撐：升級(jí)布道師隊(duì)伍，加強(qiáng)技術(shù)賦能；深化昇騰萬里伙伴計(jì)劃，通過開發(fā)、市場(chǎng)、算力等專項(xiàng)激勵(lì)，賦能伙伴打造更有競(jìng)爭(zhēng)力的產(chǎn)品和解決方案；歡迎更多的伙伴加入到昇騰五大創(chuàng)新方向，共同發(fā)展可持續(xù)、有韌性的AI產(chǎn)業(yè)生態(tài)！

昇騰將聚焦在自己所擅長(zhǎng)的產(chǎn)品和技術(shù)領(lǐng)域，持續(xù)深耕。

面向不同行業(yè)、不同階段的伙伴及客戶，提供從模組到板卡到服務(wù)器的全系列硬件產(chǎn)品，全面開放軟件棧，包含豐富的算子、加速套件、工具鏈等，支撐好伙伴及客戶打造差異化產(chǎn)品和解決方案，加速智能化升級(jí)。