2024年7月13日-14日，由中國(guó)人工智能學(xué)會(huì)主辦的2024中國(guó)元宇宙大會(huì)在杭州隆重舉行。大會(huì)期間舉行6場(chǎng)專題論壇，分別聚焦AIGC與數(shù)字人、人機(jī)交互與混合現(xiàn)實(shí)、AR/VR與光場(chǎng)顯示、具身智能與元宇宙、藝術(shù)元宇宙、文旅元宇宙等關(guān)鍵領(lǐng)域和垂直場(chǎng)景。

摩爾線程作為中國(guó)全功能GPU創(chuàng)新引領(lǐng)者和元計(jì)算概念提出及實(shí)踐者，受邀參加本次盛會(huì)。摩爾線程聯(lián)合創(chuàng)始人、首席技術(shù)官?gòu)堚暡?lián)合主持了人機(jī)交互與混合現(xiàn)實(shí)專題論壇。摩爾學(xué)院院長(zhǎng)李豐參與了大會(huì)發(fā)布的《中國(guó)人工智能系列白皮書—元宇宙技術(shù)（2024版）》撰寫。摩爾線程高級(jí)專家楊豐博士發(fā)表了《虛實(shí)結(jié)合 加速未來(lái)：以全功能GPU綜合算力加速元宇宙產(chǎn)業(yè)發(fā)展》的主題演講。

楊豐博士在演講中首先介紹了摩爾線程全功能GPU的多元計(jì)算能力。

接著從具身假設(shè)開始，楊豐博士介紹了具身智能感知、規(guī)劃、行動(dòng)一體化的思想。他表示，具身智能的發(fā)展使得AI學(xué)習(xí)從僅依靠靜態(tài)的數(shù)據(jù)集逐漸轉(zhuǎn)換到還需要?jiǎng)討B(tài)的模擬器。這種面向AI學(xué)習(xí)所設(shè)計(jì)的模擬器，主要目的是為了支撐Sim2Real，即“AI Agent需要被部署到實(shí)際的設(shè)備上，從而與物理世界產(chǎn)生交互”。這種面向AI學(xué)習(xí)的需求，給模擬器的設(shè)計(jì)帶來(lái)了新的挑戰(zhàn)。

以靈巧手為例，當(dāng)前機(jī)械臂逐漸開始采用視觸覺(jué)傳感器GelSight。這種傳感器利用相機(jī)拍攝接觸面的凝膠，從而通過(guò)圖片感知接觸物體的幾何形狀、紋理、切向摩擦等信息。在模擬器中模擬這樣一種視觸覺(jué)傳感器，需要通過(guò)渲染管線渲染160x120大小的圖片。但是，由于在每根手指上都存在多個(gè)傳感器，因此每一幀需要大量調(diào)取Draw指令進(jìn)行渲染，使得渲染成為了主要的性能瓶頸。因此，近年來(lái)很多工作都在使用現(xiàn)代圖形API實(shí)現(xiàn)批量渲染的引擎，將渲染合并在一起進(jìn)行一次性處理，大幅提高渲染效率。

基于感知獲得的信息，接下來(lái)要讓機(jī)械手完成任務(wù)，最直接的方式就是行為克隆。通過(guò)XR設(shè)備，人類可以錄制對(duì)應(yīng)的操作數(shù)據(jù)，甚至可以進(jìn)入到虛擬訓(xùn)練環(huán)境中與Agent互動(dòng)。摩爾線程端到端全國(guó)產(chǎn)XR解決方案MTVerse XR支持多種XR設(shè)備運(yùn)行在摩爾線程全功能GPU上，利用全功能GPU的視頻編解碼能力，可提供低延時(shí)體驗(yàn)，降低因?yàn)檠訒r(shí)帶來(lái)的操作失誤。

事實(shí)上，行為克隆技術(shù)很早就進(jìn)入到了機(jī)器人研究當(dāng)中，但這種方式總歸需要人錄制數(shù)據(jù)。在錄制數(shù)據(jù)中，往往還需要一些專家知識(shí)，例如：避免動(dòng)作的多模態(tài)等，數(shù)據(jù)的獲取往往比較困難。強(qiáng)化學(xué)習(xí)可以降低對(duì)數(shù)據(jù)的依賴，但是這種方式采樣效率低。GPU物理引擎結(jié)合GPU上的強(qiáng)化學(xué)習(xí)，可以大幅提高任務(wù)的吞吐量。摩爾線程很早就基于全功能GPU自研了全自主物理引擎AlphaCore，產(chǎn)品已經(jīng)在多個(gè)場(chǎng)景大量應(yīng)用。

在模擬器中學(xué)習(xí)，最大的好處就是提高學(xué)習(xí)的泛化能力。對(duì)于抓取這樣的任務(wù)，現(xiàn)實(shí)空間中針對(duì)不同大小、形狀、材質(zhì)的物體進(jìn)行訓(xùn)練成本很高。通過(guò)AIGC生成大量3D物體，結(jié)合物理引擎，可以為Agent泛化學(xué)習(xí)提供很好的支持?；诟叨菴UDA兼容的摩爾線程MUSA架構(gòu)，摩爾線程GPU廣泛支持國(guó)內(nèi)外主流AIGC大模型，最新的AI模型可以很容易遷移到摩爾線程全功能GPU上，進(jìn)行訓(xùn)練和推理。

從具身智能的發(fā)展來(lái)看，模擬器和AI這兩項(xiàng)技術(shù)逐漸融合，越來(lái)越需要全功能GPU的各項(xiàng)技術(shù)結(jié)合在一起才能完成AI Agent的訓(xùn)練任務(wù)。

楊豐博士最后表示，混合現(xiàn)實(shí)技術(shù)為人機(jī)交互帶來(lái)了革命性的創(chuàng)新，引領(lǐng)我們步入一個(gè)虛實(shí)交融的新時(shí)代，也對(duì)多元算力提出了更高的要求。摩爾線程全功能GPU將成為未來(lái)計(jì)算的中堅(jiān)力量，為邁向AGI時(shí)代提供加速動(dòng)力。

元宇宙作為融合人工智能、虛擬現(xiàn)實(shí)等多項(xiàng)前沿技術(shù)的全新領(lǐng)域，蘊(yùn)含了感知、計(jì)算、重構(gòu)、協(xié)同、交互等關(guān)鍵核心技術(shù)，是未來(lái)技術(shù)發(fā)展和社會(huì)生活變革的重要路徑，將催生出新型虛實(shí)融合應(yīng)用和社會(huì)形態(tài)，引領(lǐng)數(shù)字經(jīng)濟(jì)等多個(gè)萬(wàn)億級(jí)未來(lái)產(chǎn)業(yè)發(fā)展。具備多元算力的全功能GPU將成為元宇宙產(chǎn)業(yè)的核心算力支撐平臺(tái)，摩爾線程將發(fā)揮全功能GPU的產(chǎn)品技術(shù)優(yōu)勢(shì)，致力于為元宇宙產(chǎn)業(yè)提供中國(guó)算力解決方案。

▼ 關(guān)于摩爾線程

摩爾線程成立于2020年10月，以全功能GPU為核心，致力于向全球提供加速計(jì)算的基礎(chǔ)設(shè)施和一站式解決方案，為各行各業(yè)的數(shù)智化轉(zhuǎn)型提供強(qiáng)大的AI計(jì)算支持。

我們的目標(biāo)是成為具備國(guó)際競(jìng)爭(zhēng)力的GPU領(lǐng)軍企業(yè)，為融合人工智能和數(shù)字孿生的數(shù)智世界打造先進(jìn)的加速計(jì)算平臺(tái)。我們的愿景是為美好世界加速。