電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）作為人工智能發(fā)展的一個(gè)重要分支，具身智能常被人提及。簡(jiǎn)單來(lái)說(shuō)，人工智能系統(tǒng)主要關(guān)注于數(shù)據(jù)處理和算法的優(yōu)化，好比是人的大腦，而具身智能則更加注重機(jī)器與環(huán)境的互動(dòng)和交流，是大腦和身體的結(jié)合。

那么具身智能終端有哪些？在日前芯原AI專(zhuān)題技術(shù)研討會(huì)上，神頂科技（南京）有限公司董事長(zhǎng)兼CEO袁帝文展示了一些例子，如工業(yè)機(jī)器人、人形機(jī)器人、自動(dòng)駕駛、低空飛行、MR/AR、AGV/AMR等。而且，袁帝文認(rèn)為，具身智能終端的發(fā)展需要大模型和3D空間計(jì)算。

國(guó)內(nèi)外科技企業(yè)致力于將大模型接入機(jī)器人

自從2022年底大模型技術(shù)進(jìn)入大眾視野以來(lái)，國(guó)內(nèi)外科技企業(yè)都在積極推進(jìn)大模型的技術(shù)和應(yīng)用，而將大模型接入機(jī)器人也是各大科技企業(yè)、機(jī)器人公司重點(diǎn)研究的方向。

早在2023年7月，AI科學(xué)家李飛飛帶領(lǐng)的團(tuán)隊(duì)發(fā)布了具身智能最新成果，即大模型接入機(jī)器人，把復(fù)雜指令轉(zhuǎn)化成具體行動(dòng)規(guī)劃，人類(lèi)可以很隨意地用自然語(yǔ)言給機(jī)器人下達(dá)指令，機(jī)器人也無(wú)需額外數(shù)據(jù)和訓(xùn)練。

李飛飛團(tuán)隊(duì)將該系統(tǒng)命名為VoxPoser，相比傳統(tǒng)方法需要進(jìn)行額外的預(yù)訓(xùn)練，這個(gè)方法用大模型指導(dǎo)機(jī)器人如何與環(huán)境進(jìn)行交互，直接解決了機(jī)器人訓(xùn)練數(shù)據(jù)稀缺的問(wèn)題。

可以看到，隨著大模型技術(shù)的發(fā)展，過(guò)去一年多時(shí)間來(lái)，從 OpenAI 到 Google DeepMind，幾乎所有掌握人工智能技術(shù)的大型科技公司，都在致力于將支持聊天機(jī)器人的多功能學(xué)習(xí)算法接入機(jī)器人中。這樣做的目的是讓機(jī)器人具備常識(shí)性知識(shí)，從而能夠處理各種任務(wù)。

如有消息稱(chēng)，隨著對(duì)人工智能機(jī)器人投資的升溫，OpenAI將重啟其機(jī)器人業(yè)務(wù)，目前正在積極招募研究工程師，以重建曾經(jīng)解散的機(jī)器人團(tuán)隊(duì)。

特斯拉的人形機(jī)器人也是備受關(guān)注，6月14日凌晨，特斯拉在美國(guó)得克薩斯州總部舉行2024年股東大會(huì)，馬斯克在大會(huì)上表示，特斯拉將于2025年開(kāi)始“限量生產(chǎn)”人形機(jī)器人Optimus，并于明年在自有工廠(chǎng)測(cè)試類(lèi)人機(jī)器人。他預(yù)測(cè)，明年特斯拉將擁有“超過(guò)1000個(gè)，甚至數(shù)千個(gè)在運(yùn)行的Optimus機(jī)器人”。

近期，國(guó)產(chǎn)機(jī)器人領(lǐng)域也動(dòng)作頻頻，全球首例純電驅(qū)全尺寸人形機(jī)器人“天工”首次在北京人形機(jī)器人創(chuàng)新中心實(shí)現(xiàn)“擬人奔跑”、宇樹(shù)科技發(fā)布瞄準(zhǔn)老年人陪護(hù)市場(chǎng)的新型人形機(jī)器人Unitree G1、工業(yè)版人形機(jī)器人Walker S進(jìn)入蔚來(lái)總裝車(chē)間“實(shí)訓(xùn)”當(dāng)起“見(jiàn)習(xí)廠(chǎng)工”等。

科大訊飛近日也表示，公司已于2023年全球“1024開(kāi)發(fā)者節(jié)”上正式發(fā)布了“大模型+具身智能”的人形機(jī)器人技術(shù)原型。2024年5月31日，公司啟動(dòng)訊飛機(jī)器人超腦平臺(tái)2.0項(xiàng)目，將以視聽(tīng)融合的多模感知交互和基于大模型的機(jī)器人大腦，通過(guò)軟硬件一體的方式構(gòu)建機(jī)器人新交互，將訊飛星火大模型進(jìn)一步賦能機(jī)器人領(lǐng)域。

過(guò)去大半年時(shí)間，手機(jī)和PC大模型迅猛發(fā)展，手機(jī)和PC通過(guò)大語(yǔ)言模型可以提供非常多服務(wù)，如智能辦公助手、個(gè)性化推薦系統(tǒng)、圖象與視頻處理、健康監(jiān)測(cè)與管理、教育與學(xué)習(xí)、創(chuàng)意寫(xiě)作與內(nèi)容創(chuàng)作。袁帝文在日前的大會(huì)上談到，大模型在手機(jī)和PC上的發(fā)展，其實(shí)也有助于機(jī)器人大模型的發(fā)展。因?yàn)闄C(jī)器人本身就是一個(gè)終端，它所需要的功能包含了手機(jī)和PC的基本功能。

不過(guò)，袁帝文認(rèn)為，機(jī)器人大模型的挑戰(zhàn)要高于手機(jī)和PC。首先是，機(jī)器人需要多模態(tài)數(shù)據(jù)處理，使機(jī)器人綜合利用多種感知信息，全面理解環(huán)境和任務(wù)需求；其次是自主導(dǎo)航和定位需求，機(jī)器人需要自主移動(dòng)，進(jìn)行路程規(guī)劃和障礙物避讓?zhuān)坏谌俏锢砜臻g交互，機(jī)器人不僅處理信息，還要能與物理環(huán)境交互，執(zhí)行搬運(yùn)、組裝、清潔等物理任務(wù)；第四，實(shí)時(shí)性要求，機(jī)器人執(zhí)行任務(wù)時(shí)需要低延遲的控制系統(tǒng)，確保動(dòng)作的準(zhǔn)確性和及時(shí)性，特別是在高速移動(dòng)或精細(xì)操作時(shí)。

大模型機(jī)器人對(duì)芯片有更高要求

據(jù)袁帝文介紹，機(jī)器人部署AI大模型面臨3D空間計(jì)算、多傳感器融合、高實(shí)時(shí)性的要求。
3D空間計(jì)算，即機(jī)器人在真實(shí)的物理空間中自主導(dǎo)航，進(jìn)行各種操作，需要精確和高幀率的空間計(jì)算能力；多傳感器融合，即需要對(duì)不同傳感器產(chǎn)生的數(shù)據(jù)，進(jìn)行空間及時(shí)間上的同步和融合；高實(shí)時(shí)性，即高精度、高實(shí)時(shí)性的3D空間計(jì)算能力軟硬件協(xié)同優(yōu)化。



這使得機(jī)器人對(duì)計(jì)算資源、內(nèi)存和帶寬、功耗要求較高。計(jì)算資源方面：機(jī)器人大模型通常包含數(shù)十億以上的參數(shù)，需要具備強(qiáng)大算力來(lái)實(shí)時(shí)處理這些模型的推理和計(jì)算；內(nèi)存和帶寬方面：由于模型參數(shù)量大，需要大量的內(nèi)存來(lái)存儲(chǔ)和訪(fǎng)問(wèn)模型參數(shù)和中間計(jì)算結(jié)果；功耗方面：對(duì)于移動(dòng)機(jī)器人來(lái)說(shuō)，電池壽面是一個(gè)關(guān)鍵問(wèn)題，芯片需要平衡計(jì)算和功耗，保證電池供電。

機(jī)器人大模型端側(cè)芯片的關(guān)鍵技術(shù)之一是高實(shí)時(shí)性NPU。一是需要有更高算力· 多核并行，以提升多模型運(yùn)行的并發(fā)性能，提升運(yùn)算的吞吐量；二是高效Transforme運(yùn)算，提升Transformer的運(yùn)算效率和利用率，提升大模型的實(shí)時(shí)性能；三是低比特量化，降低內(nèi)存需求、降低存儲(chǔ)需求、降低帶寬需求、提升運(yùn)行的實(shí)時(shí)性；四是權(quán)重壓縮，提升帶寬利用率、降低系統(tǒng)帶寬需求、降低數(shù)據(jù)搬運(yùn)的延時(shí)、提升模型運(yùn)行的實(shí)時(shí)性。



機(jī)器人大模型端側(cè)芯片關(guān)鍵技術(shù)二是3D空間計(jì)算處理能力。其一，空間計(jì)算專(zhuān)用處理單元——深度計(jì)算引擎，同等計(jì)算算力資源遠(yuǎn)超嵌入式CPU；最先進(jìn)的3D感知處理器，提供工業(yè)級(jí)別三維點(diǎn)云信息；類(lèi)人化融合數(shù)據(jù)信息、賦予同步多維度感知能力。

其二，空間計(jì)算專(zhuān)用處理單元——感知融合引擎，對(duì)于三維世界的感知，可以通過(guò)多個(gè)3D傳感器，融合出質(zhì)量更高、細(xì)節(jié)更豐富的三維世界信息；獨(dú)特的時(shí)間融合單元，使得多個(gè)傳感器之間的感知時(shí)刻偏差小于0.1ms，使得精細(xì)多傳感器感知和控制精度大幅提高。沒(méi)有一個(gè)傳感器在任何場(chǎng)景下都適用，所以多傳感器融合非常重要。


寫(xiě)在最后


最近，人們都在談“物理智能”“物理AI”，Meta人工智能研究員之前說(shuō)過(guò)，“真正智能的最后一步必須是物理智能（physical intelligence）。”而機(jī)器人與之前的手機(jī)、PC有所不同，它會(huì)進(jìn)一步推進(jìn)人工智能的發(fā)展，讓人工智能從數(shù)字世界走向物理世界。