在工業(yè)界，傳統(tǒng)自動(dòng)化方案均是將知識(shí)灌入機(jī)器人系統(tǒng)，通過(guò)編程的形式實(shí)現(xiàn)自動(dòng)批量處理事務(wù)的功能。因此誕生了一系列計(jì)算機(jī)視覺(jué)的任務(wù)和機(jī)器人控制的任務(wù)，比如一個(gè)完整的抓取分揀操作，包含了3D感知、配準(zhǔn)、點(diǎn)云分割、抓取點(diǎn)估計(jì)、任務(wù)重排、規(guī)劃、2D校準(zhǔn)等任務(wù)，通過(guò)強(qiáng)大的工業(yè)軟件將這些技術(shù)點(diǎn)耦合在一起，這樣催生了工業(yè)上的絕大部分應(yīng)用。

這樣的應(yīng)用具有可控、重復(fù)性高的特點(diǎn)，但是整個(gè)方案實(shí)施成本高、柔性低、換線復(fù)雜，并且每個(gè)方案都是獨(dú)特的，缺乏基準(zhǔn)和技術(shù)一致性，非常不利于整體技術(shù)的進(jìn)步，因此“解決方案”這四個(gè)字是整個(gè)行業(yè)的痛。

人類經(jīng)常被物化為工業(yè)流水線中最柔性的執(zhí)行機(jī)構(gòu)，是因?yàn)槿擞^察和學(xué)習(xí)周圍的環(huán)境，使用自己的大腦充分的利用自己的身體完成各種復(fù)雜的任務(wù)，并且在執(zhí)行中不斷受到更新自己的認(rèn)知，這種以身體為舟，性命為本，在塵世航行的模式，正是智能化追求的一種理想形式。這正是1950 年圖靈論文中提到的具身智能。

工業(yè)機(jī)器人的智能化發(fā)展始于具身智能。具身智能是指人工智能具有身體，需要與真實(shí)世界進(jìn)行交互。這種交互不僅涉及視覺(jué)上的高維特征提取，還包括其他感官信息，例如聽(tīng)覺(jué)、嗅覺(jué)、味覺(jué)和觸覺(jué)。通過(guò)這種交互，智能體可以獲取物理世界的真實(shí)反饋，并通過(guò)反饋來(lái)學(xué)習(xí)并進(jìn)化。具身智能是一種重要的發(fā)展方向，可以幫助機(jī)器人更好地完成任務(wù)。

而在具身智能執(zhí)行步驟一般為多傳感器的real to sim，然后sim to real的過(guò)程，具體的過(guò)程如下：

Real to Sim

通過(guò)多種感知設(shè)備和算法，盡量將現(xiàn)實(shí)世界的信息能夠還原到虛擬環(huán)境中

Sim to Real

在經(jīng)過(guò)模擬和規(guī)劃后，將算法和規(guī)劃應(yīng)用到實(shí)際機(jī)器人上

以前為什么不能提具身智能，是因?yàn)榧夹g(shù)復(fù)雜，各個(gè)技術(shù)點(diǎn)發(fā)展不成熟，但是目前2023年，很多工作已經(jīng)發(fā)展到一定的階段，尤其是大語(yǔ)言模型徹底改變了語(yǔ)義理解和頂層規(guī)劃的困難。

大語(yǔ)言模型的發(fā)展為高級(jí)規(guī)劃層鋪平了道路

隨著chatgpt證明了大語(yǔ)言模型具有較強(qiáng)的綜合思考、邏輯能力、數(shù)理能力，大語(yǔ)言模型越來(lái)越被證明，其作為機(jī)器人的上層邏輯規(guī)劃器是非常有希望的，一舉改變了機(jī)器人系統(tǒng)不智能的缺點(diǎn)。尤其值得注意的是最近c(diǎn)hain of thought配合LLMs的一些研究表明，通用AGI似乎并不遙遠(yuǎn)了。

大語(yǔ)言模型的發(fā)展

Chain of thought在無(wú)害化方向的作用

多模態(tài)模型的發(fā)展

Transformer等結(jié)構(gòu)帶來(lái)的多模態(tài)模型的發(fā)展，對(duì)統(tǒng)一圖像、行為理解、語(yǔ)音、動(dòng)作等提供了技術(shù)基礎(chǔ)。2023年3月6日，來(lái)自谷歌和德國(guó)林工業(yè)大學(xué)的一組人工智能研究人員公布了史上最大視覺(jué)語(yǔ)言模型 PaLM-E( Pathways Language Model with Embodied)。機(jī)器人可以通過(guò)圖片理解現(xiàn)狀，并根據(jù)文字指令完成任務(wù)。

CVPR2023的best paper，UniAD工作可以端到端的處理多個(gè)自動(dòng)駕駛任務(wù)，并實(shí)現(xiàn)了一個(gè)自動(dòng)駕駛的任務(wù)的全局最優(yōu)化方案，這意味者模型可以統(tǒng)一的理解所有的關(guān)鍵信息并作出決策。

Nerf-based 模型的發(fā)展為2D感知和重建

提供了豐富的手段

NeRF（Neural Radiance Fields神經(jīng)輻射場(chǎng)）最早是在2020年ECCV會(huì)議上的最佳論文中提出的概念，其將隱式表達(dá)推上了一個(gè)新的高度，僅用2D的posed images作為監(jiān)督，即可表示復(fù)雜的三維場(chǎng)景。

Nerf的出現(xiàn)改變了2D估計(jì)3D的方案，基于Nerf的slam工作、重建工作等都獲得了極大的發(fā)展，改變了模型認(rèn)知世界的方法。

Nerf-based slam技術(shù)在稠密建圖導(dǎo)航中大放異彩，以NICE-SLAM為代表的模型在精度上有了較大的進(jìn)步。CVPR2023的UniSim工作實(shí)現(xiàn)了高度逼真、閉環(huán)測(cè)試(closed-loop simulation)、可擴(kuò)展 (scalable), 只需要采集一次數(shù)據(jù), 就能重建并仿真測(cè)試。

基于當(dāng)前智能技術(shù)的發(fā)展，微億智造又是如何塑造其技術(shù)路線，朝向工業(yè)智能化發(fā)展的呢？

微億智造提出了獨(dú)特的工業(yè)智能機(jī)器人的漸進(jìn)式路線：以“眼手腦云”的實(shí)施架構(gòu)為基礎(chǔ)，聚焦于可累積數(shù)據(jù)場(chǎng)景和通用關(guān)鍵技術(shù)，打造虛實(shí)結(jié)合的應(yīng)用產(chǎn)品，漸進(jìn)式的實(shí)現(xiàn)機(jī)器人智能化。

“眼”指的是微億智造自研的圖像感知技術(shù)與可組合光學(xué)成像系統(tǒng)；“手”即是機(jī)器人智能控制，所有的技術(shù)都要通過(guò)“手”來(lái)實(shí)現(xiàn)工程化落地；“腦”是更貼合離散制造需求的多任務(wù)學(xué)習(xí)和小樣本訓(xùn)練技術(shù)；“云”則是一個(gè)既能為“腦”提供算力支撐，又能鏈接政府與企業(yè)的云平臺(tái)。

下面拆解一下我們?nèi)ツ昴甑淄瞥龅?strong>數(shù)字工人——工小匠產(chǎn)品是如何踐行這個(gè)理念的。

針對(duì)碎片化的缺陷檢測(cè)工藝

建立統(tǒng)一的硬件載體和軟件系統(tǒng)

傳統(tǒng)的外觀缺陷工作分為光、機(jī)、電、算、軟五部分工作，而相關(guān)技術(shù)經(jīng)驗(yàn)和工作流都是散落在不同的工作流中。比如如果用到了機(jī)械臂，所有的機(jī)械臂程序都會(huì)在機(jī)械臂廠家定義的軟件空間里，那么相關(guān)的角度、打光方案、算法效果就無(wú)法被記錄，從而缺少了改進(jìn)的機(jī)會(huì)。微億智造將機(jī)臺(tái)標(biāo)準(zhǔn)化、集成化，一體式的完成從方案到實(shí)施的全過(guò)程，這就將所有的技術(shù)工作串聯(lián)了起來(lái)。這樣統(tǒng)一工程化的形式，一是可改進(jìn)，二是可量化，三是減少了閉環(huán)的回路長(zhǎng)度。

全棧自研算法加持

加速實(shí)現(xiàn)全鏈條應(yīng)用落地

工小匠集成了運(yùn)動(dòng)控制算法、缺陷檢測(cè)算法和光學(xué)智能推薦算法，加速全鏈條的應(yīng)用速度。其中運(yùn)動(dòng)控制算法采用自研六軸機(jī)械臂位姿計(jì)算和三階約束的最優(yōu)時(shí)間軌跡規(guī)劃，可以穩(wěn)定快速的解算出機(jī)械臂的最優(yōu)運(yùn)動(dòng)軌跡。而缺陷檢測(cè)方面，基于知識(shí)注入和缺陷生成的全流程缺陷檢測(cè)系統(tǒng)，在數(shù)據(jù)注入后馬上生成模型方案，并且在多條產(chǎn)線上實(shí)際驗(yàn)證能夠2周內(nèi)達(dá)到檢測(cè)標(biāo)準(zhǔn)。本系統(tǒng)中同時(shí)集成了對(duì)光學(xué)方案的智能推薦，并且把經(jīng)驗(yàn)源源不斷的注入到模型里，實(shí)現(xiàn)了光學(xué)的智能調(diào)試，這也是專機(jī)系統(tǒng)無(wú)法完成和持續(xù)進(jìn)步的。如此強(qiáng)大的算法系統(tǒng)保證了速度最優(yōu)、上線迅速、可迭代，且賦予了系統(tǒng)更強(qiáng)大的執(zhí)行力。

踐行real2sim，sim2real的理念

在工小匠產(chǎn)品中，微億智造操作的對(duì)象是工件，工件的拍照點(diǎn)位、光學(xué)方案都可以在數(shù)字空間中設(shè)置和分析，優(yōu)化后的實(shí)施方案可以通過(guò)所謂的“工小匠”硬件機(jī)臺(tái)去實(shí)施，而用戶無(wú)需關(guān)心“工小匠”是一個(gè)什么樣的機(jī)臺(tái)，這就為數(shù)據(jù)記錄和工藝記錄鋪平了道路，實(shí)施的擴(kuò)展性和方便性非常高。比如更換了工裝，我們不用再調(diào)試機(jī)械臂了，復(fù)制100臺(tái)，我們也不用單獨(dú)去調(diào)試每個(gè)機(jī)械臂，機(jī)臺(tái)系統(tǒng)會(huì)自動(dòng)適應(yīng)這個(gè)對(duì)象。這便是具備了具身智能的概念，使機(jī)器智能的思考如何執(zhí)行。

而相同的事情也發(fā)生在其他的工藝過(guò)程中，無(wú)論是缺陷檢測(cè)、尺寸量測(cè)、打磨、涂膠，都可以踐行相同的理念和系統(tǒng)，從而讓整個(gè)工業(yè)現(xiàn)場(chǎng)變得可被優(yōu)化?？v觀整個(gè)工業(yè)智能的發(fā)展，之所以遠(yuǎn)遠(yuǎn)比不上消費(fèi)端的發(fā)展速度，其根本原因是相關(guān)的基礎(chǔ)元素沒(méi)有被很好的數(shù)字化。而微億智造基于眼、手、腦、云的技術(shù)架構(gòu)將整個(gè)機(jī)器人工藝鏈條全部數(shù)字化，在產(chǎn)線上不斷地與AI協(xié)同進(jìn)化，可以預(yù)見(jiàn)這些工藝將會(huì)以前所未有的速度升級(jí)迭代。

在當(dāng)前的技術(shù)潮流下，感、知、控等技術(shù)都已經(jīng)飛速發(fā)展，實(shí)現(xiàn)工業(yè)智能化的要素逐漸齊備，微億智造這樣的公司正是推進(jìn)這個(gè)流程的排頭兵，希望早日看到大潮漫灌！

審核編輯：劉清