多模傳感器模塊集成二維成像、三維深度檢測和類人運(yùn)動(dòng)感知技術(shù)

英偉達(dá) Holoscan Sensor Bridge確保傳感器與 Jetson 平臺(tái)實(shí)現(xiàn)即插即用千兆級(jí)互聯(lián)

全面支持 NVIDIA Isaac 開放式機(jī)器人開發(fā)平臺(tái)

意法半導(dǎo)體和 Leopard Imaging 公司聯(lián)合推出了一款面向人形機(jī)器人和其他高級(jí)機(jī)器人系統(tǒng)的一體化多模視覺模塊。新模塊整合意法半導(dǎo)體的圖像傳感器、三維深度傳感器和運(yùn)動(dòng)傳感器與英偉達(dá)的Holoscan Sensor Bridge技術(shù)，與英偉達(dá)的NVIDIA Jetson邊緣人工智能計(jì)算平臺(tái)和 NVIDIA Isaac開放式機(jī)器人開發(fā)平臺(tái)原生集成，有助于簡化并加快人形機(jī)器人的視覺系統(tǒng)設(shè)計(jì)，同時(shí)滿足尺寸、重量和功耗限制等方面的要求。

意法半導(dǎo)體模擬、功率、MEMS和傳感器產(chǎn)品部市場與應(yīng)用副總裁Marco Angelici表示：“人形機(jī)器人技術(shù)正從研究項(xiàng)目和演示階段走向?qū)嶋H應(yīng)用，為設(shè)備制造廠、汽車工廠、物流倉儲(chǔ)中心、零售和客戶服務(wù)等眾多行業(yè)帶來強(qiáng)大的新型機(jī)器，在實(shí)際應(yīng)用中扮演各種不同的角色。通過與Leopard Imaging合作，我們正在將市場領(lǐng)先的ST傳感器和執(zhí)行器無縫集成到英偉達(dá)機(jī)器人生態(tài)系統(tǒng)，加快具有類人感知能力的物理AI應(yīng)用的部署?！?/p>

Leopard Imaging首席執(zhí)行官Bill Pu表示： “通過在英偉達(dá)生態(tài)內(nèi)直接使用ST傳感器和執(zhí)行器，我們可以對(duì)HSB接口上的人形機(jī)器人視覺數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化采集記錄，并簡化整個(gè)過程。多模視覺感知模塊與Isaac工具配合使用，可以加快模型的學(xué)習(xí)速度，并快速彌合仿真到真機(jī)的差異?！?/p>

新模塊以英偉達(dá) Holoscan Sensor Bridge為引擎，通過以太網(wǎng)與 NVIDIA Jetson傳感器數(shù)據(jù)實(shí)時(shí)采集平臺(tái)無縫集成，深度融入NVIDIA Isaac 開放式機(jī)器人開發(fā)平臺(tái)，為開發(fā)者提供開放式AI 模型、仿真框架和軟件庫。新模塊包含構(gòu)建系統(tǒng)和應(yīng)用程序編程接口 (API)、移動(dòng)機(jī)器人專用AI 算法、應(yīng)用代碼示例和域隨機(jī)化，以及包含傳感器模型的仿真環(huán)境。

作為英偉達(dá)機(jī)器人和邊緣人工智能的重要合作伙伴，意法半導(dǎo)體將持續(xù)不斷地把傳感器、驅(qū)動(dòng)器、執(zhí)行器、控制器和開發(fā)工具加入英偉達(dá)機(jī)器人生態(tài)系統(tǒng)，包括高保真模型和概念驗(yàn)證模塊。