一顆膠囊大小的胃腸道內(nèi)窺鏡機(jī)器人，被服下后，通過(guò)體外磁控的方式實(shí)現(xiàn)在消化道中的運(yùn)動(dòng)，途經(jīng)食道、胃部、腸部，最后被人體排出。這個(gè)過(guò)程中，電腦可以同步顯示胃腸道的相關(guān)檢測(cè)數(shù)據(jù)，從而讓醫(yī)生有依據(jù)地完成診斷。

（圖片來(lái)源：2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)）

聽(tīng)起來(lái)好像很簡(jiǎn)單，而實(shí)際上膠囊機(jī)器人在投入使用前，必須先經(jīng)過(guò)深度學(xué)習(xí)和訓(xùn)練。就像游戲玩家出發(fā)去升級(jí)打怪需要游戲裝備和地圖一樣，膠囊機(jī)器人需要通過(guò)深度學(xué)習(xí)技術(shù)改善密集地形重建和姿態(tài)估計(jì)算法，以及通過(guò)SLAM（ Simultaneous Localization and Mapping）同步定位與地圖構(gòu)建的機(jī)器視覺(jué)技術(shù)實(shí)現(xiàn)檢測(cè)、識(shí)別能力。

通俗一點(diǎn)講，機(jī)器人不是人，它的視覺(jué)和決策能力，都需要研制者通過(guò)一些方法賦予給它。通過(guò)深度學(xué)習(xí)獲得的能力相當(dāng)于膠囊機(jī)器人的大腦，而通過(guò)SLAM機(jī)器視覺(jué)獲得的就相當(dāng)于膠囊機(jī)器人的“火眼金睛”。

2000年，以色列研制的第一個(gè)膠囊內(nèi)鏡獲得FDA批準(zhǔn)進(jìn)入臨床，當(dāng)時(shí)的膠囊機(jī)器人是隨消化道的自然蠕動(dòng)而前進(jìn)的，由于沒(méi)有經(jīng)過(guò)深度學(xué)習(xí)訓(xùn)練，也沒(méi)有SLAM技術(shù)的加持，有點(diǎn)像盲人摸象，對(duì)于像胃這樣大的消化道器官，其觀(guān)察范圍十分有限，因此會(huì)造成相當(dāng)大的漏檢。

土耳其伊斯坦布爾的Bogazici大學(xué)的生物醫(yī)學(xué)工程專(zhuān)業(yè)，有一個(gè)專(zhuān)業(yè)的生物醫(yī)學(xué)實(shí)驗(yàn)室，其研究領(lǐng)域包括生物醫(yī)學(xué)儀器、生物電子學(xué)、生物力學(xué)、神經(jīng)信號(hào)分析、生物光子學(xué)、醫(yī)學(xué)成像、細(xì)胞成像和電生理學(xué)、機(jī)器人技術(shù)、醫(yī)療設(shè)備設(shè)計(jì)和測(cè)試，以及心理物理學(xué)等。

2020年，該實(shí)驗(yàn)室的Mehmet Turan博士，通過(guò)TUBI TAK2232國(guó)際杰出研究人員研究金方案獲得了資金支持，開(kāi)展了一項(xiàng)名為“磁性驅(qū)動(dòng)的Al-Powered內(nèi)窺鏡膠囊機(jī)器人用于靶向藥物傳遞和多活檢操作”的研究項(xiàng)目。該項(xiàng)目旨在利用人工智能的最新進(jìn)展，在無(wú)線(xiàn)膠囊內(nèi)窺鏡（WCE）機(jī)器人的機(jī)電一體化設(shè)計(jì)、遠(yuǎn)程磁控以及定位和映射算法方面進(jìn)行重大的科技創(chuàng)新。

在該項(xiàng)目中，研究人員基于1個(gè)膠囊內(nèi)鏡圖像的基礎(chǔ)SLAM數(shù)據(jù)集，1只Panda機(jī)械臂，1臺(tái)EinScan Pro 2X（先臨三維品牌的3D掃描儀），2個(gè)具有不同相機(jī)特性的商用膠囊機(jī)器人，對(duì)體外豬胃腸道的數(shù)據(jù)進(jìn)行了采集，并完成了算法測(cè)試和膠囊機(jī)器人的深度學(xué)習(xí)與訓(xùn)練。

研究人員把器官固定在六個(gè)支架上，創(chuàng)造出L形、Z形和O形三種胃腸道形態(tài)，以模擬通過(guò)升結(jié)腸到橫結(jié)腸的GI-牽引路徑。EinScan Pro 2X的功能就是3D掃描獲取這六個(gè)器官形態(tài)的點(diǎn)云數(shù)據(jù)。所收集的數(shù)據(jù)結(jié)果，需要滿(mǎn)足兩點(diǎn)：使SLAM數(shù)據(jù)集適合于遷移學(xué)習(xí)；此外，還可以對(duì)同一器官類(lèi)型的具有不同紋理細(xì)節(jié)的組織進(jìn)行算法性能測(cè)試。

由于被掃描的物體本身明暗多變，柔軟易變形，一開(kāi)始并不順利。先臨三維的技術(shù)人員在了解項(xiàng)目情況后，為研究人員及時(shí)提供了3D掃描儀的操作指導(dǎo)，包括如何通過(guò)亮度調(diào)整應(yīng)對(duì)明暗變化，如何使用標(biāo)志點(diǎn)輔助數(shù)據(jù)高精度拼接，選擇哪一種無(wú)毒無(wú)害的醫(yī)用顯影劑可以幫助進(jìn)一步改善數(shù)據(jù)細(xì)節(jié)，以及面對(duì)不同的情況如何選擇合適的掃描模式。

最終，我們很高興地看到，研究人員如愿以?xún)敨@取到了六組高精細(xì)的3D數(shù)據(jù)，如實(shí)記錄了器官所有結(jié)構(gòu)、角落和深度。

然后，原始點(diǎn)云數(shù)據(jù)被進(jìn)一步編輯，得到了色譜圖。

這些數(shù)據(jù)都被用于膠囊機(jī)器人的深度學(xué)習(xí)和算法訓(xùn)練。Bogazici大學(xué)的研究人員使用膠囊內(nèi)鏡圖像的基礎(chǔ)SLAM數(shù)據(jù)集作為輸入，然后利用此次3D掃描獲取的三維模型在SLAM數(shù)據(jù)集中確定定位。

研究組的Mehmet Turan博士說(shuō)：“在以前的一個(gè)研究項(xiàng)目中，我使用過(guò)另一個(gè)品牌的3D掃描儀。那款3D掃描儀也很好，但是與EinScan Pro 2X相比，在分辨率和點(diǎn)精度上存在技術(shù)差異。點(diǎn)精度是我們此次項(xiàng)目實(shí)現(xiàn)深度學(xué)習(xí)過(guò)程的最重要因素之一，這就是為什么團(tuán)隊(duì)最終決定依靠EinScan Pro 2X的能力來(lái)完成這個(gè)項(xiàng)目的原因?！?/p>