近日Xilinx，AWS還有Spline.AI 聯(lián)合開發(fā)了開發(fā)X射線分類深度學習模型和參考設計。團隊依靠30,000張肺炎圖像和500張COVID-19圖像來訓練深度學習模型，從而實現(xiàn)了高精度和高預測速度。該訓練數(shù)據(jù)將提供給包括美國國家衛(wèi)生院，斯坦福大學和麻省理工學院在內(nèi)的公共研究和醫(yī)療機構。對于開發(fā)者而言，該參考設計已經(jīng)開源，點擊閱讀原文即可獲得。

設計使用Amazon SageMaker進行訓練，并使用AWS IoT Greengrass從云部署到邊緣，在邊緣側利用VITIS AI進行部署，通過PYNQ開源框架和PYNQ-DPU可以快速的實現(xiàn)跨平臺部署。從而實現(xiàn)了遠程模型更新，分布式推斷擴展的能力。

方案簡介

當前，廣泛用于檢測COVID-19的測試方法是RT-PCR或實時聚合酶鏈反應。盡管RT-PCR是一種標準的診斷技術，但它也有許多缺點。RT_PCR顯示出很高的假陰性率，其過程既費時又昂貴。在這次危機期間，從許多實驗中發(fā)現(xiàn)，從影像學檢查（例如CT掃描和X射線）檢測肺炎和COVID-19感染非常有效。

本方案基于Vitis-AI、ZCU104驗證平臺和AWS-IoT GreenGrass，其中Vitis-AI用于COVID-19深度學習模型的轉換、量化和編譯，將模型轉換為DPU可運行的.elf文件；ZCU104驗證平臺完成基于X-Ray圖像的COVID-19 CNN在線檢測或用作AWS-IoT GreenGrass的邊緣計算設備，完成COVID-19的邊緣實時檢測。

部署流程

已經(jīng)安裝好Vitis-AI開發(fā)環(huán)境的Ubuntu主機，建議使用Ubuntu16.04，且具備較高的性能用于CNN等深度學習模型的訓練。

安裝了PYNQ 2.5鏡像且已完成DPU-PYNQ升級的Xilinx ZCU104驗證板；

主要流程

（1）訓練Keras CNN肺炎模型以生成.h5的模型文件；

（2）使用Xilinx Vitis-AI對預訓練的.h5模型進行模型轉換、量化和編譯，以生成DPU可部署的.elf可執(zhí)行文件；

（3）直接在Xilinx ZCU104驗證板的PYNQ-DPU開發(fā)環(huán)境中編寫應用程序，對輸入的肺部X-Ray圖像進行COVID-19在線實時檢測；也可使用AWS-IoT GreenGrass完成Xilinx ZCU104對COVID-19的邊緣端實時檢測（需要將Xilinx ZCU104集成為AWS-IoT GreenGrass的邊緣計算設備）。

方案已預先提供了兩組深度學習模型，分別實現(xiàn)基于胸部X-Ray圖像的肺炎和COVID-19預測：

（1）Pnem1-150x150圖像尺寸的肺炎檢測模型；

（2）Pnem2-224x224圖像尺寸的肺炎檢測模型；

（3）Pnem3-150x150圖像尺寸的肺炎和COVID-19檢測模型；

（4）Pnem4-224x224圖像尺寸的肺炎和COVID-19檢測模型；

上述提供的模型可直接用于部署，開發(fā)者可以快速體驗COVID-XS帶來的好處。

后記

在本參考設計中，通過PYNQ開源框架，用戶可以：

方便的安裝AWS IoTGreengrass等第三方服務，加快原型驗證開發(fā)

無縫跨平臺移植，用戶如果有Ultra96等其他支持PYNQ-DPU框架的平臺，不妨嘗試部署。

原文標題：開源方案 | PYNQ-DPU框架下的人工智能醫(yī)學圖像方案

文章出處：【微信公眾號：XILINX技術社區(qū)】歡迎添加關注！文章轉載請注明出處。

責任編輯：haq