在手術室中，手術視頻流的延遲和可靠性會對患者的預后產(chǎn)生重大影響。傳感器輸入的超高速幀速率支持下一代 AI 應用程序，可為外科醫(yī)生提供新級別的實時感知和控制。

為了將實時人工智能能力構建到醫(yī)療設備中，以用于手術導航、內(nèi)窺鏡等圖像引導干預和醫(yī)療機器人等用例，開發(fā)人員需要能夠低延遲處理來自多個通道的組合傳感器數(shù)據(jù)的人工智能管道。

正如 GTC 2022 所宣布的， NVIDIA Clara Holoscan SDK v0.3 現(xiàn)在為 4K 視頻提供了 240 Hz 的閃電般快速幀速率。這使得開發(fā)人員能夠結合來自更多傳感器的數(shù)據(jù)，并構建能夠提供手術指導的 AI 應用程序。隨著通過高速以太網(wǎng)連接的傳感器實現(xiàn)更快的數(shù)據(jù)傳輸，開發(fā)人員有了更多的工具來構建加速的 AI 管道。

前端傳感器的實時人工智能處理

NVIDIA Clara Holoscan 通過 ConnectX SmartNIC 和 NVIDIA Rivermax SDK 實現(xiàn)高速傳感器輸入， GPUDirect RDMA 繞過 CPU 。這允許傳感器將數(shù)據(jù)高速以太網(wǎng)輸出到 AI 計算系統(tǒng)。結果是邊緣 AI 的性能無與倫比。

傳統(tǒng)的 GStreamer 和基于 OpenGL 的內(nèi)窺鏡管道在 1080p 60 Hz 的流上具有 220 ms 的端到端延遲，而使用 Clara Holoscan 的高速管道在 4K 240 Hz 的流中僅有 10 ms 的端對端延遲。

在 NVIDIA IGX Orin Developer Kit 上以 4K 60 Hz 、 50 ms 以下的頻率流式傳輸數(shù)據(jù)，團隊可以運行 15 個并發(fā) AI 視頻流和 30 個并發(fā)模型。

NVIDIA Rivermax 軟件開發(fā)工具包

NVIDIA Clara Holoscan 附帶的 NVIDIA Rivermax SDK 支持與 GPU 之間的直接數(shù)據(jù)傳輸。它繞過主機內(nèi)存并使用 ConnectX SmartNIC 的卸載功能，以最低的流式工作負載利用率提供一流的吞吐量和延遲。 NVIDIA Clara Holoscan 利用 Rivermax 功能為高帶寬網(wǎng)絡傳感器帶來可擴展連接，并支持非常快速的數(shù)據(jù)傳輸。

視頻 G-SYNC

NVIDIA G-SYNC 通過將顯示器刷新率與 GPU 同步，實現(xiàn)了高顯示性能，從而消除了屏幕撕裂現(xiàn)象，并最大限度地減少了顯示器斷斷續(xù)續(xù)和輸入延遲。因此， AI 推理可以以非常低的延遲顯示。

NVIDIA Clara HoloViz

Clara HoloViz 是 Holoscan 中用于可視化數(shù)據(jù)的模塊。 Clara HoloViz 將實時幀流與多個不同的其他層（如分段掩碼層、幾何體層和 GUI 層）組合在一起。

為了獲得最佳性能， Clara HoloViz 使用了 Vulkan ，它已經(jīng)作為 NVIDIA 驅(qū)動程序的一部分安裝。

Clara HoloViz 在其 API 中使用了立即模式設計模式的概念。應用程序不會創(chuàng)建和存儲任何對象。這使得在 Holoscan 應用程序中快速構建和更改可視化效果變得容易。

改進的開發(fā)人員體驗

NVIDIA Clara Holoscan SDK v0.3 版本顯著改善了開發(fā)體驗。首先，為創(chuàng)建 GXF 擴展添加了一個新的 C ++ API ，這為開發(fā)人員構建他們想要的應用程序提供了額外的途徑。其次，對 x86 處理器的支持允許開發(fā)人員快速開始開發(fā) AI 應用程序，然后可以輕松地部署在 IGX 開發(fā)工具包上。第三，這個最新版本豐富了自帶模型（ BYOM ）支持。

Holoscan C++ API

Holoscan C ++ API 提供了一種新的方便的方式來組成 GXF 工作流，而無需編寫 YAML 文件。 Holoscan C ++ API 使創(chuàng)建應用程序的方法更加靈活和可擴展。它被設計成 GXF 框架 API 的直接替代品，并為 GXF 組件提供了通用接口。

圖 1.Holoscan API 的主要組件

應用： 應用程序獲取并處理流數(shù)據(jù)。應用程序是片段的集合，其中每個片段都可以分配到 Holoscan 集群的物理節(jié)點上執(zhí)行。

片段： 片段是應用程序的構建塊。它是運算符的有向無環(huán)圖（ DAG ）。在執(zhí)行期間，可以將片段分配給 Holoscan 集群的物理節(jié)點。運行時執(zhí)行管理跨片段的通信。在片段中，操作符（圖形節(jié)點）通過流（圖形邊）相互連接。

運算符： 運算符是此框架中最基本的工作單元。操作員在輸入端口接收流數(shù)據(jù)，對其進行處理，并將其發(fā)布到其輸出端口之一。 GXF 中的 codelet 將替換為框架中的運算符。運營商將 GXF 實體的接收器和發(fā)射器封裝為運營商的 I / O 端口。

資源： 操作員執(zhí)行作業(yè)所需的資源，如系統(tǒng)內(nèi)存或 GPU 內(nèi)存池。資源在應用程序的初始化階段分配。該資源與 GXF 內(nèi)存分配器或從 GXF 中的組件類派生的任何其他組件的語義相匹配。

條件： 條件是一個謂詞，可以在運行時進行計算，以確定是否應該執(zhí)行運算符。這與 GXF Scheduling Term 類的語義相匹配。

端口： 兩個運算符之間的交互點。操作員在輸入端口接收數(shù)據(jù)，并在輸出端口發(fā)布數(shù)據(jù)。 GXF 中的接收器、發(fā)射器和 MessageRouter 被替換為操作員的 I / O 端口概念。

執(zhí)行器： 執(zhí)行器管理物理節(jié)點上片段的執(zhí)行?？蚣芴峁┝艘粋€使用 GXF 調(diào)度程序執(zhí)行應用程序的默認執(zhí)行器。

您可以在 SDK documentation 中找到有關新 C ++ API 的更多信息。請參閱 public source code repository 中使用新 C ++ API 跟蹤內(nèi)窺鏡工具的完整 AI 應用程序示例。

支持 x86 系統(tǒng)

NVIDIA Clara Holoscan SDK 的設計考慮了各種硬件系統(tǒng)。除了 NVIDIA IGX DevKit 和 Clara AGX DevKit 之外，它還支持在 x86 系統(tǒng)上使用 SDK 。有了 x86 支持，沒有 DevKit 的研究人員和開發(fā)人員可以在 x86 機器上使用 Holoscan SDK 快速構建醫(yī)療設備的 AI 應用程序。

帶上你自己的模型

Holoscan SDK 提供 AI 庫和預處理的 AI 模型，以加快構建自己的 AI 應用程序的時間。您還可以通過自帶模型（ BYOM ）支持來參考內(nèi)窺鏡和超聲波應用程序。

作為開發(fā)人員，您可以通過將自己的模型放入作為 SDK 一部分提供的參考應用程序中來快速構建 AI 管道。最后， SDK 還包括傳感器 I / O 集成選項和性能工具，用于優(yōu)化生產(chǎn)部署的 AI 應用程序。

軟件堆棧更新

NVIDIA Clara Holoscan SDK v0.3 版本還集成了從 NVIDIA JetPack HP1 到 Holopack 1.1 的升級，運行 Tegra Board Support Package （ BSP ）版本 34.1.2 ，以及從版本 2.4.2 到版本 2.4.3 的 GXF 升級。

開始為醫(yī)療設備構建 AI

從培訓 AI 模型到驗證和驗證 AI 應用程序，最終部署到商業(yè)生產(chǎn)， Clara Holoscan 有助于簡化 AI 開發(fā)和部署。

關于作者

Julien Jomier 是 NVIDIA 的高級軟件工程經(jīng)理。他領導 Holoscan Embedded SDK 的開發(fā)人員體驗。在加入 NVIDIA 之前， Julien 曾擔任 Kitware 在美國的商業(yè)解決方案總監(jiān)和 Kitware-France 的首席執(zhí)行官，他在那里領導開發(fā) HPC 、計算機視覺和醫(yī)學成像的開源解決方案。朱利安在醫(yī)學領域有 20 多年的經(jīng)驗，曾任放射科研究講師。

審核編輯：郭婷