最新版本的 NVIDIA Modulus 是一個人工智能框架，它允許用戶為數(shù)字孿生、氣候模型和基于物理的建模與仿真創(chuàng)建可定制的培訓管道，現(xiàn)在可以下載。

此次發(fā)布的物理 ML 框架 NVIDIA Modulus v22.09 包括關鍵的增強功能，以增加神經運算符體系結構的合成靈活性，改進訓練收斂性和性能，最重要的是，顯著改進了用戶體驗和文檔。

您可以從 NGC 、 NGC 下載 GitLab 容器的最新版本，或訪問 Modulus 上的 Modulus repo 。

神經網絡架構

此更新擴展了傅里葉神經運算符（ FNO ）、物理信息神經運算符（ PINO ）和 DeepONet 網絡架構實現(xiàn)，以支持使用 Modulus 中的其他內置網絡進行定制。更具體地說，通過此更新，您可以：

通過改進的 FNO 、 PINO 和 DeepONet 體系結構，跨問題實現(xiàn)更好的初始化、定制和泛化。

通過將 Modulus 內的任何點式網絡（如 Sirens 、 Fourier Feature networks ）和 FNO / PINO 解碼器部分的 Modified Fourier Feature network 與頻譜編碼器相結合，探索新的網絡配置。

使用 DeepONet 的分支網絡和主干網絡中的任何網絡來嘗試多種架構。這包括主干網中的物理信息神經網絡（ PINN ）。 FNO 也可以用于 DeepONet 的分支網絡。

用一個新的 DeepONet 示例演示 DeepONet 的改進，以模擬穿過多孔介質的 Darcy 流。

模型并行性是作為模型并行 AFNO 的 beta 特性引入的。這使得可以沿著通道維度跨多個 GPU 并行化模型。這種分解以高度并行的方式分布 FFT 和 IFFT 。矩陣乘法是分區(qū)的，因此每個 GPU 持有每個 MLP 層權重的不同部分，并為向前和向后傳遞執(zhí)行適當?shù)木奂?、分散、縮減和其他通信例程。

此外，現(xiàn)在支持 self-scalable tanh （Stan） 激活功能。眾所周知， Stan 具有更好的收斂特性，并提高了 PINN 訓練模型的精度。

最后，通過 TorchScript 對 Sigmoid Linear Unit （SiLU） 內核融合的支持現(xiàn)在增加了對 PyTorch 符號梯度公式的上游更改。這對于需要計算高階導數(shù)以進行物理知識培訓的問題特別有用，在這種情況下可提供高達 1.4 倍的加速。

建模增強和培訓功能

每個 NVIDIA Modulus 版本都改進了建模方面，以更好地將偏微分方程（ PDE ）映射到神經網絡模型，并改進訓練收斂性。

新的 recommended practices in Modulus 可用于幫助縮放和非尺寸化 PDE ，以幫助您正確縮放系統(tǒng)的單元，包括：

用數(shù)值和單位定義物理量

實例化非尺寸化對象以縮放數(shù)量

通過代數(shù)操作跟蹤無量綱化量

使用用戶指定的單位將非量綱化數(shù)量縮小到任何目標數(shù)量，以便于后期處理

現(xiàn)在，您還可以使用 Selective Equations Term Suppression （SETS） 在系統(tǒng)內有效處理不同的規(guī)模。這使您能夠創(chuàng)建同一 PDE 的不同實例，并凍結 PDE 中的某些術語。這樣，較小規(guī)模的損失將最小化，從而改進 PINN 中剛性 PDE 的收斂性。

此外，在 Hydra 配置 YAML 文件中配置的新 Modulus APIs 使最終用戶能夠根據收斂標準（如總損失或單個損失項或他們可以指定的其他指標）終止培訓。

新的 causal weighting scheme 解決了違反瞬態(tài)問題物理因果關系的連續(xù)時間 PINN 的偏差。通過重新計算殘差和初始條件的損失，可以獲得動力系統(tǒng) PINNS 的更好收斂性和更好的精度。

Modulus 培訓性能、可擴展性和可用性

每一個 NVIDIA Modulus 版本都側重于提高培訓性能和可擴展性。通過這一最新版本， FuncTorch 被集成到 Modulus 中，以便在 PINN 培訓中更快地計算梯度。 Regular PyTorch Autograd 使用反向模式自動微分，必須在for循環(huán)中逐行計算雅可比項和黑森項。 FuncTorch 消除了不必要的權重梯度計算，并可以使用反向和正向模式自動微分的組合更有效地計算雅可比矩陣和海森矩陣，從而提高訓練性能。

Modulus v22.09 文檔改進提供了關于框架工作流關鍵概念的更多上下文和細節(jié)，以幫助新用戶。

對 Modulus Overview 進行了增強，為物理驅動、純數(shù)據驅動以及物理和數(shù)據驅動建模方法提供了更多示例指導工作流。 Modulus 用戶現(xiàn)在可以按照改進的介紹性示例逐步構建符合每個工作流關鍵概念的工作流。

關于作者

Bhoomi Gadhia 是 NVIDIA 的高級產品營銷經理，專注于 NVIDIA Modular ，一個用于開發(fā)物理信息機器學習神經網絡模型的人工智能框架。她在計算機輔助工程應用領域擁有超過 10 年的經驗，在 Hexagon MSC Software 和 Ansys 擔任技術和產品營銷職務。布米居住在加利福尼亞州，擁有機械工程碩士學位。

Ram Cherukuri 是 CUDA 平臺和 DLA 軟件的高級產品經理。在 NVIDIA 之前， Ram 是 MathWorks 的產品經理，負責嵌入式軟件開發(fā)的代碼生成和驗證產品，與汽車和航空 def 客戶合作。

審核編輯：郭婷