作者：Tawfeeq Ahmad

2024-12-27

計算密集型應用程序的快速發(fā)展提高了對更快、更高效和可擴展的網絡解決方案的需求。為滿足這一需求而出現(xiàn)的最具創(chuàng)新性的技術之一是基于融合以太網的遠程直接內存訪問 (RDMA) (RoCE)。這項突破性技術促進了系統(tǒng)之間的直接數(shù)據傳輸，無需 CPU 干預，從而顯著減少延遲并提高整體系統(tǒng)性能。[愛波]一家著名的 FPGA 設計公司處于這一進步的最前沿，通過將 AMD 的 ERNIC IP（以太網 RDMA 網絡接口控制器知識產權）集成到其嵌入式計算模塊產品組合中，實現(xiàn)了強大的 100G 以太網解決方案。這種集成旨在增強高性能應用程序中的 RDMA 功能。

了解融合以太網上的 RDMA (RoCE)

RDMA 是一項關鍵技術，可有效繞過 CPU，在主機或服務器之間實現(xiàn)直接內存?zhèn)鬏?。此功能?CPU 能夠專注于應用程序執(zhí)行和數(shù)據處理，從而顯著提高網絡性能，其特點是減少延遲、降低 CPU 負載和增加帶寬，所有這些都以經濟高效的方式進行。 RoCE 是一種特定的網絡協(xié)議，旨在促進以太網上的 RDMA 操作。通過利用現(xiàn)有的以太網基礎設施，RoCE 為希望在不徹底改變當前網絡設置的情況下提高性能的組織提供了一個有吸引力的選擇。

RoCE 的類型

根據使用的網絡適配器，RoCE 分為兩個不同的版本：RoCE v1 和 RoCE v2。

1. RoCE v1 ：該協(xié)議允許位于同一以太網廣播域 (VLAN) 內的兩臺主機之間進行通信。它利用 Ethertype 0x8915 并將標準以太網幀限制為 1500 字節(jié)，同時允許以太網巨型幀擴展到 9000 字節(jié)。
2. RoCE v2 ：為了解決 RoCE v1 的限制，RoCE v2 通過合并 IP 和 UDP 標頭引入了數(shù)據包封裝增強功能。此修改使 RoCE v2 能夠跨第 2 層（數(shù)據鏈路層）和第 3 層（網絡層）網絡無縫運行，從而支持跨多個子網的第 3 層路由和可擴展性。 RoCE v2 通常稱為可路由 RoCE (RRoCE)，還增加了對 IP 組播的支持，進一步拓寬了其適用性。

ERNIC IP：增強RDMA能力

ERNIC（支持嵌入式 RDMA 的 NIC）IP 是可定制的以太網 RDMA 網絡接口控制器 IP 核，旨在與 AMD FPGA、MPSoC 和軟 MAC IP 實現(xiàn)無縫集成。該解決方案的特點是高吞吐量、低延遲以及基于標準以太網的完全硬件卸載、可靠的數(shù)據傳輸機制。 iWave 通過成功實施 100G 以太網解決方案體現(xiàn)了其對技術進步的承諾。這一成就是通過利用 iWave 的[Zynq UltraScale+ MPSoC 支持的開發(fā)套件]實現(xiàn)的，該開發(fā)套件集成了 AMD 的 ERNIC IP。

Zynq UltraScale+ MPSoC 開發(fā)套件專為采用高速 QSFP-28 連接器進行原型設計和評估 100G 以太網解決方案而定制。

演示設置

典型的演示設置（圖 2）包括：

• iWave 的 Zynq UltraScale+ MPSoC ZU19EG 供電開發(fā)套件
• [研華] [Mellanox ConnectX-5 100G 網卡]
• 同步 1588 PTP 啟用 1G 網卡
• MTP 電纜、[QSFP-28 模塊]和[CAT6 RJ45 以太網電纜]
• Ubuntu 22.04 服務器電腦

圖 2：Zynq UltraScale+ MPSoC 開發(fā)套件的典型設置。 （圖片來源：iWave）

系統(tǒng)架構概述

該系統(tǒng)架構旨在優(yōu)化數(shù)據傳輸，在處理系統(tǒng) (PS) 和可編程邏輯 (PL) 組件之間明確定義角色。該實現(xiàn)還具有精確時間協(xié)議 (PTP) 同步功能，這對于實時應用至關重要。憑借出色的性能指標，例如能夠以每秒超過 100 幀的速度處理 8K 視頻，潛在的應用涵蓋數(shù)據中心、多媒體和高性能計算等各個領域，凸顯了該技術在現(xiàn)代計算環(huán)境中的多功能性和重要性。

圖 3 所示的系統(tǒng)高級架構突出了 Zynq UltraScale+ MPSoC 中 PS 和 PL 組件的不同作用。 PS 具有基于 ARM Cortex-A53 的硬 SoC，這對于系統(tǒng)配置、控制和診斷至關重要。該架構的關鍵組件包括：

• 100G 以太網 MAC 驅動程序 ：確保 100 Gb/s 的穩(wěn)健性能和低延遲數(shù)據傳輸
• ERNIC 控制器驅動程序 ：負責管理傳入 DDR 的數(shù)據，并通過高效的門鈴交換促進用戶應用程序和 ERNIC IP 之間的通信
• RDMA 核心和用戶空間庫 ：確?？鐑群撕陀脩艨臻g的 RDMA 操作的兼容性和最佳性能

圖 3：Zynq UltraScale+ MPSoC 中處理系統(tǒng)和可編程邏輯組件的不同角色的亮點。 （圖片來源：iWave）

AMD ERNIC IP 有效地將 RoCE v2 堆棧卸載到 FPGA 上，并由 ERNIC 控制器管理各個模塊之間的握手以促進數(shù)據傳輸。它生成工作隊列條目并向 ERNIC IP 發(fā)送通知（門鈴）。同時，Zynq UltraScale+ MPSoC 的 100G 以太網子系統(tǒng)管理 MAC 和物理層，而數(shù)據模式生成器則負責生成原始數(shù)據和視頻數(shù)據模式。

精確時間協(xié)議（PTP）

PTP（IEEE 1588 標準）時間戳在以太網上跨系統(tǒng)同步時間方面發(fā)揮著至關重要的作用。這種同步對于增強實時應用程序的性能、實現(xiàn)納秒級的同步和低延遲數(shù)據交換至關重要。

設置的主要亮點

該設置的顯著特點包括：

• 利用 AMD ERNIC IP 通過 RoCE v2 實施 100G 以太網
• 可靠連接傳輸類型
• 用于數(shù)據包處理的 RDMA SEND、RDMA READ 和 RDMA WRITE 功能
• 支持 RDMA Send with Immediate 和 RDMA Write with Immediate 消息類型
• 使用 XRPING 和 PERFTEST 應用程序進行 RDMA 性能測試
• 用于 RAW 和視頻數(shù)據模式的自定義數(shù)據模式生成器
• 將 PTP 時間戳與數(shù)據一起插入

從 Zynq UltraScale+ MPSoC 開發(fā)套件到服務器 PC 的視頻數(shù)據傳輸?shù)脑敿毻掏铝拷y(tǒng)計數(shù)據顯示出令人印象深刻的性能，能夠以超過 100 fps 的速度處理 8K 視頻，以超過 400 fps 的速度處理 4K 視頻。

潛在應用

RDMA over 融合以太網和 ERNIC IP 的集成為各個行業(yè)開辟了新途徑，顯著增強了一系列應用的連接性、性能和效率，包括：

• 數(shù)據中心和云計算 ：促進高效的服務器通信并加速云架構中的數(shù)據處理
• 視頻/圖像捕獲和傳輸 ：有利于多媒體應用、廣播和虛擬現(xiàn)實 (VR) 環(huán)境
• 存儲解決方案 ：實現(xiàn)存儲設備和服務器之間更快的數(shù)據傳輸，從而提高存儲系統(tǒng)性能
• 高性能計算 (HPC) ：提高 HPC 集群內的數(shù)據傳輸速度并減少延遲，以加快計算任務和模擬速度
• IoT Edge 設備 ：實現(xiàn)傳感器和設備的實時數(shù)據收集和傳輸

隨著對更快、更高效的數(shù)據傳輸解決方案的需求不斷增長，融合以太網上的 RDMA 和 ERNIC IP 有望在未來的高性能計算中發(fā)揮關鍵作用。

結論

iWave 廣泛的 FPGA 和 SoC FPGA 平臺產品組合與其深厚的技術專業(yè)知識相結合，使客戶能夠開發(fā)利用人工智能 (AI)、機器學習和邊緣計算領域最新進展的尖端產品。通過與 iWave 合作，公司可以加快產品開發(fā)、降低風險，并在日益復雜的技術環(huán)境中保持競爭優(yōu)勢。

審核編輯 黃宇