云原生數(shù)據(jù)庫 TDSQL-C （原 CynosDB，TDSQL for Cloud Native Database） 是騰訊云自研的新一代高性能高可用的企業(yè)級分布式云數(shù)據(jù)庫， TDSQL-C 使用 NVIDIA UCX RDMA 優(yōu)化了關(guān)鍵路徑系統(tǒng)性能，實現(xiàn)了超百萬級 QPS 的高吞吐，128TB 海量分布式智能存儲，保障了數(shù)據(jù)安全可靠。

云原生數(shù)據(jù)庫 TDSQL-C 實現(xiàn)高性能面臨挑戰(zhàn)

TDSQL-C 采用計算存儲分離的架構(gòu)，可以快速進行節(jié)點的擴容，節(jié)點的遷移，但其引入的網(wǎng)絡(luò)開銷對實現(xiàn)高性能提出了更高的挑戰(zhàn)。因此需要采用軟件優(yōu)化與新硬件相結(jié)合，通過基于 SPDK 和 UCX RDMA 的零拷貝技術(shù)，減少了操作系統(tǒng)上下文切換以及數(shù)據(jù)在用戶態(tài)和內(nèi)核態(tài)之間拷貝引起的性能損耗，進一步優(yōu)化關(guān)鍵路徑的系統(tǒng)性能，降低請求延遲。

傳統(tǒng)的 TCP/IP 網(wǎng)絡(luò)，存在以下幾個缺點：應(yīng)用的 buffer 發(fā)送到對端，需要經(jīng)過多次拷貝，對端收到數(shù)據(jù)到接收到應(yīng)用的接收 buffer，也需要多次拷貝；應(yīng)用的 buffer 拷貝到 TCP/IP 的 buffer，需要從用戶態(tài)進入到內(nèi)核態(tài)，會有上下文切換；網(wǎng)絡(luò)協(xié)議棧完全由 CPU 執(zhí)行，耗費 CPU。

NVIDIA RDMA 網(wǎng)絡(luò)方案＋ConnectX 系列網(wǎng)卡

“軟硬” 兼施，賦能數(shù)據(jù)庫業(yè)務(wù)持續(xù)發(fā)展

充分利用軟硬件資源做系統(tǒng)級別 Scale Out、Scale Up、 RDMA 等 Kernel ByPass 的低延時網(wǎng)絡(luò)基礎(chǔ)。以底層高性能硬件能力作為支柱，給騰訊云數(shù)據(jù)庫業(yè)務(wù)發(fā)展提供持續(xù)不斷的系統(tǒng)源動力。

根據(jù)業(yè)務(wù)部門需求和服務(wù)器新產(chǎn)品導入團隊多年來在 RDMA 技術(shù)上的沉淀， 推薦使用搭載 NVIDIA ConnectX 系列網(wǎng)卡的服務(wù)器，使用 NVIDIA RDMA 網(wǎng)絡(luò)方案來對數(shù)據(jù)庫場景進行專項優(yōu)化，充分利用 RDMA 天然的性能優(yōu)勢：

RDMA 技術(shù)是用戶空間進程繞過內(nèi)核直接調(diào)用 RDMA 網(wǎng)卡，實現(xiàn)和遠端進程的高效快速通訊。RDMA 伴生于 InfiniBand 網(wǎng)絡(luò)技術(shù)，由 IBTA 組織對其進行標準化定義和維護。RDMA 技術(shù)優(yōu)勢可以解決 TCP 傳輸方式中的各種缺點：

整個數(shù)據(jù)傳輸過程內(nèi)存零拷貝。

網(wǎng)絡(luò)傳輸完全卸載到網(wǎng)卡硬件，不占用 CPU 資源。

使用 RDMA 技術(shù)可以 100% 利用網(wǎng)絡(luò)帶寬。

整個數(shù)據(jù)傳輸過程由硬件完成，降低了系統(tǒng)延時。

NVIDIA RDMA 網(wǎng)絡(luò)方案

助力遠端計算和存儲網(wǎng)絡(luò)優(yōu)化

NVIDIA RDMA 網(wǎng)絡(luò)方案搭在硬件上使遠端計算和存儲網(wǎng)絡(luò)的優(yōu)化效果達到最優(yōu)。

在 RDMA 與 TCP 性能的關(guān)鍵指標的對比測試中，RDMA 體現(xiàn)了其優(yōu)勢。例如從oplog msg 性能數(shù)據(jù)上看，RDMA 測延遲比 TCP 降低 71.7%，吞吐提高 43.2%；在 page 性能數(shù)據(jù)方面（page 大小為16KB），RDMA 測延遲比 TCP 降低 70.3%，吞吐提高 52.3%。

騰訊云數(shù)據(jù)庫是騰訊服務(wù)的基礎(chǔ)架構(gòu)，網(wǎng)絡(luò)的延遲和帶寬對于性能至關(guān)重要， RDMA 技術(shù)的 Kernel Bypass 和 CPU Offload 可以帶來極低的延遲和極高的帶寬。在 NVIDIA 網(wǎng)絡(luò)產(chǎn)品上部署的推薦系統(tǒng)將為騰訊用戶提供業(yè)界一流的性能，使用戶充分享受 RDMA 帶來的技術(shù)紅利。

—— 騰訊云數(shù)據(jù)庫TDSQL-C負責人

李志陽

NVIDIA 作為 RDMA 技術(shù)的推動者和領(lǐng)跑者，很高興看到這項技術(shù)在騰訊得到越來越廣泛的應(yīng)用，并正在從傳統(tǒng)的 HPC/AI 業(yè)務(wù)拓展到高性能存儲和數(shù)據(jù)庫領(lǐng)域。UCX 的使用大幅度提高了 RDMA 應(yīng)用的開發(fā)效率和吞吐率，并且使得 RoCE 跟客戶應(yīng)用能迅速整合，從而幫助客戶更快走向市場，并提供差異化的云產(chǎn)品和服務(wù)。

—— NVIDIA 副總裁

Vadim Balahovski

原文標題：NVIDIA RDMA 網(wǎng)絡(luò)助力騰訊云數(shù)據(jù)庫突破性能瓶頸

文章出處：【微信公眾號：NVIDIA英偉達】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。