適用于 Apache Spark 的 RAPIDS 加速器可以幫助公司提升性能并保護環(huán)境。

各大公司正在研究加速計算如何能提升它們的基準性能，同時還能給地球帶來積極影響。

適用于 Apache Spark 的 NVIDIA RAPIDS 加速器軟件可以加速數(shù)據(jù)分析，不僅能提升性能、降低成本，還可以提升能效。這意味著它可以幫助公司實現(xiàn)溫室氣體（如二氧化碳）零排放的目標。

一項新的基準測試表明，RAPIDS 加速器能讓一家公司減少多達 80% 碳足跡，同時將計算速度平均提升五倍，計算成本降低 4 倍。

許多公司都能從這一技術中獲益。包括 80% 的世界五百強在內的數(shù)千家公司，都在采用 Apache Spark 來分析它們日益增長的數(shù)據(jù)。

事實上，如果每家采用 Apache Spark 的公司都使用 RAPIDS 加速器，他們每年可共計減少 7.8 公噸的二氧化碳排放，減排效果相當于一輛車使用 878 加侖汽油所產生的排放量。這很好地證明了綠色計算科技能夠對抗氣候變化。

人類面臨的挑戰(zhàn)

據(jù)聯(lián)合國，超過 70 個國家已經為溫室氣體排放設定了一個凈零目標。聯(lián)合國將“向凈零排放轉型”描述為“人類目前面臨的最大的挑戰(zhàn)之一”。

許多公司正在為此做出自身的貢獻。

例如，NVIDIA 正在與一家大型金融服務公司合作，測試將 Apache Spark 應用到實時欺詐保護中。該公司希望借助加速計算降低碳足跡，并與 Net-Zero Banking Alliance 等組織通力合作。

5月份，世界上最大的 AI 超級計算機之一證實了加速計算能提高能效。

在四個熱門的科學應用中，位于美國國家能源研究科學計算中心（NERSC）的 Perlmutter 系統(tǒng)的能效平均提升了五倍，這要歸功于 NVIDIA A100 Tensor Core GPU 。與使用 CPU 相比，一個天氣預報應用實現(xiàn)了 9.8 倍加速。

NERSC 應用程序通過加速計算實現(xiàn)了效率提升

AT&T 接入 RAPIDS 加速器

美國電話電報公司（AT&T）、Adobe 和美國聯(lián)邦稅務局（IRS）等組織已經發(fā)現(xiàn)了 RAPIDS 加速器的性能和成本優(yōu)勢。

在去年的一次測試中，AT&T 僅用五個小時就處理了一個月的移動數(shù)據(jù)——足有 2.8 萬億行信息。這比以往的任何測試都要快 3.3 倍，而成本降低了 60%。

AT&T 的 AI 架構師 Abhay Dabholkar 在一篇博客中寫道：“這一結果令人振奮，因為如果是用 CPU 集群，僅僅是七天的數(shù)據(jù)就需要處理超過 48 小時——曾經，我們手握數(shù)據(jù)，但卻由于處理時間太長而無法使用它。”

“如果一項任務耗時太長，而且數(shù)據(jù)太多，那么我們建議轉向 GPU ，并借助 Spark ，CPU 上運行的代碼也可以在 GPU 上運行?！彼a充說。

Adobe 加速服務

Adobe 在其 Intelligent Services 平臺上使用了加速計算，幫助市場營銷團隊用 AI 來加速分析。

他們發(fā)現(xiàn)，使用 RAPIDS 加速器時，單個 NVIDIA GPU 節(jié)點的性能可以比 16 個節(jié)點的 CPU 集群高出 33% ，同時將計算成本降低 70% 。

在另一個訓練 AI 模型的測試中，使用搭載 GPU 加速的RAPIDS 庫將速度提高了 7 倍，與在 CPU 上運行的同一任務相比，其成本節(jié)省了 90% 。

Adobe 的機器學習工程師張磊在 GTC 大會發(fā)表的演講中表示：“這能極大節(jié)省成本，提升速度，真是令人震驚?！?/p>

Spark 帶來 20 倍的提升

CPU 的性能不足以處理分析所需的 3TB 以上的數(shù)據(jù)集，因此 IRS 轉向了 RAPIDS 加速器。

一個由 GPU 驅動的服務器組成的 Spark 集群能夠處理這些數(shù)據(jù)負載，并為處理更大的數(shù)據(jù)集開啟了一扇門。

IRS 研究和應用分析與統(tǒng)計部門技術主管 Joe Ansaldi 在一篇博客中表示：“我們目前正在實施這一整合，我們的數(shù)據(jù)工程和數(shù)據(jù)科學工作流程以一半的成本實現(xiàn)了超過 20 倍的速度提升?！?/p>

如何邁出第一步

提升性能和減少成本的程度在不同的工作負載中有所不同。正因為此，NVIDIA 推出了一款加速的 Spark 分析工具。

該工具向用戶展示了 RAPIDS 加速器在無需更改任何代碼的情況下，在他們的應用程序上可以實現(xiàn)怎樣的提升。該工具還能幫助用戶對 GPU 加速進行微調，以在他們的工作負載上獲得最佳效果。

一旦 RAPIDS 加速器提高了關鍵性能，公司就可以計算節(jié)省的能源，并報告他們在保護地球方面所取得的進展。

觀看下方視頻以了解 Cloudera 數(shù)據(jù)平臺如何用適用于 Apache Spark 的 RAPIDS 加速器提速 44 倍。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行，線上大會也將同期開放。點擊“閱讀原文”或掃描下方海報二維碼，關注更多會議及活動信息。