這項可選服務將幫助數(shù)據(jù)中心運營商監(jiān)測整個 AI GPU 集群運行狀況，從而最大限度地延長正常運行時間。

隨著 AI 基礎設施的規(guī)模和復雜性不斷增加，數(shù)據(jù)中心運營商需要持續(xù)了解性能、溫度和功耗等因素。這些洞察使數(shù)據(jù)中心運營商能夠主動監(jiān)測和調(diào)整大規(guī)模分布式系統(tǒng)中的數(shù)據(jù)中心配置，從而確保這些系統(tǒng)以最高效率和可靠性運行。

NVIDIA 正在開發(fā)用于可視化和監(jiān)測 NVIDIA GPU 集群的軟件解決方案，為云合作伙伴和企業(yè)提供洞察儀表板，幫助他們提高整個計算基礎設施的 GPU 正常運行時間。

該服務由客戶選擇、自行安裝和控制，用于監(jiān)測 GPU 使用情況、配置和錯誤。它將包含一個開源客戶端軟件智能體，這是 NVIDIA 持續(xù)支持開放、透明軟件的一部分，旨在幫助客戶最大限度的發(fā)揮其 GPU 系統(tǒng)的性能。

通過這項服務，數(shù)據(jù)中心運營商將能夠：

追蹤功耗峰值，在不超出能耗預算的前提下最大化單位功耗性能。

監(jiān)測整個集群的利用率、內(nèi)存帶寬和互連運行狀況。

及早發(fā)現(xiàn)熱點和氣流問題，以避免過熱降頻和組件過早老化。

確認軟件配置和設置一致，以確保結(jié)果可復現(xiàn)以及運行可靠。

發(fā)現(xiàn)錯誤和異常情況，及早發(fā)現(xiàn)故障部件。

這些功能可以幫助企業(yè)和云提供商可視化其 GPU 集群、解決系統(tǒng)瓶頸并優(yōu)化生產(chǎn)力，從而提高投資回報。

此可選服務提供實時監(jiān)測，讓每個 GPU 系統(tǒng)與外部云服務通信和共享 GPU 指標。NVIDIA GPU 沒有硬件跟蹤技術、終止開關和后門。

開源智能體為數(shù)據(jù)中心所有者提供洞察

該服務將配備客戶端軟件智能體，客戶可以安裝該智能體，將節(jié)點級 GPU 遙測數(shù)據(jù)流式傳輸?shù)酵泄茉贜VIDIA NGC的門戶網(wǎng)站上?？蛻艨梢栽趦x表板中可視化其 GPU 集群利用率，既可以全局查看，也可以按計算區(qū)域 (在同一物理或云位置注冊的節(jié)點組) 查看。

儀表盤可展示客戶全球 GPU 集群的整體狀態(tài)洞察。

該客戶端工具智能體也計劃開源，以提供透明度和可審計性。它將提供一個實際示例，展示客戶如何將 NVIDIA 工具整合到他們自己的 GPU 基礎設施監(jiān)測解決方案中，無論是用于關鍵計算集群，還是整個 GPU 集群。

該軟件能夠幫助企業(yè)了解其 GPU 庫存情況，但無法修改 GPU 配置或底層運行機制。它提供的是只讀遙測數(shù)據(jù)，并由客戶自行管理及自定義。

該服務還支持客戶生成詳細介紹 GPU 集群信息的報告。

隨著 AI 應用的數(shù)量和復雜性不斷增加，現(xiàn)代 AI 基礎設施管理也在不斷發(fā)展以適應這一趨勢。AI 正在重塑各行各業(yè)以及各種應用，因此確保 AI 數(shù)據(jù)中心保持最佳狀態(tài)運行至關重要。這項軟件服務正是為此而生。