在 GTC 會(huì)場(chǎng)，觀眾座無(wú)虛席，兩位計(jì)算領(lǐng)域最具影響力的領(lǐng)導(dǎo)人物，NVIDIA 首席科學(xué)家 Bill Dally，以及 Google DeepMind 與 Google Research 首席科學(xué)家 Jeff Dean 登臺(tái)對(duì)話。他們的工作深刻塑造了大規(guī)模機(jī)器學(xué)習(xí)的發(fā)展軌跡。

這場(chǎng)對(duì)話與其說(shuō)是傳統(tǒng)座談，不如說(shuō)是一場(chǎng)深度學(xué)習(xí)的“即興演奏會(huì)”，兩位深入探討了 AI 模型的演進(jìn)方向，以及為何硬件架構(gòu)如今已與 AI 的進(jìn)步密不可分。

Dean 開(kāi)場(chǎng)時(shí)回顧了模型能力的快速躍遷，尤其在如“數(shù)學(xué)和編程”等具備“可驗(yàn)證獎(jiǎng)勵(lì)”的領(lǐng)域。曾經(jīng)令模型束手無(wú)策的任務(wù)，如今已能可靠地執(zhí)行；基于智能體的工作流甚至能在數(shù)小時(shí)乃至數(shù)天內(nèi)幾乎無(wú)需人工干預(yù)的情況下自主運(yùn)行。他強(qiáng)調(diào)，這一轉(zhuǎn)變正在重塑 AI 系統(tǒng)的本質(zhì)，使其從被動(dòng)響應(yīng)提示的工具，轉(zhuǎn)變?yōu)椤霸诤笈_(tái)持續(xù)運(yùn)作的智能體”。

對(duì)此，Dally 表示，這種演進(jìn)將延遲問(wèn)題推至聚光燈下。推理速度成為智能體在大規(guī)模環(huán)境中推理、規(guī)劃與迭代的首要設(shè)計(jì)約束。他解釋道，當(dāng)前大部分延遲并非來(lái)自計(jì)算本身，而是源于通信。每一層之間的數(shù)據(jù)傳遞、每一次片外訪問(wèn)、每比特在導(dǎo)線上的移動(dòng)，都會(huì)帶來(lái)時(shí)間與能耗成本。NVIDIA 的應(yīng)對(duì)策略是推動(dòng)架構(gòu)向 Dally 所稱的“光速”設(shè)計(jì)邁進(jìn)：最大限度減少路由成本、消除排隊(duì)等待，并縮短數(shù)據(jù)必須傳輸?shù)奈锢砭嚯x。

在討論能效時(shí)，這一“不要移動(dòng)數(shù)據(jù)”的原則被反復(fù)提及。一次乘加運(yùn)算可能僅耗幾飛焦耳（極小的能量單位），但從外部存儲(chǔ)器讀取數(shù)據(jù)的能耗卻可能高出數(shù)千倍。Dally 介紹了利用 SRAM 的局部性并探索堆疊式 DRAM 技術(shù)，通過(guò)將計(jì)算單元緊鄰內(nèi)存部署，從根本上改善這一能耗失衡。其目標(biāo)不僅是降低能耗，更是在相同功耗下實(shí)現(xiàn)更高性能。

討論還延伸到利用 AI 設(shè)計(jì)運(yùn)行 AI 的芯片。Dally 舉例說(shuō)，如今強(qiáng)化學(xué)習(xí)系統(tǒng)能夠在一夜之間生成標(biāo)準(zhǔn)單元庫(kù)，即預(yù)設(shè)計(jì)、預(yù)驗(yàn)證且完整表征的基礎(chǔ)邏輯模塊集合；而基于 NVIDIA 設(shè)計(jì)歷史訓(xùn)練的內(nèi)部大語(yǔ)言模型，正幫助初級(jí)工程師掌握數(shù)十年的架構(gòu)知識(shí)。這些系統(tǒng)并非取代人類設(shè)計(jì)師，而是增強(qiáng)他們的能力，壓縮開(kāi)發(fā)周期，并拓展值得探索的創(chuàng)新空間。

展望未來(lái)，兩位演講者不約而同地聚焦于同一個(gè)關(guān)鍵詞：協(xié)同設(shè)計(jì)。突破性的進(jìn)展將來(lái)自機(jī)器學(xué)習(xí)研究人員與系統(tǒng)架構(gòu)師之間的緊密反饋循環(huán)。正如 Dean 所言，有時(shí)你在硅片上加入一個(gè)小型實(shí)驗(yàn)性功能，就可能帶來(lái)巨大回報(bào)，硬件性能可因此實(shí)現(xiàn)“10 到 20 倍”的提升。

本場(chǎng)對(duì)話最終回歸人本價(jià)值。教育、醫(yī)療與科學(xué)發(fā)現(xiàn)被一致視為 AI 能產(chǎn)生深遠(yuǎn)積極影響的領(lǐng)域，尤其是當(dāng)系統(tǒng)變得個(gè)性化、具備上下文理解并持續(xù)學(xué)習(xí)的情況下。Dean 表示，“我認(rèn)為 AI 在醫(yī)療領(lǐng)域的應(yīng)用將極具變革性”。

如果臺(tái)上這兩位行業(yè)領(lǐng)導(dǎo)者所暢想的未來(lái)成真，那將不只是更快的模型運(yùn)行在更好的硬件上，而將開(kāi)啟一個(gè)一個(gè)智能、能效與規(guī)模協(xié)同演進(jìn)的全新計(jì)算時(shí)代。