ChatGPT 等生成式人工智能工具對社會眾多領(lǐng)域產(chǎn)生了巨大影響。作為工程師，了解使之成為可能的計算技術(shù)對我們很有幫助。

近年來，隨著新技術(shù)以前所未有的速度出現(xiàn)，人工智能取得了重大飛躍。毫無疑問，ChatGPT、Bard 和 Einstein 等工具將影響各個行業(yè)——從媒體和內(nèi)容創(chuàng)建到研究、金融等。 這些工具現(xiàn)在可以密切模擬人類對話，能夠理解上下文信息、實時對話，并以極高的精度執(zhí)行從翻譯到總結(jié)的任務(wù)。 OpenAI 表示，為了了解這些 AI 技術(shù)的進(jìn)步速度，“最大規(guī)模的 AI 訓(xùn)練運行所使用的計算量呈指數(shù)級增長，是 3.4 個月的兩倍” ?；仡?80 年代和 90 年代，神經(jīng)網(wǎng)絡(luò)研究活動非常活躍，訓(xùn)練引擎的計算和內(nèi)存與今天的能力相比非常弱。 時間快進(jìn)到 2012 年，摩爾定律的不斷發(fā)展使人工智能能夠有效地執(zhí)行分類——識別圖片和視頻中的對象。與此同時，自然語言處理（NLP）的發(fā)展也至關(guān)重要。

圖：此處顯示的是 2012 年至 2018 年期間用于訓(xùn)練選定結(jié)果的計算總量（以 petaflop/s 天為單位）

隨著 Siri 等工具開始興起，并隨著這些應(yīng)用程序慢慢發(fā)展和演變，顯然下一步就是讓它們生成。一旦這些訓(xùn)練算法能夠快速分類信息、在數(shù)據(jù)之間建立關(guān)聯(lián)并理解所提出的請求，問題就變成了它們是否可以利用這些學(xué)習(xí)成果以可識別的方式有效地組裝新內(nèi)容。 得益于半導(dǎo)體行業(yè)在 HBM（高帶寬內(nèi)存）、DDR、異構(gòu)計算等方面的進(jìn)步，隨著我們進(jìn)入生成式 AI 新時代的開始，這已成為現(xiàn)實。

硬件如何讓我們走到這一步 生成式人工智能的訓(xùn)練和應(yīng)用非常復(fù)雜，需要使用先進(jìn)的學(xué)習(xí)模型和海量數(shù)據(jù)處理需求。當(dāng)我們今天熟悉的生成式人工智能應(yīng)用程序達(dá)到剛剛起步的階段時，計算（尤其是主內(nèi)存）的進(jìn)步是不可或缺的。 尤其是過去十年，由于 DDR DIMM 芯片組和 HBM 接口以及特定領(lǐng)域計算架構(gòu)的代際升級，人工智能訓(xùn)練和推理能力取得了巨大進(jìn)步。這些都在生成式人工智能開發(fā)中發(fā)揮了關(guān)鍵作用，有助于提高速度、容量和連接性，以滿足日益苛刻的工作負(fù)載。 用于通過生成式人工智能創(chuàng)建新圖像、音頻和文本的機器學(xué)習(xí)算法需要大量數(shù)據(jù)和快速內(nèi)存才能有效運行。DDR5是 DDR 內(nèi)存的最新標(biāo)準(zhǔn)，可提供更高的數(shù)據(jù)傳輸速率和更低的功耗，與前幾代產(chǎn)品相比，可以在低延遲的情況下實現(xiàn)更高效的數(shù)據(jù)處理。

轉(zhuǎn)向異構(gòu)計算 服務(wù)器本身也開始轉(zhuǎn)向異構(gòu)計算架構(gòu)，因為越來越多地使用專用加速器來卸載 CPU 上的專用工作負(fù)載。一個示例異構(gòu)計算系統(tǒng)由 CPU、AI 加速器和網(wǎng)絡(luò)處理器組成。 它們各自可以執(zhí)行不同類型的計算，以實現(xiàn)生成式人工智能，因為復(fù)雜的計算可以在專用處理單元上更快地執(zhí)行。例如，CPU 將用于通用處理任務(wù)，并且可以將某些任務(wù)卸載到人工智能加速器等專用處理器。 AI加速器可以加速張量運算，提高神經(jīng)網(wǎng)絡(luò)訓(xùn)練和推理的速度。網(wǎng)絡(luò)處理器可以提高數(shù)據(jù)通過網(wǎng)絡(luò)移動到服務(wù)器中的CPU和AI加速器的速度。 通過利用每個處理單元的優(yōu)勢，生成式人工智能可以以更高的效率提供高質(zhì)量的數(shù)據(jù)。處理器和 CXL 等新標(biāo)準(zhǔn)促進(jìn)的內(nèi)存緩存一致性在這方面也發(fā)揮著關(guān)鍵作用，因為它支持 CPU 和加速器之間的內(nèi)存資源共享。

加速人工智能訓(xùn)練 這些處理器極大地加快了人工智能訓(xùn)練和推理的速度，降低了總擁有成本并實現(xiàn)了更大的可擴展性?？偠灾?，這使得研究人員能夠超越分類而進(jìn)入內(nèi)容生成本身。這些改進(jìn)對這些模型學(xué)習(xí)速度的影響所產(chǎn)生的累積效應(yīng)如今已顯而易見。 就在過去的幾個月里，我們看到 ChatGPT 取得了突飛猛進(jìn)的進(jìn)步。根據(jù)ABA Journal 的一篇文章，這項曾經(jīng)在 2022 年 11 月進(jìn)行試驗的新技術(shù)現(xiàn)在已經(jīng)足以在幾個月后通過律師考試，排名前 10% 。 雖然當(dāng)前的能力展示了人工智能令人印象深刻的潛力，但它們僅僅觸及了未來可以實現(xiàn)的目標(biāo)的表面。當(dāng)我們開始考慮這些技術(shù)如何徹底改變我們的溝通和開展業(yè)務(wù)的方式時，一個新的問題出現(xiàn)了：生成人工智能的下一個可能階段是什么？

半導(dǎo)體和 ChatGPT 的下一階段 ChatGPT 和類似工具的發(fā)展速度如此之快，更先進(jìn)的功能將很快進(jìn)入主流。人工智能將超越文本和語音輸入，并有可能在新的未來包含解釋情感和細(xì)微差別等新功能。這將改變客戶服務(wù)、娛樂、游戲和更多行業(yè)的游戲規(guī)則，但我們?nèi)绾螌崿F(xiàn)這一目標(biāo)？ 硬件的快速發(fā)展表明，行業(yè)很快就達(dá)到了現(xiàn)有硬件的極限。為了繼續(xù)推動人工智能向前發(fā)展，為生成式人工智能提供動力的硬件必須具有更先進(jìn)的計算能力以及更高帶寬的內(nèi)存互連和存儲。這將需要半導(dǎo)體行業(yè)的快節(jié)奏創(chuàng)新，以及解決內(nèi)存和處理之間瓶頸的承諾和協(xié)調(diào)努力。

一個全方位的行業(yè) 隨著新需求的出現(xiàn)，繼續(xù)以目前的速度前進(jìn)將具有挑戰(zhàn)性。值得慶幸的是，業(yè)界正在“全力以赴”推動內(nèi)存的改進(jìn)，內(nèi)存一直在支持計算范式的開發(fā)中發(fā)揮著重要作用。 如果沒有半導(dǎo)體行業(yè)生產(chǎn)更快的芯片和互連的能力，在過去 11 年里，最大規(guī)模的 AI 訓(xùn)練運行所使用的計算量不會增長 300,000 倍。 即將出現(xiàn)的新技術(shù)展示了業(yè)界在推進(jìn)內(nèi)存技術(shù)和探索新架構(gòu)以繼續(xù)改進(jìn)人工智能方面的投資。

來源：內(nèi)容由半導(dǎo)體行業(yè)觀察（ID：icbank）編譯自allaboutcircuits