作者：Bill Jenkins，Achronix人工智能/機器學習產品營銷總監(jiān)

　　探索FPGA加速語言模型如何通過更快的推理、更低的延遲和更好的語言理解來重塑生成式人工智能

　　簡介：大語言模型

　　近年來，大型語言模型（Large Language Models，LLM）徹底改變了自然語言處理領域，使機器能夠生成類似人類的文本并進行有意義的對話。這些模型，例如OpenAI的GPT，擁有驚人的語言理解和生成能力。它們可以被用于廣泛的自然語言處理任務，包括文本生成、翻譯、自動摘要、情緒分析等。

　　大語言模型通常是基于深度學習技術來構建，特別是廣泛使用了transformer架構。Transformer是一類神經網絡模型，擅長捕捉語言序列中的遠關聯(lián)關系，這使得它們非常適合于語言理解和生成任務。訓練一種大語言模型的方法是將模型暴露給大量文本數據中，這些文本數據通常來源于書籍、網站和其它文本資源。該模型學會了預測句子中的下一個單詞，或者根據它所看到的上下文填充缺失的單詞。通過這個過程，它獲得了關于語法、句法的知識，甚至是一定程度的世界知識。

　　與大語言模型相關的主要挑戰(zhàn)之一是其巨大的計算和內存需求。這些模型由數十億個參數組成，需要強大的硬件和大量的計算資源來有效地訓練和部署它們，正如Nishant Thakur在2023年3月于領英發(fā)布的文章《ChatGPT背后令人難以置信的處理能力和成本：構建終極AI聊天機器人需要什么？》*中所討論的。資源有限的組織機構和研究人員在充分利用這些模型的潛力方面經常遇到瓶頸，因為云端需要大量的處理能力或資金。此外，在生成響應時，為創(chuàng)建適當的符號、單詞或單詞子部分，上下文長度會急劇增長，對內存和計算資源產生更多的需求。

　　這些計算挑戰(zhàn)導致更高的延遲，這使得大語言模型的采用變得更加困難，并且不是實時的，因此不那么自然。在這篇博客中，我們將深入研究大語言模型遇到的困難，并探索潛在的解決方案，這些解決方案可以為其增強的可用性和可靠性鋪平道路。

　　大語言模型的加速

　　大語言模型的構建通常需要一個大規(guī)模的系統(tǒng)來執(zhí)行該模型，這個模型會持續(xù)變大，在其發(fā)展到一定程度后，僅靠在CPU上的運行就不再具有成本、功耗或延遲的優(yōu)勢了。使用GPU或FPGA這樣的加速器可顯著提高計算能效、大幅降低系統(tǒng)延遲，并以更小的規(guī)模實現更高的計算水平。雖然GPU無疑正在成為硬件加速的標準選擇，主要是因為它具有的可訪問性和易于編程特性；實際上，在低延遲方面，FPGA架構比GPU有更卓越的性能。

　　由于本質上GPU是采用扭曲鎖定（warp-locked）架構，跨多個內核并行執(zhí)行超過32個SIMT線程，因此它們通常也需要批量處理大量數據，以嘗試和偏移warp-locked架構并保持流水線被充滿。這等同于更大的延遲和更多系統(tǒng)內存的需求。同時，FPGA可構建自定義數據路徑來同時在多個數據模塊上執(zhí)行多個不同的指令，這意味著它可以非常有效地運行，一直到批量大小為1，這是實時的，延遲要低得多，同時最大限度地減少外部存儲器需求。因此，與其他競爭性架構相比，FPGA能夠顯著提高其TOPs的利用率——隨著系統(tǒng)規(guī)模擴展到ChatGPT系統(tǒng)大小時，這種性能差距只會繼續(xù)增加。

　　當系統(tǒng)規(guī)模擴展到需要超過8個處理器件時（GPT3的訓練需要使用10，000個GPU），用Achronix的FPGA來執(zhí)行大語言模型可在吞吐量和延遲方面勝過GPU。如果模型可以使用INT8精度，那么使用GPT-20B作為參考的Achronix FPGA則具有更大的優(yōu)勢，如下表所示。這些數據說明使用FPGA是有優(yōu)勢的，因為GPU需要較長的交付時間（高端GPU超過一年）、得到的用戶支持可能也很少，并且比FPGA貴得多（每塊GPU的成本可能超過10，000美元）。

　　Speedster7t FPGA芯片與GPU的性能比較

　　將大語言模型映射到Achronix的FPGA加速器上

　　Achronix的Speedster7t FPGA具有一個獨特的架構，使其非常適合這些類型的模型。首先，它有一個硬二維片上網絡（2D NoC），解決了整個器件的數據傳輸以及輸入輸出。此外，它使用了帶有緊耦合RAM的機器學習處理器（MLP），以便在計算之間實現高效的結果重用。最后，與GPU類似但與其他FPGA不同，Achronix的Speedster7t FPGA具有八組高效的GDDR6存儲器IP，可支持更高的帶寬，并且能夠以4 Tbps的速度加載參數。

　　由于這些系統(tǒng)需要可擴展性，FPGA可以實現各種標準接口，以將加速卡互連在一起，并可實現卡之間無縫地傳輸數據。Achronix的Speedster7t AC7t1500器件具有32個100 Gbps的SerDes通道，不需要諸如NVLink這樣的專有且成本高昂的解決方案。

　　大語言模型的未來：升級為增強型語言理解方案及領域特定方案

　　由于這些大語言模型需要巨大的規(guī)模才能以最小的延遲影響來執(zhí)行訓練和推理，模型的復雜性將繼續(xù)增加，這將使得不斷發(fā)展的語言理解、生成，甚至預測能力具有令人難以置信的準確性。雖然目前許多GPT類模型都是通用的，很可能接下來會出現針對某些領域，如醫(yī)學、法律、工程或金融等而訓練的專用模型?？傊?，在很長一段時間內，這些系統(tǒng)將協(xié)助人類專家處理由人工智能系統(tǒng)處理的更多平凡的任務，并為提供解決方案建議或協(xié)助完成創(chuàng)造性的任務。

　　編輯：黃飛