據(jù)IEEE報道。訓(xùn)練許多現(xiàn)代 AI 工具背后的大型神經(jīng)網(wǎng)絡(luò)需要真正的計算能力：例如，OpenAI 最先進的語言模型 GPT-3需要驚人的數(shù)以億計的操作來訓(xùn)練，并且花費了大約 500 萬美元的計算時間。工程師們認(rèn)為他們已經(jīng)找到了一種通過使用不同的數(shù)字表示方式來減輕負(fù)擔(dān)的方法。

早在 2017 年，當(dāng)時在A*STAR 計算資源中心和新加坡國立大學(xué)聯(lián)合任命的John Gustafson和當(dāng)時在 Interplanetary Robot and Electric Brain Co. 任職的Isaac Yonemoto開發(fā)了一種新的數(shù)字表示方式。這些數(shù)字，稱為 posits，被提議作為對當(dāng)今使用的標(biāo)準(zhǔn)浮點算術(shù)處理器的改進。

現(xiàn)在，馬德里康普頓斯大學(xué)的一組研究人員開發(fā)了第一個在硬件中實現(xiàn) posit 標(biāo)準(zhǔn)的處理器內(nèi)核，并表明，基本計算任務(wù)的精度逐位提高了四個數(shù)量級，與使用標(biāo)準(zhǔn)浮點數(shù)進行計算相比。他們在上周的IEEE 計算機算術(shù)研討會上展示了他們的結(jié)果。

“如今，摩爾定律似乎開始消退，”康普頓斯公司 ArTeCS 小組的研究生研究員大衛(wèi)·馬拉森·昆塔納 (David Mallasén Quintana) 說?！耙虼?，我們需要找到一些其他方法來從同一臺機器中獲得更多性能。做到這一點的方法之一是改變我們對實數(shù)進行編碼的方式，以及我們表示它們的方式。

Complutense 團隊并不是唯一一個用數(shù)字表示來挑戰(zhàn)極限的人。就在上周，英偉達、Arm 和英特爾就使用 8 位浮點數(shù)而不是通常的 32 位或 16 位機器學(xué)習(xí)應(yīng)用程序達成了一項規(guī)范。使用更小、更不精確的格式可以提高效率和內(nèi)存使用率，但代價是計算準(zhǔn)確性。

訓(xùn)練許多現(xiàn)代 AI 工具背后的大型神經(jīng)網(wǎng)絡(luò)需要真正的計算能力：例如，OpenAI 最先進的語言模型 GPT-3需要驚人的數(shù)以億計的操作來訓(xùn)練，并且花費了大約 500 萬美元的計算時間。工程師們認(rèn)為他們已經(jīng)找到了一種通過使用不同的數(shù)字表示方式來減輕負(fù)擔(dān)的方法。

早在 2017 年，當(dāng)時在A*STAR 計算資源中心和新加坡國立大學(xué)聯(lián)合任命的John Gustafson和當(dāng)時在 Interplanetary Robot and Electric Brain Co. 任職的Isaac Yonemoto開發(fā)了一種新的數(shù)字表示方式。這些數(shù)字，稱為 posits，被提議作為對當(dāng)今使用的標(biāo)準(zhǔn)浮點算術(shù)處理器的改進。

現(xiàn)在，馬德里康普頓斯大學(xué)的一組研究人員開發(fā)了第一個在硬件中實現(xiàn) posit 標(biāo)準(zhǔn)的處理器內(nèi)核，并表明，基本計算任務(wù)的精度逐位提高了四個數(shù)量級，與使用標(biāo)準(zhǔn)浮點數(shù)進行計算相比。他們在上周的IEEE 計算機算術(shù)研討會上展示了他們的結(jié)果。

“如今，摩爾定律似乎開始消退，”康普頓斯公司 ArTeCS 小組的研究生研究員大衛(wèi)·馬拉森·昆塔納 (David Mallasén Quintana) 說?！耙虼?，我們需要找到一些其他方法來從同一臺機器中獲得更多性能。做到這一點的方法之一是改變我們對實數(shù)（real numbers）進行編碼的方式，以及我們表示它們的方式。”

Complutense 團隊并不是唯一一個用數(shù)字表示來挑戰(zhàn)極限的人。就在上周，英偉達、Arm 和英特爾就使用 8 位浮點數(shù)而不是通常的 32 位或 16 位機器學(xué)習(xí)應(yīng)用程序達成了一項規(guī)范。使用更小、更不精確的格式可以提高效率和內(nèi)存使用率，但代價是計算準(zhǔn)確性。

實數(shù)不能簡單地用硬件完美地表示，因為它們的數(shù)量是無限的。為了適應(yīng)指定的位數(shù)，許多實數(shù)必須四舍五入。posits的優(yōu)勢在于它們準(zhǔn)確代表的數(shù)字沿數(shù)軸分布的方式。在數(shù)軸的中間，大約 1 和 -1，有比浮點更多的位置表示。在兩翼，對于大的負(fù)數(shù)和正數(shù)，定位精度比浮點數(shù)下降得更優(yōu)雅。

“它更適合計算中數(shù)字的自然分布，”Gustafson 說。“這是正確的動態(tài)范圍，在您需要更高精度的情況下，它是正確的精度。浮點算術(shù)中有大量的位模式，從來沒有人使用過。那是浪費?！?/p>

由于表示中的一個額外組件，Posits 在 1 和 -1 左右實現(xiàn)了這種改進的準(zhǔn)確性。浮點數(shù)由三部分組成：一個符號位（0 表示正數(shù)，1 表示負(fù)數(shù)），幾個“尾數(shù)”（分?jǐn)?shù)）位表示小數(shù)點的二進制版本之后的內(nèi)容，其余位定義指數(shù)（2經(jīng)驗）。

? Posits 保留了浮點數(shù)的所有組件，但添加了一個額外的“regime”部分，即指數(shù)的指數(shù)。該regime的美妙之處在于它的位長可以變化。對于小數(shù)字，它可能只需要兩位，為尾數(shù)留下更高的精度。這允許在 1 和 -1 附近的最佳位置中進行更高的定位精度。

? 深度神經(jīng)網(wǎng)絡(luò)通常使用稱為權(quán)重的歸一化參數(shù)，使它們成為從位置優(yōu)勢中受益的完美候選者。大部分神經(jīng)網(wǎng)絡(luò)計算由乘法累加操作組成。每次執(zhí)行這樣的計算時，每個總和都必須重新截斷，導(dǎo)致精度損失。使用 posits，稱為 quire 的特殊寄存器可以有效地執(zhí)行累加步驟以減少精度損失。但是今天的硬件實現(xiàn)了浮點數(shù)，到目前為止，在軟件中使用位置的計算收益在很大程度上被格式之間轉(zhuǎn)換的損失所掩蓋。

? 借助在現(xiàn)場可編程門陣列 (FPGA) 中合成的新硬件實現(xiàn)，Complutense 團隊能夠并排比較使用 32 位浮點數(shù)和 32 位位置完成的計算。他們通過將它們與使用更準(zhǔn)確但計算成本更高的 64 位浮點格式的結(jié)果進行比較來評估它們的準(zhǔn)確性。Posits 在矩陣乘法（神經(jīng)網(wǎng)絡(luò)訓(xùn)練中固有的一系列乘法累加）的準(zhǔn)確性方面顯示出驚人的四個數(shù)量級的提高。他們還發(fā)現(xiàn)，提高精度并沒有以計算時間為代價，只是稍微增加了芯片面積和功耗。 ?

盡管數(shù)值精度的提高是不可否認(rèn)的，但這究竟會如何影響像 GPT-3 這樣的大型 AI 的訓(xùn)練還有待觀察。 ? “假設(shè)可能會加快訓(xùn)練速度，因為你不會在途中丟失太多信息，”馬拉森說，“但這些都是我們不知道的事情。有些人已經(jīng)在軟件中進行了嘗試，但我們現(xiàn)在也想在硬件中進行嘗試?！?? 其他團隊正在開發(fā)他們自己的硬件實現(xiàn)以促進 posit 的使用。“它正在做我希望它做的事情；它正在瘋狂地被采用，”古斯塔夫森說?！拔恢镁幪柛袷揭鹆宿Z動，有數(shù)十個團體，包括公司和大學(xué)，都在使用它。” ?

編輯：黃飛

?