多年來，電氣工程師和計算機科學家一直在努力尋找如何更快，更有效地執(zhí)行神經(jīng)網(wǎng)絡計算的方法。實際上，設計適合神經(jīng)網(wǎng)絡計算的加速器最近已經(jīng)成為活躍的溫床，最常見的解決方案是GPU，它與各種特定于應用的IC（例如Google的 Tensor Processing Unit ）和現(xiàn)場可編程門陣列展開競爭。

現(xiàn)在，另一位競爭者剛剛進入了這個競技場，它基于一種完全不同的范例：光計算。麻省理工學院的一個名為 Lightmatter的分支機構在近日的Hot Chips線上會議上描述了其“ Mars ”設備。Lightmatter不是唯一采用這種新穎策略的公司，但它似乎領先于競爭對手。

不過，我（作者）把這種方法稱為“新穎”可能會有點誤導大家。事實上，光學計算有著悠久的歷史。早在20世紀50年代末，它就被用于處理第一批合成孔徑雷達（synthetic-aperture radar，SAR）圖像，這些圖像是在數(shù)字計算機無法完成必要的數(shù)學計算任務的時候建造的。這解釋了為什么工程師要制造各種各樣的模擬計算機，這些模擬計算機基于spinning disks，sloshing fluids，continuous amounts of electric charge甚至光線。

在過去的幾十年中，研究人員不時地重新提出了用光來計算事物的想法，但這一概念并沒有被證明對任何事物都有廣泛的實用性。當涉及到神經(jīng)網(wǎng)絡計算時，Lightmatter正在嘗試改變這一現(xiàn)狀。Mars裝置的核心是一個芯片，該芯片中包括一個模擬光學處理器，專門設計用于執(zhí)行神經(jīng)網(wǎng)絡基本的數(shù)學運算。

這里的關鍵操作是矩陣乘法，該乘法包括將數(shù)字對相乘并相加結果?？梢詷嫵晒獾募臃ú⒉黄婀郑驗楫攦墒馐Y合時，構成光的電磁波會疊加在一起。

更棘手的問題是如何用光來做乘法運算。讓我在這里概述一下，當然，如果想了解更全面的描述，我建議閱讀Lightmatter在其博客上提供的關于其技術的相關文章。

Lightmatter光學處理器的基本單位是所謂的 Mach-Zehnder干涉儀的裝置 。Ludwig Mach和Ludwig Zehnder在19世紀90年代發(fā)明了這種設備，所以我們這里所說的并不是完全現(xiàn)代的東西。新的想法是將許多Mach-Zehnder干涉儀縮小到納米級尺寸，并將它們集成到一個芯片上，以加快神經(jīng)網(wǎng)絡計算的速度。

這種干涉儀將入射光分成兩束，然后經(jīng)過兩條不同的路徑，將產(chǎn)生的兩個光束重新組合。如果兩條路徑相同，那么輸出看起來就像輸入。但是，如果兩個光束中的一個必須比另一個光束傳播得更遠或速度減慢，則它會與另一個光束異相。在極端情況下，它可能是完全180度（半波長）的相位不一致，在這種情況下，當重新組合時，兩束光束會產(chǎn)生破壞性的干涉，并且輸出完全為零。

一般來說，光在輸出端的場振幅將是輸入端的光振幅乘以在其兩臂行進的光之間相位差的一半的余弦。如果你能用一些方便的方法控制相位差，你就有了一個可以進行乘法運算的裝置。

Lightmatter的Mach-Zehnder干涉儀是通過在納米光子芯片中為光形成適當?shù)男〔▽Ф鴺嫿ǖ?。通過使用折射率取決于其所受電場的材料，可以簡單地通過施加電壓來產(chǎn)生電場來控制分裂光束的相對相位，就像給電容器充電一樣。在光物質的芯片中，這是通過在干涉儀的一個臂上施加一個極性的電場，在另一個臂上施加相反極性的電場來實現(xiàn)的。

就像電容器一樣，電流僅在電荷積累時流動。一旦有足夠的電荷來提供所需強度的電場，就不再有電流流動，因此就不再需要能量。這很重要，因為這意味著一旦你設置了要應用的乘數(shù)的值，并且隨后該值（神經(jīng)網(wǎng)絡計算中的“權重”）沒有變化，則不再需要能量。通過芯片的光流同樣不消耗能量。所以這里有一個非常有效的乘法系統(tǒng)，一個以光速運行的系統(tǒng)。

各種模擬計算機的缺點之一是它們可以執(zhí)行的計算精度有限。這也是Lightmatter芯片的一個缺點——你不能像使用數(shù)字電路那樣精確地指定數(shù)字。幸運的是，神經(jīng)網(wǎng)絡一旦經(jīng)過訓練就可以進行“推理”計算，不需要太多的分辨率。然而，神經(jīng)網(wǎng)絡是可以訓練的?！坝柧毿枰叩膭討B(tài)范圍；因此，我們專注于推理。”Lightmatter首席執(zhí)行官兼公司創(chuàng)始人之一 Nicholas Harris表示?！拔覀冇幸粋€8位等效系統(tǒng)?！?/p>

你或許會想，Lightmatter革命性的用于用光執(zhí)行神經(jīng)網(wǎng)絡計算的新設備在現(xiàn)階段只是一個實驗室原型，但這是錯誤的想法。該公司在生產(chǎn)一種實用的產(chǎn)品方面已經(jīng)走了相當長的路，它可以被添加到任何一個帶有PCI-Express插槽的服務器主板上，并立即編程開始進行神經(jīng)網(wǎng)絡推理計算。Harris說：“我們非常專注于使它看起來不像外星人的技術?！?他解釋說，“Lightmatter不僅內(nèi)置了這種硬件，還創(chuàng)建了必要的軟件工具鏈，以支持將其與標準神經(jīng)網(wǎng)絡框架（TensorFlow和PyTorch）一起使用。

Lightmatter預計將于2021年底投入生產(chǎn)，該公司的Mars設備也將投入商業(yè)生產(chǎn)。Harris說，該公司的芯片雖然很精密復雜，但產(chǎn)量很高，這在很大程度上是因為所涉及的納米光子組件與切割中所發(fā)現(xiàn)的相比并沒有那么小邊緣的電子設備。因此，保持高收益率和低價格的Mars設備應該不難與GPU競爭。

誰知道呢，也許其他公司，例如 Lightintelligence ， LightOn ， Optalysis 或 Fathom Computing ，屆時將推出他們自己的基于光的神經(jīng)網(wǎng)絡加速器卡。不過，Harris并不為此擔心 -- 我們遙遙領先。

原文標題：Lightmatter研發(fā)Mars芯片 能以光速執(zhí)行神經(jīng)網(wǎng)絡計算

文章出處：【微信公眾號：IEEE電氣電子工程師學會】歡迎添加關注！文章轉載請注明出處。