牛津大學的一個團隊從巴甫洛夫的狗中汲取靈感，設計了一個基于光子學的神經(jīng)網(wǎng)絡。

受 19 世紀初巴甫洛夫經(jīng)典條件反射實驗的啟發(fā)，牛津大學的研究人員最近創(chuàng)造了一種片上光學處理器，它可能為人工智能 (AI) 和機器學習 (ML) 的前所未有的進步打開大門。

片上硬件的監(jiān)督學習。圖片由Optica和 Tan 等人提供

牛津聲稱其新系統(tǒng)提供了先進的數(shù)據(jù)集相似性檢測。與在電子處理器和傳統(tǒng)神經(jīng)網(wǎng)絡上運行的傳統(tǒng)機器學習算法不同，Oxford 的系統(tǒng)在無反向傳播的光子網(wǎng)絡上運行，并利用了巴甫洛夫聯(lián)想學習。

在巴甫洛夫的狗身上尋找靈感

經(jīng)典條件反射是關聯(lián)兩種感覺刺激以實現(xiàn)相同反應的過程。這個過程包括感覺和運動神經(jīng)元。當感覺神經(jīng)元接收到感覺信號時，運動神經(jīng)元會產生感覺密集的動作。

Ivan Pavlov 在 1900 年代初發(fā)現(xiàn)了這個概念，他觀察到，當他通過教狗將鈴鐺的聲音與食物聯(lián)系起來時，他可以通過按鈴來誘導狗流涎。聯(lián)想學習過程將刺激s 2（即鈴聲）與自然刺激s 1（即食物的視覺或氣味）相關聯(lián)，以觸發(fā)狗的相同反應（即流涎）。

巴甫洛夫聯(lián)想學習。圖片由Optica和 Tan 等人提供

牛津大學的研究人員將這一概念應用于簡化的神經(jīng)回路，具有兩個關鍵作用：1）收斂并關聯(lián)兩個輸入；2）存儲這些關聯(lián)的記憶以供以后參考。這項研究的核心是一種稱為聯(lián)想單子學習元素（AMLE）的東西。AMLE 包括一個設備，可以有效地執(zhí)行經(jīng)典條件反射的基本聯(lián)想學習過程，以推進 AI/ML。

關于聯(lián)想一元學習元素

AMLE 將相變材料薄膜與兩個耦合波導集成以實現(xiàn)聯(lián)想學習。該材料（Ge 2 Sb 2 Te 5 (GST)）有效地調制波導之間的耦合。GST 以兩種狀態(tài)存在，非晶態(tài)或晶態(tài)，影響波導之間的耦合量。

在結晶狀態(tài)下，刺激s 1和s 2沒有顯示任何形式的關聯(lián)。然而，刺激（或輸入）在它們同時到達時開始關聯(lián)，從而導致非晶化 GST。GST 越多異形化，刺激s 1和s 2關聯(lián)的越多，導致幾乎無法區(qū)分的輸出，稱為學習閾值。AMLE 使用光子關聯(lián)學習來提供一個獨特的機器學習框架，以解決一般學習任務。

AMLE學習前后的電場分布。圖片由Optica和 Tan 等人提供

AMLE 消除了反向傳播，提高了計算速度

傳統(tǒng)的神經(jīng)網(wǎng)絡密集型 AI 系統(tǒng)在學習過程中需要大量數(shù)據(jù)集，這導致處理和計算成本增加。這些傳統(tǒng)的神經(jīng)網(wǎng)絡利用反向傳播來實現(xiàn)高精度的人工智能學習。

根據(jù)牛津大學的說法，AMLE 消除了反向傳播的需要，使用記憶材料來學習模式并關聯(lián)數(shù)據(jù)集中的相似特征。無反向傳播技術可加快 AI/ML 模型訓練。例如，雖然傳統(tǒng)的基于神經(jīng)網(wǎng)絡的 AI 系統(tǒng)在使用多達 10,000 個兔子/非兔子圖像訓練其模型后識別兔子，但無反向傳播技術 (AMLE) 可以通過五個兔子/非兔子圖像對獲得類似的結果顯著降低處理和計算成本。

AMLE 還利用波分復用來提高計算速度。此功能允許 AMLE 在各種基于單通道的波長上發(fā)送多個光信號，從而消除反向傳播。AMLE 使用光來發(fā)送和接收數(shù)據(jù)，這一過程稱為并行信號處理，從而產生更高的信息密度和更快的模式識別速度。

AMLE 研究的合著者鄭教授表示，雖然這種新開發(fā)的設計不能完全替代傳統(tǒng)的神經(jīng)網(wǎng)絡，但它可以補充它們。在大量和更簡單的數(shù)據(jù)集學習任務中，AMLE 設備顯著加快了光學處理速度。

在光子平臺上構建 AMLE

牛津大學的研究人員在光子平臺上實施了 AMLE。使用該平臺，該團隊展示了無反向傳播的單層權重人工神經(jīng)網(wǎng)絡架構的可行性和有效性。

研究人員觀察到，如果輸入以已經(jīng)建立的光學延遲同時應用，則關聯(lián)兩個不同的輸入可以產生相似的輸出。這些輸入之間的關聯(lián)可以允許關聯(lián)多個數(shù)據(jù)流，包括單個元素上的各種波長——特別是在沒有光信號干擾的情況下。

根據(jù)牛津大學的說法，這項研究可能會為下一代機器學習算法和架構創(chuàng)新設定優(yōu)先級。

審核編輯 黃昊宇