(文章來源:讀芯術)
深度學習已經(jīng)改變了我們處理數(shù)據(jù)的方式,通過使用日益增長的計算“廉價”資源(摩爾定律)來解決現(xiàn)實世界問題,并且能夠完成一些人腦幾乎毫不費力就能完成的認知任務,例如圖像分類,自然語言處理,視頻處理等等。
但這些任務具有的大多數(shù)數(shù)據(jù)和結構通常是在歐幾里得空間中表示的。然而,我們目睹了越來越多的問題,這些問題生成的數(shù)據(jù)來自非歐幾里得域,它們更適合被表示為具有復雜關系和對象之間相互依賴關系的圖。圖數(shù)據(jù)的復雜性給經(jīng)典ML算法和現(xiàn)代DL算法帶來了重大挑戰(zhàn)。近來出現(xiàn)了許多擴展DL方法使之用于圖數(shù)據(jù)的研究。
花點時間想像一下,如果我們收集了所有“獲批”藥物或一般藥物的結構,并訓練一個GNN來學習藥物的分子模式/結構,它會學會識別在此處或太空中發(fā)現(xiàn)的分子是不是藥物。我相信結果可能相當令人驚訝,并且能幫助我們發(fā)現(xiàn)或重新發(fā)現(xiàn)可以治愈如今被認為無法治愈的疾病的藥物。如果考慮大多數(shù)疾病甚至死亡本身都可以看作是技術問題。那么為什么有些生物可以活幾百年而有些只能活幾十年?我們可以無限延長壽命嗎?
GNNs與對應的DL算法具有相似的屬性,它能夠進行回歸,分類,為空節(jié)點和邊生成數(shù)據(jù),以及許多尚待發(fā)現(xiàn)的功能。該領域仍處于起步階段,誰也不知道幾年內我們能做些什么,以及用從現(xiàn)在開始的幾千篇論文做些什么。對我來說,最有趣的是推薦以及醫(yī)療領域的應用,其中醫(yī)療領域為no.1。
如今,圖可能是不規(guī)則的,一張圖可能具有可變數(shù)目的無序節(jié)點,并且圖中節(jié)點可能具有不同數(shù)量的鄰居,從而導致一些在圖像領域中易于計算的重要的操作(例如卷積),很難應用于圖域。此外,現(xiàn)有機器學習算法的核心假設是實體相互獨立。該假設不再適用于圖數(shù)據(jù),因為每個實體(節(jié)點)通過各種類別的鏈接(例如引文,好友和交互)與其他實體(節(jié)點)相關聯(lián)。但這不是障礙,因為最近我們看到人們對擴展或者應該說是移植深度學習算法到圖領域(尤其是設計來用于圖數(shù)據(jù))的興趣日益濃厚。
卷積神經(jīng)網(wǎng)絡(ConvNets)不在本文討論范圍之內。循環(huán)圖神經(jīng)網(wǎng)絡(RecGNNs)大多是圖神經(jīng)網(wǎng)絡的開創(chuàng)性作品。RecGNN旨在學習具有循環(huán)神經(jīng)架構的節(jié)點表示。它們假設圖中的節(jié)點不斷與其鄰居交換信息/消息,直到達到穩(wěn)定的平衡。RecGNNs在理論上很重要,它啟發(fā)了后來對卷積圖神經(jīng)網(wǎng)絡的研究。特別地,消息傳遞的思想被基于空間的卷積圖神經(jīng)網(wǎng)絡所繼承。
卷積圖神經(jīng)網(wǎng)絡(ConvGNNs)將卷積運算從網(wǎng)格數(shù)據(jù)推廣到了圖形數(shù)據(jù)。主要思想是通過聚合節(jié)點自身的特征和鄰居的特征來生成節(jié)點的表示,其中。與RecGNNs不同,ConvGNNs堆疊多個圖卷積層以提取高級節(jié)點表示。ConvGNNs在建立許多其它的復雜GNN模型中起著核心作用。圖2a展示了用于節(jié)點分類的ConvGNN。圖2b展示了用于圖分類的ConvGNN。
圖自動編碼器(GAEs)是無監(jiān)督的學習框架,可將節(jié)點/圖編碼到潛在的矢量空間中,并通過編碼后的信息重建圖數(shù)據(jù)。GAEs用于學習網(wǎng)絡嵌入和圖生成分布。對于網(wǎng)絡嵌入,GAEs通過重建圖結構信息(例如圖鄰接矩陣)來學習潛在節(jié)點表示。對于圖生成,某些方法逐步生成圖的節(jié)點和邊,而其他方法則一次全部輸出圖形。圖2c展示了一個用于網(wǎng)絡嵌入的GAE。
時空圖神經(jīng)網(wǎng)絡(STGNNs)旨在從時空圖中學習隱藏的模式,這種模式在各種應用中變得越來越重要,例如交通速度預測,駕駛員操縱預期和人類動作識別。STGNNs的關鍵思想是同時考慮空間依賴性和時間依賴性。許多當前的方法將用來捕獲空間依賴性的圖卷積和用來對時間依賴性進行建模的RNNs或CN
圖分類旨在預測整個圖的類標簽??梢酝ㄟ^圖卷積層,圖池層和/或讀出層的組合來實現(xiàn)此任務的端到端學習。圖卷積層負責精確的高級節(jié)點表示,而圖池化層則充當下采樣的角色,從而每次將每個圖都粗化為子結構。讀出層將每個圖的節(jié)點表示折疊為圖表示。通過將多層感知器和softmax層應用于圖表示,我們可以構建用于圖分類的端到端框架。在圖2b中給出了一個例子。
當圖中沒有可用的類標簽時,可以在端到端框架中以完全無監(jiān)督的方式學習圖嵌入。這些算法以兩種方式利用邊級信息。一種簡單的方法是采用自動編碼器框架,其編碼器使用圖卷積層將圖嵌入到潛在表示中,在其上使用解碼器來重構圖結構。另一種流行的方法是利用負采樣方法,該方法將一部分節(jié)點對采樣為負對,而圖中具有鏈接的現(xiàn)有節(jié)點對為正對。然后應用邏輯回歸層來區(qū)分正對和負對。
(責任編輯:fqj)
-
神經(jīng)網(wǎng)絡
+關注
關注
42文章
4838瀏覽量
107915 -
深度學習
+關注
關注
73文章
5599瀏覽量
124456
發(fā)布評論請先 登錄
神經(jīng)網(wǎng)絡的初步認識
CNN卷積神經(jīng)網(wǎng)絡設計原理及在MCU200T上仿真測試
NMSIS神經(jīng)網(wǎng)絡庫使用介紹
構建CNN網(wǎng)絡模型并優(yōu)化的一般化建議
在Ubuntu20.04系統(tǒng)中訓練神經(jīng)網(wǎng)絡模型的一些經(jīng)驗
CICC2033神經(jīng)網(wǎng)絡部署相關操作
液態(tài)神經(jīng)網(wǎng)絡(LNN):時間連續(xù)性與動態(tài)適應性的神經(jīng)網(wǎng)絡
神經(jīng)網(wǎng)絡的并行計算與加速技術
如何在機器視覺中部署深度學習神經(jīng)網(wǎng)絡
基于神經(jīng)網(wǎng)絡的數(shù)字預失真模型解決方案
無刷電機小波神經(jīng)網(wǎng)絡轉子位置檢測方法的研究
神經(jīng)網(wǎng)絡專家系統(tǒng)在電機故障診斷中的應用
神經(jīng)網(wǎng)絡RAS在異步電機轉速估計中的仿真研究
基于FPGA搭建神經(jīng)網(wǎng)絡的步驟解析
在實踐應用中極具潛力的圖神經(jīng)網(wǎng)絡(GNNs)
評論