目前，大多數(shù)用于深度學(xué)習(xí)的構(gòu)建塊、技術(shù)和體系結(jié)構(gòu)都是基于實(shí)值操作和表示的。然而，最近對(duì)遞歸神經(jīng)網(wǎng)絡(luò)和舊的基本理論分析的研究表明，復(fù)數(shù)可能具有更豐富的表示能力，也可能促進(jìn)噪聲魯棒記憶檢索機(jī)制。盡管復(fù)雜值深層神經(jīng)網(wǎng)絡(luò)具有吸引人的特性和開發(fā)全新神經(jīng)架構(gòu)的潛力，但由于缺乏設(shè)計(jì)此類模型所需的構(gòu)建塊，因此它們已被邊緣化。在這項(xiàng)工作中，我們?yōu)閺?fù)值深層神經(jīng)網(wǎng)絡(luò)提供了關(guān)鍵的原子成分，并將其應(yīng)用于卷積前饋網(wǎng)絡(luò)和卷積LSTM。更準(zhǔn)確地說，我們依靠復(fù)雜卷積和現(xiàn)有算法實(shí)現(xiàn)復(fù)雜的批處理規(guī)范化、復(fù)雜值神經(jīng)網(wǎng)絡(luò)的復(fù)雜權(quán)重初始化策略，并將它們用于端到端訓(xùn)練方案的實(shí)驗(yàn)。我們證明了這種復(fù)雜價(jià)值模型與現(xiàn)實(shí)價(jià)值模型具有競(jìng)爭(zhēng)性。我們?cè)趲讉€(gè)計(jì)算機(jī)視覺任務(wù)、使用MusicNet數(shù)據(jù)集的音樂轉(zhuǎn)錄和使用Timit數(shù)據(jù)集的語音頻譜預(yù)測(cè)上測(cè)試了深層復(fù)雜模型。我們?cè)谶@些與音頻相關(guān)的任務(wù)上實(shí)現(xiàn)了最先進(jìn)的性能。

?

　　最近的研究進(jìn)展在解決學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)的困難方面取得了重大進(jìn)展。關(guān)鍵創(chuàng)新包括標(biāo)準(zhǔn)化技術(shù)（IOffe和Szegedy，2015年；Salimans和Kingma，2016年）和基于門控的前饋神經(jīng)網(wǎng)絡(luò)（如公路網(wǎng)絡(luò)）的出現(xiàn)（srivastava等人，2015年）。剩余網(wǎng)絡(luò)（He等人，2015a；2016年）已經(jīng)成為一個(gè)最流行和最有效的訓(xùn)練非常深的卷積神經(jīng)網(wǎng)絡(luò)（CNN）的策略之一。公路網(wǎng)絡(luò)和剩余網(wǎng)絡(luò)都通過為較低的網(wǎng)絡(luò)層提供容易的梯度流的快捷路徑，從而減少了效率，從而促進(jìn)了深層網(wǎng)絡(luò)的訓(xùn)練。消失梯度的ECTS（Hochreiter，1991年）。He等人（2016）表明學(xué)習(xí)層的顯式殘差有助于避免消失梯度問題，為網(wǎng)絡(luò)提供了一個(gè)更容易的優(yōu)化問題。批量規(guī)范化（IOffe和Szegedy，2015年）表明，通過小批量標(biāo)準(zhǔn)化網(wǎng)絡(luò)中中間層的激活可以作為一個(gè)強(qiáng)大的正則化器，并提供更快的訓(xùn)練和更好的收斂特性。此外，這種標(biāo)準(zhǔn)化層輸出的技術(shù)在深層體系結(jié)構(gòu)中由于漸變問題的消失和爆炸而變得至關(guān)重要。

　　基于復(fù)數(shù)的表示的作用已經(jīng)開始受到越來越多的關(guān)注，因?yàn)樗鼈冇锌赡軐?shí)現(xiàn)更簡(jiǎn)單的優(yōu)化（Nitta，2002年）、更好的泛化特征（Hirose和Yoshida，2012年）、更快的學(xué)習(xí)（Arjovsky等人，2015年；DaniheLka等人，2016年；Wistom等人，2016年），以及考慮噪聲魯棒記憶機(jī)制（Danielka等人，2016年）。Wistom等人。（2016）和Arjovsky等人（2015）表明，在遞歸神經(jīng)網(wǎng)絡(luò)（RNN）中使用復(fù)數(shù)可以使網(wǎng)絡(luò)具有更豐富的表示能力。Danielka等人（2016）提出了一個(gè)LSTM（Hochreiter和Schmidhuber，1997）體系結(jié)構(gòu)，該體系結(jié)構(gòu)增加了具有復(fù)雜值內(nèi)部表示的關(guān)聯(lián)內(nèi)存。他們的工作強(qiáng)調(diào)了在檢索和插入關(guān)聯(lián)內(nèi)存時(shí)使用復(fù)雜值表示的優(yōu)點(diǎn)。在殘差網(wǎng)絡(luò)中，每個(gè)塊的輸出都被加到通過求和而累積的輸出歷史中，直到該點(diǎn)為止。一個(gè)有效的檢索機(jī)制可以幫助提取有用的信息并在塊內(nèi)進(jìn)行處理。

　　為了充分利用復(fù)雜表示的優(yōu)點(diǎn)，我們提出了一個(gè)復(fù)雜值深神經(jīng)網(wǎng)絡(luò)構(gòu)造組件的一般公式，并將其應(yīng)用于前饋卷積網(wǎng)絡(luò)和卷積LSTM的上下文中。我們?cè)诒疚闹械呢暙I(xiàn)如下：

　　1.第3.5節(jié)中描述的復(fù)雜批次標(biāo)準(zhǔn)化的公式；

　　2.復(fù)雜重量初始化，見第3.6節(jié)；

　　3.比較第4.1節(jié)中介紹的不同的基于復(fù)值RELU的激活函數(shù)；

　　4.第4.2節(jié)介紹的MusicNet多樂器音樂轉(zhuǎn)錄數(shù)據(jù)集的最新成果；

　　5.第4.3節(jié)中介紹了TIMIT數(shù)據(jù)集語音頻譜預(yù)測(cè)任務(wù)的最新成果。

　　我們對(duì)我們的深層復(fù)雜網(wǎng)絡(luò)進(jìn)行了健全性檢查，并在標(biāo)準(zhǔn)圖像分類基準(zhǔn)（特別是CIFAR-10、CIFAR-100）上證明了其有效性。我們還使用了一組簡(jiǎn)化的svhn，我們稱之為svhn*。對(duì)于與音頻相關(guān)的任務(wù)，我們?cè)贛usicNet數(shù)據(jù)集上執(zhí)行音樂轉(zhuǎn)錄任務(wù)，在Timit上執(zhí)行語音頻譜預(yù)測(cè)任務(wù)。對(duì)視覺分類任務(wù)的研究結(jié)果表明，學(xué)習(xí)復(fù)雜值表示可以獲得與實(shí)際值體系結(jié)構(gòu)相競(jìng)爭(zhēng)的性能。我們?cè)谝魳忿D(zhuǎn)錄和語音頻譜預(yù)測(cè)方面的有希望的結(jié)果強(qiáng)調(diào)了深復(fù)值神經(jīng)網(wǎng)絡(luò)應(yīng)用于聲學(xué)相關(guān)任務(wù)的潛力1–我們繼續(xù)討論使用復(fù)雜操作和相關(guān)工作的動(dòng)機(jī)。
?