來自幾個(gè)物理和地質(zhì)實(shí)驗(yàn)室的研究人員已經(jīng)開發(fā)了深度仿真器網(wǎng)絡(luò)搜索（DENSE），這是一種使用深度學(xué)習(xí)在從高能物理到氣候科學(xué)等各個(gè)領(lǐng)域進(jìn)行科學(xué)模擬的技術(shù)。與以前的模擬器相比，DENSE的結(jié)果使速度提高了1000萬到20億倍。

科學(xué)家在arXiv上發(fā)表的一篇論文中描述了他們的技術(shù)和一些實(shí)驗(yàn)。由于需要有效地生成神經(jīng)網(wǎng)絡(luò)仿真器 來代替較慢的仿真，該團(tuán)隊(duì)開發(fā)了一種神經(jīng)搜索方法和一種新穎的可生成卷積神經(jīng)網(wǎng)絡(luò)（CNN）的超體系結(jié)構(gòu)。選擇CNN的原因是，它們?cè)诖罅俊白匀弧?a target="_blank">信號(hào)上表現(xiàn)良好，而這些信號(hào)是許多科學(xué)模型的領(lǐng)域。使用標(biāo)準(zhǔn)的模擬器程序來為CNN生成訓(xùn)練和測(cè)試數(shù)據(jù)，并且根據(jù)該團(tuán)隊(duì)。

科學(xué)家經(jīng)常使用模擬 -數(shù)學(xué)模型的計(jì)算機(jī)實(shí)現(xiàn)-來檢驗(yàn)新思想并探索自然系統(tǒng)的潛在行為。由于這些仿真是理論模型的實(shí)現(xiàn)，因此即使在現(xiàn)代計(jì)算機(jī)硬件上，它們也可能運(yùn)行非常緩慢。例如， 全球氣候模型可能要花費(fèi)數(shù)千個(gè)CPU小時(shí)。加速模擬器可以使研究人員嘗試許多想法，并已顯示出有望作為改進(jìn)藥物發(fā)現(xiàn)或改進(jìn)和優(yōu)化昂貴的血漿和融合實(shí)驗(yàn)的一種方法。

對(duì)于科學(xué)家僅對(duì)模型輸出感興趣而不對(duì)內(nèi)部模型狀態(tài)感興趣的情況，仿真器可以提供答案。仿真器是一種程序，可以模擬給定輸入的仿真器輸出，但無需準(zhǔn)確地對(duì)系統(tǒng)的內(nèi)部狀態(tài)建模。

通過使用速度較慢的模擬器生成許多輸入/輸出示例，科學(xué)家可以訓(xùn)練出比模擬器運(yùn)行速度快得多的神經(jīng)網(wǎng)絡(luò)模擬器。面臨的挑戰(zhàn)是為模擬器找到最適合訓(xùn)練數(shù)據(jù)的適當(dāng)神經(jīng)網(wǎng)絡(luò)架構(gòu)。

為了解決這個(gè)問題，研究團(tuán)隊(duì)開發(fā)了一種神經(jīng)架構(gòu)搜索（NAS），稱為深度仿真器網(wǎng)絡(luò)搜索（DENSE）。首先，團(tuán)隊(duì)定義了一個(gè)網(wǎng)絡(luò)超級(jí)架構(gòu) 這限制了算法的搜索空間。

超級(jí)架構(gòu)是節(jié)點(diǎn)圖;第一個(gè)節(jié)點(diǎn)代表輸入，最后一個(gè)節(jié)點(diǎn)代表輸出;之間的兩個(gè)以上的節(jié)點(diǎn)代表隱藏網(wǎng)絡(luò)層的激活輸出。

節(jié)點(diǎn)通過操作組進(jìn)行連接，這些操作組包括各種內(nèi)核大小的CNN層，標(biāo)識(shí)層（或“跳過連接”）以及將其輸入乘以零的零層。從該超級(jí)架構(gòu)空間中采樣候選網(wǎng)絡(luò)并對(duì)其進(jìn)行訓(xùn)練。然后，通過在未驗(yàn)證的數(shù)據(jù)集上運(yùn)行候選人來對(duì)候選人進(jìn)行排名，以找到表現(xiàn)最佳的網(wǎng)絡(luò)。