在過去的十年中,圍繞人工智能的突破,投資和企業(yè)家活動的爆炸式增長完全由深度學(xué)習(xí)驅(qū)動,深度學(xué)習(xí)是一種復(fù)雜的統(tǒng)計(jì)分析技術(shù),用于發(fā)現(xiàn)大量數(shù)據(jù)中的隱藏模式。1955年創(chuàng)造的一個術(shù)語(人工智能)被應(yīng)用到(或錯誤地應(yīng)用到了)深度學(xué)習(xí),這是一種訓(xùn)練計(jì)算機(jī)執(zhí)行某些任務(wù)的方法的更高級版本- 機(jī)器學(xué)習(xí),這個術(shù)語是在1959年創(chuàng)造的。
深度學(xué)習(xí)的最新成功是由于大量數(shù)據(jù)(大數(shù)據(jù))的可用性增加以及圖形處理單元(GPU)的出現(xiàn),顯著增加了用于訓(xùn)練計(jì)算機(jī)的數(shù)據(jù)的廣度和深度,并減少了所需的時間用于訓(xùn)練深度學(xué)習(xí)算法。
“大數(shù)據(jù)”一詞最早出現(xiàn)在1997年10月由Michael Cox和David Ellsworth撰寫的計(jì)算機(jī)科學(xué)文獻(xiàn)中,該文章發(fā)表在IEEE第八屆可視化會議論文集中,“ 針對核心外可視化的應(yīng)用程序控制的需求分頁 ” 。他們寫道:“可視化給計(jì)算機(jī)系統(tǒng)帶來了一個有趣的挑戰(zhàn):數(shù)據(jù)集通常很大,這給主內(nèi)存,本地磁盤甚至遠(yuǎn)程磁盤的容量增加了負(fù)擔(dān)。我們稱此為大數(shù)據(jù)問題 。當(dāng)數(shù)據(jù)集不能容納在主存儲器(核心)中,或者甚至不能容納在本地磁盤中時,最常見的解決方案是獲取更多資源?!痹撔g(shù)語在學(xué)術(shù)界之外也曾使用過。
SGI的創(chuàng)始人吉姆·克拉克(Jim Clark)于1974年在“計(jì)算機(jī)圖形之父”伊萬·薩瑟蘭(Ivan Sutherland)的指導(dǎo)下在猶他大學(xué)完成了博士學(xué)位論文??死撕髞韯?chuàng)立了Netscape Communications,其成功的網(wǎng)絡(luò)瀏覽器和1995年的IPO引發(fā)了“互聯(lián)網(wǎng)熱潮”。蒂姆·伯納斯·李(Tim Berners-Lee)在1989年發(fā)明了網(wǎng)絡(luò),并成功地使全世界數(shù)十億人成為數(shù)字?jǐn)?shù)據(jù)的消費(fèi)者和創(chuàng)造者,這為數(shù)十億廣泛共享的數(shù)字圖像(例如,將貓的照片識別為一只貓”)。
2007年, 普林斯頓大學(xué)的計(jì)算機(jī)科學(xué)家Fei-Fei Li和她的同事開始組裝ImageNet,ImageNet是一個帶注釋的圖像的大型數(shù)據(jù)庫,旨在幫助視覺對象識別軟件研究。五年后,即2012年10月,由多倫多大學(xué)研究人員設(shè)計(jì)的深度學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)在ImageNet大規(guī)模視覺識別挑戰(zhàn)賽中的錯誤率僅達(dá)到16%,大大超過了25%的錯誤率。一年前最好的進(jìn)入,預(yù)示著“人工智能”的興起。
大數(shù)據(jù)確實(shí)很大。 RJT Morris和BJ Truskowski在“ 存儲系統(tǒng)的發(fā)展 ”一書中說,在1996年,數(shù)字存儲在存儲數(shù)據(jù)方面比在紙上更具成本效益。在2002年,數(shù)字信息存儲首次超過了非數(shù)字存儲。根據(jù)馬丁·希爾伯特(Martin Hilbert)和普里西拉·洛佩茲(Priscila Lopez)的“世界存儲,通信和計(jì)算信息的技術(shù)能力 ”,在1986年至2007年之間,世界的信息存儲能力以每年25%的復(fù)合年增長率增長。他們還估計(jì), 1986年,所有存儲容量中有99.2%是模擬存儲,但在2007年,有94%的存儲容量是數(shù)字存儲,這完全顛倒了角色。
2000年10月,加州大學(xué)伯克利分校的Peter Lyman和Hal Varian發(fā)表了“ 多少信息?”,這是第一個以計(jì)算機(jī)存儲量來量化世界上每年創(chuàng)建的新信息和原始信息(不計(jì)算副本)總量的綜合研究。1999年,全世界產(chǎn)生了1.5艾字節(jié)的原始數(shù)據(jù)。2007年3月,John Gantz,David Reinsel和IDC的其他研究人員發(fā)布 了第一項(xiàng)研究, 以估計(jì)和預(yù)測每年創(chuàng)建和復(fù)制的數(shù)字?jǐn)?shù)據(jù)的數(shù)量-2006年為161艾字節(jié),據(jù)估計(jì),該數(shù)字將增加六倍,達(dá)到988艾字節(jié)。 2010年,或每18個月翻一番。
信息爆炸(根據(jù)牛津英語詞典的說法,該術(shù)語在1941年首次使用)已經(jīng)變成了大型數(shù)字?jǐn)?shù)據(jù)爆炸。但是,可用數(shù)據(jù)的數(shù)量只是使深度學(xué)習(xí)成功的兩個催化劑之一。另一個是GPU。
雖然深度學(xué)習(xí)算法的開發(fā)及其實(shí)際應(yīng)用在1980年代和1990年代穩(wěn)步發(fā)展,但它們受到計(jì)算機(jī)能力不足的限制。1986年10月,David Rumelhart,Geoffrey Hinton和Ronald Williams出版了“ 通過反向傳播錯誤學(xué)習(xí)表示法 ”,其中描述了“一種新的學(xué)習(xí)過程,即反向傳播,用于神經(jīng)元樣單元網(wǎng)絡(luò),”是一個概念性突破。在深度學(xué)習(xí)的發(fā)展中。三年后,Yann LeCun和AT&T貝爾實(shí)驗(yàn)室的其他研究人員成功地應(yīng)用了反向傳播算法到多層神經(jīng)網(wǎng)絡(luò),識別手寫的郵政編碼。但是鑒于當(dāng)時的硬件限制,培訓(xùn)網(wǎng)絡(luò)大約花了3天的時間(與以前的工作相比有很大的改進(jìn))。
大數(shù)據(jù)誕生的計(jì)算機(jī)圖形學(xué)得以拯救。到1990年代,實(shí)時3D圖形在街機(jī),計(jì)算機(jī)和游戲機(jī)游戲中變得越來越普遍,導(dǎo)致對硬件加速3D圖形的需求增加。索尼在1994年推出家用視頻游戲機(jī)PS1時,首先將GPU一詞稱為 “幾何處理單元”。
視頻游戲渲染需要快速并行執(zhí)行許多操作。圖形卡具有較高的并行度和較高的內(nèi)存帶寬,但相對于傳統(tǒng)CPU而言,其時鐘速度較低且分支能力較低。碰巧,在人工神經(jīng)網(wǎng)絡(luò)上運(yùn)行的深度學(xué)習(xí)算法需要類似的特性-并行性,高內(nèi)存帶寬,無分支。
到2000年代末,許多研究人員已經(jīng)證明了GPU在深度學(xué)習(xí)(特別是對于人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練)中的實(shí)用性。由新的編程語言(如NVIDIA的CUDA)支持的通用GPU已應(yīng)用于各種深度學(xué)習(xí)任務(wù)。此類應(yīng)用程序中最明顯的是上述2012年ImageNet挑戰(zhàn)賽的冠軍。
2020年3月18日,計(jì)算機(jī)技術(shù)協(xié)會(ACM)將Patrick M.(Pat)Hanrahan和Edwin E.(Ed)Catmull提名為2019 ACM AM圖靈獎的獲得者,以表彰其對3D計(jì)算機(jī)圖形學(xué)的基本貢獻(xiàn),以及這些技術(shù)對電影制作和其他應(yīng)用中的計(jì)算機(jī)生成圖像(CGI)產(chǎn)生了革命性的影響。
根據(jù)ACM新聞稿,今天,“ 3-D計(jì)算機(jī)動畫電影代表了在價值1380億美元的全球電影行業(yè)中廣受歡迎的類型。3-D計(jì)算機(jī)圖像對于蓬勃發(fā)展的視頻游戲行業(yè)以及新興的虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)領(lǐng)域也至關(guān)重要。Catmull和Hanrahan做出了開創(chuàng)性的技術(shù)貢獻(xiàn),這些貢獻(xiàn)仍然是當(dāng)今CGI圖像開發(fā)方式不可或缺的部分。此外,他們對編程圖形處理單元(GPU)的見解不僅對計(jì)算機(jī)圖形學(xué)產(chǎn)生了影響,還影響了包括數(shù)據(jù)中心管理和人工智能在內(nèi)的各個領(lǐng)域。”
像吉姆·克拉克(Jim Clark)一樣,卡特姆(Catmull)是伊萬·薩瑟蘭(Ivan Sutherland)的學(xué)生,并于1974年獲得猶他大學(xué)的博士學(xué)位。正如羅伯特·里夫林(Robert Rivlin)在1986年的著作《算法圖像:計(jì)算機(jī)時代的圖形視覺》中所寫的那樣,“現(xiàn)代計(jì)算機(jī)中幾乎每個有影響力的人圖形社區(qū)要么通過了猶他大學(xué),要么以某種方式與之接觸?!?/p>
在2010年對 Pat Hanrahan的采訪中,Catmull描述了U U工作環(huán)境:
“戴夫·埃文斯(Dave Evans)是該系主任,伊萬(Ivan)在教書,但他們的公司埃文斯(Evans)和薩瑟蘭(Sutherland)花費(fèi)了所有多余的時間。這些學(xué)生幾乎是獨(dú)立的,這是我真正的肯定,因?yàn)閷W(xué)生必須自己做一些事情。我們期望創(chuàng)造原創(chuàng)作品。我們處于前沿,我們的工作是擴(kuò)展它。他們基本上說:“您可以每隔一段時間與我們聯(lián)系,我們將與您聯(lián)系,但我們將關(guān)閉這家公司?!?/p>
我認(rèn)為效果很好!它建立了相互支持,共同工作的環(huán)境?!?/p>
在同一討論的稍后部分,Hanrahan說:
“當(dāng)我第一次對研究生院的圖形感興趣時,我聽說過要制作完整的計(jì)算機(jī)生成圖片的要求。當(dāng)時,我對人工智能非常感興趣,因?yàn)槿斯ぶ悄芫哂袌D靈測試和模仿思維的想法。我認(rèn)為制作計(jì)算機(jī)生成圖片的想法是對人的思維進(jìn)行建模的先驅(qū),或者至少與之類似,因?yàn)槟仨殞φ麄€虛擬世界進(jìn)行建模,并且必須在該世界中擁有人-如果虛擬世界和其中的人們看起來并不聰明,那么該世界將無法通過圖靈測試,因此看起來似乎不太合理。
我想我很聰明,以為我們一生中實(shí)際上無法建立人類智力模型。因此,我對圖形感興趣的原因之一是我認(rèn)為它具有良好的長期職業(yè)發(fā)展?jié)摿Α!?/p>
-
人工智能
+關(guān)注
關(guān)注
1817文章
50098瀏覽量
265402 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5599瀏覽量
124398
發(fā)布評論請先 登錄
人工智能與機(jī)器學(xué)習(xí)在這些行業(yè)的深度應(yīng)用
主線科技入選“人工智能+”創(chuàng)新應(yīng)用實(shí)踐案例
機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中需避免的 7 個常見錯誤與局限性
航天宏圖人工智能技術(shù)深度賦能社會治理現(xiàn)代化
人工智能深度學(xué)習(xí)的成功
評論