疫情中的深度學(xué)習(xí)領(lǐng)域又有大動(dòng)作。

3月25日下午，曠視科技舉辦線上發(fā)布會(huì)，宣布其自主研發(fā)、全員使用的AI生產(chǎn)力套件Brain++的核心深度學(xué)習(xí)框架——天元（MegEngine）開(kāi)源。

回溯2017年，AlphaGo與柯潔的圍棋大戰(zhàn)讓人嘆為觀止，也點(diǎn)燃了不少科研人員對(duì)AI的研發(fā)熱情，其中，支撐AlphaGo運(yùn)轉(zhuǎn)的底層技術(shù)框架是谷歌的TensorFlow。但其實(shí)，早在2014年，曠視就已經(jīng)著手開(kāi)始研發(fā)其深度學(xué)習(xí)框架MegEngine，在過(guò)去5年內(nèi)，這套深度學(xué)習(xí)框架被曠視全員使用，也支撐起了整個(gè)曠視的科研及產(chǎn)品化進(jìn)程。

現(xiàn)在，這套深度學(xué)習(xí)框架終于開(kāi)源啦！這也是本月繼清華Jittor之后，又一個(gè)開(kāi)源的國(guó)產(chǎn)深度學(xué)習(xí)框架。

作為曠視絕對(duì)招牌之一，MegEngine是什么，有何特點(diǎn)？在曠視的發(fā)展歷程中，它做出了哪些貢獻(xiàn)，文摘菌在這里為你一網(wǎng)打盡~

AI時(shí)代的三位一體生產(chǎn)力平臺(tái)

開(kāi)源發(fā)布會(huì)上，曠視聯(lián)合創(chuàng)始人、首席技術(shù)官唐文斌用廚房來(lái)做比喻，解釋曠視的三位一體生產(chǎn)力平臺(tái)——Brain++。

唐文斌介紹道，AI系統(tǒng)存在兩大基礎(chǔ)設(shè)施，芯片平臺(tái)和AI生產(chǎn)力平臺(tái)，后者涉及到數(shù)據(jù)、算法、算力等多方面問(wèn)題。

什么是AI生產(chǎn)力平臺(tái)，它就像是一道美食，需要原材料、一口好鍋和一灶猛火共同烹飪炒出，以Brain++為例，數(shù)據(jù)、算法、算力分別就代表了材料、鍋和猛火，今天就是這口“鍋”亮相的時(shí)候。

天元MegEngine深度學(xué)習(xí)框架官方網(wǎng)站：

https://megengine.org.cn/

簡(jiǎn)單回想一下人工智能發(fā)展初期，想要訓(xùn)練出一個(gè)AI模型，至少需要一兩個(gè)月，而且開(kāi)發(fā)者要通過(guò)手敲代碼完成計(jì)算過(guò)程，深度學(xué)習(xí)社區(qū)基本上被TensorFlow和PyTorch壟斷。因此為了快速進(jìn)行算法實(shí)驗(yàn)，落地實(shí)際工業(yè)場(chǎng)景，我們需要的是一個(gè)具有高性能、可復(fù)用和能靈活迭代的AI算法平臺(tái)，要打造這個(gè)平臺(tái)，就必須從計(jì)算性能，平臺(tái)易用性，滿足真實(shí)業(yè)務(wù)場(chǎng)景需求等各個(gè)方面進(jìn)行考量。

曠視Brain++就是這樣的一個(gè)系統(tǒng)，天元就是其中核心模塊，唐文斌說(shuō)，“天元”取圍棋盤(pán)上的中心點(diǎn)之意，就是要做到訓(xùn)練推理一體化、兼容并包、靈活高效。

自2014年研發(fā)，2015年正式投入使用，如今曠視所有產(chǎn)品都使用了天元框架，整個(gè)過(guò)程可謂是來(lái)之不易。

今天天元開(kāi)源代碼共35萬(wàn)行，包括78%C++，17%CUDA，5%Python。唐文斌大方地承認(rèn)道，今天發(fā)布的是Alpha版本，6月份會(huì)發(fā)布Beta版本，9月份發(fā)布正式版本。

他也很誠(chéng)懇地表示，“所有程序員都知道，一個(gè)代碼自己用和拿出來(lái)和別人分享的差距有多大?！币虼讼Ｍ懈嗳藢?duì)這一發(fā)布版本給出批評(píng)建議，共建更好的產(chǎn)品。九月份推出正式版本，即日起向企業(yè)開(kāi)發(fā)。

發(fā)布會(huì)上也公布了代碼的托管地址，感興趣的同學(xué)不妨一試。

GitHub地址：

https://github.com/MegEngine/MegEngine

訓(xùn)練和推理一體化，適配不同框架接口

據(jù)介紹，天元系統(tǒng)共分為五個(gè)層次：計(jì)算接口，圖表示、優(yōu)化與翻譯、運(yùn)行時(shí)管理、計(jì)算內(nèi)核。

可以從圖中看到，天元支持Python和C++接口，支持靜態(tài)圖和動(dòng)態(tài)圖表達(dá)，也支持自動(dòng)求導(dǎo)器、圖優(yōu)化、圖編譯。

傳統(tǒng)的訓(xùn)練框架和推理框架是分開(kāi)進(jìn)行的，也就是說(shuō)，系統(tǒng)要先經(jīng)過(guò)訓(xùn)練再接受新的格式，在推理框架上適配不同的場(chǎng)景，但是在兩者轉(zhuǎn)化過(guò)程中會(huì)遇到算子無(wú)法支持、手工無(wú)法優(yōu)化、大量冗余算子等多種問(wèn)題。

天元系統(tǒng)的訓(xùn)練和推理是一體的，因此無(wú)需進(jìn)行模型轉(zhuǎn)換，同時(shí)，系統(tǒng)內(nèi)部?jī)?nèi)置有模型優(yōu)化，可以有效降低手工優(yōu)化的誤差，精度和速度都能得到保證。

靜態(tài)圖和動(dòng)態(tài)圖之爭(zhēng)也就是TensorFlow和PyTotch之爭(zhēng)，但是兩種框架真的不得兼得嗎？天元給出的答案是，可以。動(dòng)靜合一就是天元的做法，從結(jié)果上看，使用靜態(tài)圖提速約5%-20%。

在學(xué)術(shù)界和工業(yè)界都會(huì)遇到框架接口不同引起的各種適配問(wèn)題，天元在此也提出了解決方案，那就是兼容并包。天元采用了Pythonic風(fēng)格API，可以很自然地被用戶接受，函數(shù)的命名也尊重了以往的傳統(tǒng)，可以直接導(dǎo)入PyTotch Module，方便模型復(fù)現(xiàn)和實(shí)驗(yàn)。

在生產(chǎn)環(huán)境上，天元也做到了“靈活高效”，不僅在許多算法上都取得了領(lǐng)先的性能，在與其他框架進(jìn)行對(duì)比時(shí)速度也完全不輸，同時(shí)，天元還關(guān)注到了顯存和片上內(nèi)存的節(jié)省，天元系統(tǒng)在保證不影響速度的前提下實(shí)現(xiàn)了20倍以上的內(nèi)存減少。

三大特點(diǎn)：“訓(xùn)得好”、“訓(xùn)得快”、“訓(xùn)得動(dòng)”

在發(fā)布會(huì)上，曠視首席科學(xué)家孫劍表示，“天元就像我們的孩子”，他也就其三大特點(diǎn)進(jìn)行了介紹，包括框架與算法協(xié)同、高效訓(xùn)練系統(tǒng)、大規(guī)模能力，用大白話來(lái)說(shuō)就是“訓(xùn)得好”、“訓(xùn)得快”、“訓(xùn)得動(dòng)”。

孫劍表示，由于當(dāng)前計(jì)算平臺(tái)的特性差異比較大，無(wú)法用一種網(wǎng)絡(luò)滿足所有需求。

天元通過(guò)快速的算子算法開(kāi)發(fā)，靈活高效的算子支持，Jit自動(dòng)算子融合三方面，實(shí)現(xiàn)了端上的高性能，在自測(cè)和第三方測(cè)試中都取得了不錯(cuò)的成績(jī)。目前也已經(jīng)配備至國(guó)產(chǎn)智能手機(jī)中，加速手機(jī)的智能化。

在介紹第二個(gè)優(yōu)點(diǎn)之前，孫劍提到，在計(jì)算機(jī)視覺(jué)挑戰(zhàn)賽COCO中，曠視已經(jīng)實(shí)現(xiàn)了三連冠，能取得這樣的成績(jī)，除了優(yōu)秀的研究員、對(duì)比賽的理解，曠視天元系統(tǒng)功不可沒(méi)。

曠視天元系統(tǒng)能夠通過(guò)多機(jī)訓(xùn)練提速16倍，加速了創(chuàng)新周期，并且精度更高，而且也是第一次實(shí)現(xiàn)了從框架上支持超大mini-Batch訓(xùn)練，種種優(yōu)點(diǎn)集中后，研究人員就可以在相同的比賽時(shí)間內(nèi)測(cè)試更多的想法。

在Object365之后，孫劍表示，Object365 V2也在今天開(kāi)放給大家，Object365 V2可以說(shuō)是世界上最大的物體檢測(cè)數(shù)據(jù)集，配備了365種常見(jiàn)物體，2百萬(wàn)張圖像，2.8千萬(wàn)個(gè)人工標(biāo)注，是COCO比賽數(shù)據(jù)集的16倍大。

面對(duì)如此龐大的數(shù)據(jù)集，孫劍表示，曠視天元完全“訓(xùn)得動(dòng)”，高校加速比的多機(jī)訓(xùn)練、底顯存消耗、亞線性顯存節(jié)省技術(shù)、MegRay通訊框架、高效數(shù)據(jù)編碼傳輸，這些特點(diǎn)都使得天元系統(tǒng)能夠訓(xùn)練出一個(gè)精度更高速度更快的模型。

除了上述三個(gè)特點(diǎn)，孫劍讓大家試想，1400多名研發(fā)人員共享高效計(jì)算資源是怎樣的場(chǎng)景。

他說(shuō)，共享時(shí)每個(gè)研發(fā)人員都有一份獨(dú)有的交互式訓(xùn)練模式，能夠讓每個(gè)人隨時(shí)停下來(lái)調(diào)試，不僅如此，系統(tǒng)還支持多人同時(shí)在線訓(xùn)練、數(shù)據(jù)自動(dòng)預(yù)加載，自動(dòng)閑置資源利用、計(jì)算配額管理，這些功能的實(shí)現(xiàn)，也都是要得益于曠視Brain++。

對(duì)于Brain++，用此前曠視聯(lián)合創(chuàng)始人唐文斌的話說(shuō)就是，Brain++的“目標(biāo)是讓研發(fā)人員獲得從數(shù)據(jù)到算法產(chǎn)業(yè)化的綜合技術(shù)能力，不用重復(fù)造輪子也可以推進(jìn)AI快速落地。Brain++還引入了AutoML技術(shù)，可以讓算法來(lái)訓(xùn)練算法，讓AI來(lái)創(chuàng)造AI”。

發(fā)布會(huì)上，曠視云服務(wù)業(yè)務(wù)副總裁趙立威就曠視Brain++進(jìn)行了更深層的介紹。

具體來(lái)說(shuō)，Brain++的架構(gòu)分為三部分，核心模塊就是最新開(kāi)源的深度學(xué)習(xí)算法開(kāi)發(fā)框架天元（MegEngine），其次是提供算力調(diào)度支持的深度學(xué)習(xí)云計(jì)算平臺(tái)MegCompute，以及用于提供數(shù)據(jù)服務(wù)和管理的數(shù)據(jù)管理平臺(tái)MegData。

他說(shuō)道，AI加速著各行各業(yè)的創(chuàng)新進(jìn)程，但是在AI具體落地過(guò)程中馬太效應(yīng)還是比較明顯的。其中，以企業(yè)為例，企業(yè)在應(yīng)用AI時(shí)遇到了不少共性問(wèn)題，比如對(duì)數(shù)據(jù)的利用、數(shù)據(jù)隱私、模型效果、難以保證使用方法在生產(chǎn)過(guò)程中的精度和性能需求等等。

曠視Brain++也正是基于解決這些問(wèn)題提出，趙立威介紹道，在框架基礎(chǔ)上，曠視研究院提出“三位一體”概念，融合數(shù)據(jù)和算力平臺(tái)，構(gòu)建出集“算法、數(shù)據(jù)和算力”于一體的AI生產(chǎn)力套件Brain++，自動(dòng)化、規(guī)模化、集約化生產(chǎn)算法，在Brain++的驅(qū)動(dòng)下一一成為現(xiàn)實(shí)。

要讓AI真正助力到具體行業(yè)種，去賦能傳統(tǒng)行業(yè)，達(dá)到商業(yè)創(chuàng)新的目標(biāo)，趙立威在最后也向大家分享了三個(gè)通過(guò)使用曠視Brain++成功的案例，并表示，“你也可以擁有專屬的Brain++平臺(tái)”。

在這里，文摘菌也為大家簡(jiǎn)單總結(jié)一下，Brain++的核心模塊MegEngine，也就是天元系統(tǒng)，是以C++為基礎(chǔ)，和其他框架使用異構(gòu)架構(gòu)的框架不同，MegEngine使用了計(jì)算圖方式，進(jìn)行分布式計(jì)算更為便捷。同時(shí)，MegEngine引入了曠視獨(dú)家AutoML技術(shù)，訓(xùn)練一次，就能得到整個(gè)模型空間的刻畫(huà)，降低了人力成本，也大幅提高開(kāi)發(fā)效率。

天元系統(tǒng)可實(shí)現(xiàn)訓(xùn)練、部署一體化，能夠支撐大規(guī)模視覺(jué)方向的算法研發(fā)，具體又分為計(jì)算引擎、運(yùn)行時(shí)管理、編譯和優(yōu)化以及編程和表示四個(gè)方面。

本次發(fā)布會(huì)上，眾多AI界大咖也紛紛送上祝福，中國(guó)工程院院士高文表示，深度學(xué)習(xí)是目前AI能夠掀起全球科研熱潮的重要原因之一，而另一個(gè)則是采取了開(kāi)源開(kāi)放的措施，曠視這次的開(kāi)源是“一件值得祝賀的事”，也是“一件重要的事”。

中國(guó)科學(xué)院院士姚期智也表示，AI現(xiàn)在的地位就和過(guò)去數(shù)學(xué)和物理的地位很像，如何發(fā)展AI，這需要從兩個(gè)角度考慮，一個(gè)是人才培養(yǎng)，一個(gè)是研究創(chuàng)新，其中，前者呼吁具有豐富交叉學(xué)科背景的人才，清華也在重點(diǎn)培養(yǎng)，包括開(kāi)設(shè)智班和姚班，以及編纂AI教材，后者則需要產(chǎn)學(xué)研的結(jié)合，曠視Brain++正是工程化的代表。

國(guó)產(chǎn)深度學(xué)習(xí)框架百花齊放！清華開(kāi)源首個(gè)國(guó)內(nèi)高校自研的深度學(xué)習(xí)框架Jittor

先于曠視，3月20日，清華大學(xué)開(kāi)發(fā)了名為Jittor的深度學(xué)習(xí)框架，這是首個(gè)國(guó)內(nèi)高校自研的深度學(xué)習(xí)框架，這一框架的開(kāi)源有望為深度學(xué)習(xí)社區(qū)提供新方案，推動(dòng)深度學(xué)習(xí)框架國(guó)產(chǎn)化。

根據(jù)官網(wǎng)介紹，Jittor是一個(gè)用元算子表達(dá)神經(jīng)網(wǎng)絡(luò)計(jì)算單元，并且完全基于動(dòng)態(tài)編譯的深度學(xué)習(xí)框架。根據(jù)官網(wǎng)的定義，“研究團(tuán)隊(duì)將神經(jīng)網(wǎng)絡(luò)所需的基本算子定義為元算子”，而Jittor的主要特性正是元算子和統(tǒng)一計(jì)算圖。

元算子非常底層，通過(guò)相互融合可以完成復(fù)雜的深度學(xué)習(xí)計(jì)算，體現(xiàn)出了易于使用的特點(diǎn)。研發(fā)團(tuán)隊(duì)表示，采用元算子的Jittor目前已經(jīng)超越了Numpy，可以完成更復(fù)雜高效的操作。

在統(tǒng)一計(jì)算圖方面，Jittor融合了靜態(tài)計(jì)算圖和動(dòng)態(tài)計(jì)算圖的優(yōu)點(diǎn)，在易于使用的同時(shí)，提供了高性能的優(yōu)化?；谠阕娱_(kāi)發(fā)的深度學(xué)習(xí)模型，可以被Jittor實(shí)時(shí)自動(dòng)優(yōu)化，并且運(yùn)行在指定如CPU、GPU的硬件上。

Jittor官網(wǎng)：

https://cg.cs.tsinghua.edu.cn/jittor/

GitHub地址：

https://github.com/Jittor/jittor

在設(shè)計(jì)理念上，Jittor保持著易用、靈活和及時(shí)的特點(diǎn)：

易用且可定制：用戶只需要數(shù)行代碼，就可定義新的算子和模型，在易用的同時(shí)，不喪失任何可定制性；

實(shí)現(xiàn)與優(yōu)化分離：用戶可以通過(guò)前端接口專注于實(shí)現(xiàn)，而實(shí)現(xiàn)自動(dòng)被后端優(yōu)化，從而提升前端代碼的可讀性，以及后端優(yōu)化的魯棒性和可重用性；

所有都是即時(shí)的：Jittor的所有代碼都是即時(shí)編譯并且運(yùn)行的，包括Jittor本身。用戶可以隨時(shí)對(duì)Jittor的所有代碼進(jìn)行修改，并且動(dòng)態(tài)運(yùn)行。

具體來(lái)說(shuō)，Jittor的7大新特點(diǎn)值得關(guān)注：

最近清華、曠視相繼開(kāi)源深度學(xué)習(xí)框架，再加上更早的開(kāi)源百度PaddlePaddle，而據(jù)了解，華為也即將開(kāi)源自己的深度學(xué)習(xí)框架，國(guó)產(chǎn)深度學(xué)習(xí)框架正在迎來(lái)發(fā)展高速期，希望借著這股東風(fēng)，能夠激發(fā)更多的人對(duì)AI領(lǐng)域的興趣，參與到國(guó)產(chǎn)AI的建設(shè)中。