Gabor Angeli是Square公司的工程經(jīng)理及團(tuán)隊(duì)成員，他曾發(fā)表過(guò)一篇論文，內(nèi)容是關(guān)于如何將AI助手打造成一個(gè)能夠和對(duì)話者產(chǎn)生共鳴的聽(tīng)眾。文章中描述了一種AI模型，這種模型通過(guò)印證式傾聽(tīng)（reflective listening）技術(shù)來(lái)使機(jī)器達(dá)到類(lèi)人的表現(xiàn)。所謂印證式傾聽(tīng)（reflective listening），指的是聽(tīng)眾能夠重述對(duì)方的請(qǐng)求，從而使對(duì)方知道自己的需求被其聽(tīng)到了。

如今，他的團(tuán)隊(duì)正在努力將Square Assistant從一個(gè)虛擬調(diào)度器擴(kuò)展成為一個(gè)能夠驅(qū)動(dòng)公司所有產(chǎn)品的會(huì)話式AI引擎。

Angeli說(shuō)：“在買(mǎi)家和賣(mài)家之間有一個(gè)巨大的對(duì)話空間，我們可以而且應(yīng)該幫助人們，為他們?cè)谶@一空間領(lǐng)域提供指引?！?Angeli將在GTC Digital（現(xiàn)在可以免費(fèi)注冊(cè)）演講中介紹此項(xiàng)工作。

Square以其時(shí)尚的支付終端而聞名，它為小企業(yè)提供多種服務(wù)，從處理工資單到建立忠誠(chéng)計(jì)劃等。

靈感起源

十多年前，一位加州大學(xué)伯克利分校（UC Berkeley）教授的AI課程點(diǎn)燃了Angeli對(duì)自然語(yǔ)言處理領(lǐng)域的興趣。他在大學(xué)的AI實(shí)驗(yàn)室開(kāi)始了對(duì)這一新興領(lǐng)域的研究，并最終與伙伴共同創(chuàng)立了Eloquent公司，這是一家NLP初創(chuàng)公司，于去年5月被Square收購(gòu)。

六個(gè)月后，Square Assistant作為一個(gè)虛擬調(diào)度器誕生了。

Angeli說(shuō)：“我們想做出能夠快速呈現(xiàn)在顧客面前的，更好的產(chǎn)品。我們正在為Square Assistant 添加更多高級(jí)功能，我們的目標(biāo)是使其能夠驅(qū)動(dòng)我們所提供的全部功能?！?/p>

從目前情況看來(lái)，這種期待是有望實(shí)現(xiàn)的。Square Assistant可以理解75%的客戶問(wèn)題并為其提供幫助，而且它可以將沒(méi)有預(yù)約的問(wèn)題減少10%。

但是為了讓NLP真正成為大家街頭巷尾所討論的熱門(mén)話題，這個(gè)團(tuán)隊(duì)還面臨著棘手的語(yǔ)言和技術(shù)挑戰(zhàn)。例如，如何理解“下個(gè)星期六”，其指的是這周的星期六，還是下周的星期六？

更重要的是，這其中有一個(gè)常見(jiàn)的關(guān)于客戶查詢的長(zhǎng)尾問(wèn)題。隨著Square Assistant的工作描述從幾十個(gè)任務(wù)擴(kuò)展到幾千個(gè)任務(wù)，其神經(jīng)網(wǎng)絡(luò)模型也將隨之?dāng)U大，這意味著它需要更多的訓(xùn)練。

“看到BERT能夠做到一些我們認(rèn)為不可能的事情，比如顯示閱讀理解的AI，真是令人興奮，我驚訝于這竟然是可能實(shí)現(xiàn)的。但這些規(guī)模巨大模型對(duì)模型訓(xùn)練和部署的時(shí)長(zhǎng)提出了挑戰(zhàn)?！?/p>

GPU加速推理、訓(xùn)練

在Eloquent 時(shí)期，Angeli的團(tuán)隊(duì)使用配置了單卡NVIDIA GPU的臺(tái)式機(jī)運(yùn)行CUDA。在加入Square后，團(tuán)隊(duì)轉(zhuǎn)而使用帶有雙卡GPU的臺(tái)式機(jī)，并使用運(yùn)行于AWS云服務(wù)之上的GPU進(jìn)行超大型參數(shù)訓(xùn)練。

在測(cè)試中，Square發(fā)現(xiàn)，對(duì)于一般大小的模型來(lái)說(shuō)，在GPU上運(yùn)行推理作業(yè)，其運(yùn)行速度是CPU的2倍。而對(duì)于如RoBERTa這樣的大型模型來(lái)說(shuō)，在AWS GPU服務(wù)上運(yùn)行推理的速度比CPU快10倍。

他在報(bào)告中表示，訓(xùn)練工作的性能差別“更為明顯”?！皼](méi)有GPU，很難訓(xùn)練現(xiàn)代機(jī)器學(xué)習(xí)模型。如果我們必須在CPU上進(jìn)行深度學(xué)習(xí)，那么我們將落后其他人10年，”他補(bǔ)充說(shuō)。

他說(shuō)，更快的訓(xùn)練也能夠鼓勵(lì)A(yù)I開(kāi)發(fā)者們更頻繁地迭代設(shè)計(jì)，從而得到更好的模型。

他的團(tuán)隊(duì)混合使用了小型、中型和大型NLP模型，運(yùn)用預(yù)訓(xùn)練技巧，證明了它們?cè)?a href="http://m.makelele.cn/v/tag/3744/" target="_blank">計(jì)算機(jī)視覺(jué)應(yīng)用程序中的價(jià)值。他相信，從長(zhǎng)遠(yuǎn)角度來(lái)看，工程師們將會(huì)發(fā)現(xiàn)通用模型能夠很好地處理各類(lèi)任務(wù)。

同時(shí)需要強(qiáng)調(diào)的是，開(kāi)發(fā)會(huì)話式AI是一場(chǎng)需要相互配合的“兩人三足賽跑”，即需要有像Angeli團(tuán)隊(duì)這樣的開(kāi)發(fā)者團(tuán)隊(duì)設(shè)計(jì)出高效的模型，還需要有GPU架構(gòu)師們?cè)O(shè)計(jì)更強(qiáng)大的芯片。

正如Angeli所說(shuō)的：“要完成這項(xiàng)工作，一半的努力在于算法設(shè)計(jì)，而另一半的努力則在于需要NVIDIA制造更適合機(jī)器學(xué)習(xí)的硬件，運(yùn)行更大規(guī)模的模型?！?/p>