搜狗AI進(jìn)化之路：從應(yīng)用為王，到顛覆式創(chuàng)新

5月25日，成都，“高曉松”聲音響徹會(huì)場(chǎng)，歡迎聽眾參會(huì)：

大家好，歡迎來(lái)到極客公園2019年現(xiàn)場(chǎng)和大家一起分享人和機(jī)器的共創(chuàng)未來(lái)。

但實(shí)際站在舞臺(tái)中央的人，卻是王小川。

王小川，搜狗CEO，成都七中知名校友，中國(guó)互聯(lián)網(wǎng)進(jìn)程里最知名的川娃子，中學(xué)時(shí)代就打響了IT天才名氣，后來(lái)又在歷史際會(huì)創(chuàng)造出一方天地。

現(xiàn)在，因一場(chǎng)活動(dòng)，王小川帶著一項(xiàng)全球領(lǐng)先的技術(shù)再次回到成都，沒錯(cuò)，就是那一聲“高曉松”的歡迎。

因?yàn)樗诿朊腌娊?jīng)過手機(jī)App前，還是王小川的原聲。

搜狗“變聲”，顛覆性進(jìn)展

通過計(jì)算機(jī)合成某一個(gè)人的“聲音”，自然在AI江湖里算不上什么。

但如果真正實(shí)現(xiàn)“千人千聲”也能瞬間“遷移”，并且在小小手機(jī)上實(shí)現(xiàn)，那確實(shí)得豎大拇指。

因?yàn)槿駻I第一大廠，Google，也還沒做到。

就在一年一度亮肌肉的Google I/O上，也有“變聲”方面的進(jìn)展演示，但體現(xiàn)的是一種語(yǔ)料輸入到另一種語(yǔ)料輸出的“平行遷移”。

更AI的方式來(lái)說(shuō)，one to one，從指定A到指定B.

但像王小川展示，無(wú)論說(shuō)話者是誰(shuí)，無(wú)論說(shuō)什么，不用考慮說(shuō)話人的特點(diǎn)（如王小川的“川普”），最后能夠?qū)ⅰ叭我庹f(shuō)話人”音色實(shí)時(shí)高逼真度變換到“指定說(shuō)話人”音色，則是 Any to one.

該過程中，不光是輸入輸出兩端的映射關(guān)系變化，更是技術(shù)實(shí)現(xiàn)難度上指數(shù)級(jí)提升。

因?yàn)楹诵膯栴}在于，每一個(gè)人的音調(diào)、音色和語(yǔ)言節(jié)奏都不盡相同，正如同世上沒有兩片相同的樹葉一樣，世上也沒有兩個(gè)完全相同的說(shuō)話人。

如何將“千人千聲”通過技術(shù)處理，變?yōu)橥环N指定聲音，同時(shí)還不丟失原說(shuō)話人的語(yǔ)言習(xí)慣？

離不開展現(xiàn)真正技術(shù)的語(yǔ)音表征學(xué)習(xí)和遷移學(xué)習(xí)的突破，簡(jiǎn)要來(lái)說(shuō)三步：

首先，使用表征學(xué)習(xí)技術(shù)學(xué)習(xí)到源端說(shuō)話人語(yǔ)音的音色、內(nèi)容和韻律(講話節(jié)奏、情感語(yǔ)氣等信息)三大特征。

其次，將學(xué)習(xí)到的源端說(shuō)話人音色特征替換成目標(biāo)說(shuō)話人。

最后，基于新的語(yǔ)音變聲技術(shù)，使用內(nèi)容(源端)、韻律(源端)、音色(目標(biāo)端)三類特征，合成最終生成變聲音頻。

所以大會(huì)現(xiàn)場(chǎng)，王小川的“說(shuō)”到高曉松的“聲”，實(shí)際經(jīng)歷了這樣的過程。

然而，這樣一短句，實(shí)現(xiàn)背后也有數(shù)千層深度學(xué)習(xí)網(wǎng)絡(luò)的努力。

如表征學(xué)習(xí)使用，上圖所示，A部分對(duì)目標(biāo)音色語(yǔ)料進(jìn)行聲紋特征編碼，提取說(shuō)話人的音色embedding。

B和C分別從輸入音頻中學(xué)習(xí)內(nèi)容和韻律embedding，通過“說(shuō)話人歸一化”模塊對(duì)內(nèi)容embedding進(jìn)行統(tǒng)一規(guī)整，去除音色信息，通過對(duì)音頻特征的壓縮編碼及特征抽取，學(xué)習(xí)表征韻律的風(fēng)格特征。

而語(yǔ)音變聲，基于表征學(xué)習(xí)得到的特征，通過Attention和Decoder模塊進(jìn)行加權(quán)特征編碼，并利用WaveRNN神經(jīng)網(wǎng)絡(luò)聲碼器恢復(fù)成波形，最終得到帶有目標(biāo)音色的音頻。

當(dāng)然，最具現(xiàn)實(shí)意義也最具技術(shù)挑戰(zhàn)的還是落地。

這也是搜狗突破稱得上顛覆性的原因這是全球首次將如此難度的變聲能力落實(shí)到消費(fèi)級(jí)產(chǎn)品中。

并且還不是自家用軟件專門定義打造的終端硬件，而是融會(huì)貫通到小小“搜狗輸入法”App中。

通過App，無(wú)論安卓還是iOS，無(wú)論什么品牌、何種價(jià)位的手機(jī)，都能實(shí)現(xiàn)“變聲”，實(shí)時(shí)遷移成“表情語(yǔ)音包”。

未來(lái)應(yīng)用自然不止于此。

語(yǔ)音屆的“換臉”術(shù)

之前，Deepfakes帶動(dòng)的“換臉”已經(jīng)實(shí)現(xiàn)了風(fēng)靡，嗶哩嗶哩就出現(xiàn)了不少楊冪主演的《射雕英雄傳》，惟妙惟肖，真假難辨。

但相比換臉的道德問題和法律危機(jī)，“變聲”卻能立竿見影創(chuàng)造價(jià)值。

凡有音頻處，皆能讓AI變聲發(fā)揮效用。

比如在線教育、景點(diǎn)導(dǎo)游、電商廣告等等場(chǎng)景的音頻制作。

一個(gè)有口音的老師，一個(gè)普通話不標(biāo)準(zhǔn)的地方導(dǎo)游，以及各種流量奶生。

特別是實(shí)力待豐的流量偶像們，雇傭一個(gè)熟練掌握“換臉”和“變聲”技術(shù)的AI團(tuán)隊(duì)，就完全能靠臉吃飯，人在家中坐，錢源源不斷來(lái)。

總之，只要有音頻的需求，變聲就能降低成本、提高效率。

王小川還想借此應(yīng)用表明，我們正在身處一個(gè)怎樣的技術(shù)時(shí)代。

跟技術(shù)結(jié)合，人類才能更強(qiáng)大。不要狂妄心懷碾壓排斥，而是接受技術(shù)的變革和改造，成為新人類，真正人與機(jī)器協(xié)同，變得更強(qiáng)大，創(chuàng)造更迷人的未來(lái)。

搜狗CEO毫無(wú)疑問想推動(dòng)這樣的未來(lái)。

AlphaGo洗禮，搜狗進(jìn)化

在活動(dòng)上，王小川也再次從AlphaGo講起。

他認(rèn)為這是這個(gè)時(shí)代的文藝復(fù)興、啟蒙運(yùn)動(dòng)，讓我們開始換另外的世界觀看待技術(shù)和未來(lái)。

對(duì)于他自己，這種進(jìn)化更是顯著。

在AlphaGo期間，他就是“機(jī)器必勝”的篤定支持者。而AlphaGo獲勝后，搜狗CEO更是直接為此開辟了一天“狗勝節(jié)”的帶薪假。

很多人都說(shuō)搜狗會(huì)借勢(shì)，但少有人了解王小川的遺憾。

因?yàn)樵贏lphaGo宣布挑戰(zhàn)李世石之時(shí)，王小川就感嘆過，搜狗內(nèi)部其實(shí)也認(rèn)真討論過深度學(xué)習(xí)下圍棋的可能性和可行性。

但后來(lái)不少工程師認(rèn)為需要太多資源、小公司更該務(wù)實(shí)……最終沒有真正展開，直到AlphaGo在Nature上的論文發(fā)表，才慨嘆思路和技術(shù)所見略同。

這讓搜狗CEO學(xué)到一課：光有務(wù)實(shí)主義不夠，工程師也得展現(xiàn)出敢想敢上的“浪漫主義”那一面。

所以“狗勝節(jié)”與其說(shuō)是慶祝，不如說(shuō)警醒。

這也是搜狗蛻變和進(jìn)化的開始。

之前搜狗是產(chǎn)品力突出的形象，從瀏覽器、搜索到輸入法，江湖享有名氣，特別是輸入法，在國(guó)內(nèi)堪稱“國(guó)民應(yīng)用”。

但現(xiàn)在，搜狗的旗幟也越來(lái)越多出現(xiàn)在全球AI的“華山論劍”中。

全球CoQA機(jī)器閱讀理解大賽奪冠；

世界MegaFace百萬(wàn)級(jí)人臉識(shí)別競(jìng)賽中奪冠；

WMT2017機(jī)器翻譯頂級(jí)評(píng)測(cè)大賽中英和英中第一；

國(guó)際頂級(jí)口語(yǔ)機(jī)器翻譯大賽IWSLT決賽第一；

《基于模態(tài)注意力的端到端音視覺語(yǔ)音識(shí)別》中標(biāo)國(guó)際頂級(jí)學(xué)術(shù)會(huì)議ICASSP；

此外，還有人工智能應(yīng)用領(lǐng)域的引領(lǐng)性創(chuàng)新。

比如全球首個(gè)AI合成主播上崗新華社、CCTV，以及剛剛?cè)〉猛黄频摹扒饲暋弊兟暵涞剌斎敕ā?/p>

還需要提及的是，這只不過王小川和搜狗將自己的技術(shù)底色更鮮明地亮出來(lái)而已。

對(duì)于技術(shù)、AI的投入，更早之前就能從兩件公益大于其他的“投資”事件中窺見一斑。

清華學(xué)子的年度AI“華山論劍”智能體大賽，創(chuàng)辦21年的搜狗連續(xù)贊助15年，至今都是王小川必會(huì)參加的活動(dòng)。

另一件也跟清華有關(guān)。2016年，搜狗向清華捐資1.8億元用于成立“清華大學(xué)天工智能計(jì)算研究院”，集中研究AI等前沿領(lǐng)域技術(shù)。

值得一提的是，最近發(fā)表于全球頂會(huì)的端到端音視覺語(yǔ)音識(shí)別論文，正是搜狗和清華天工研究院的聯(lián)手之作。

中國(guó)AI創(chuàng)新縮影

最后，也是時(shí)候借搜狗重新認(rèn)知中國(guó)AI的發(fā)展現(xiàn)狀和未來(lái)了。

談?wù)撝袊?guó)AI的時(shí)候，恐怕你依然會(huì)有這樣的印象：中國(guó)應(yīng)用有優(yōu)勢(shì)，但基礎(chǔ)研究方面差距太大。

但從搜狗“變聲”突破和應(yīng)用來(lái)看，一種越來(lái)越明顯的趨勢(shì)正在展現(xiàn)。

圖靈獎(jiǎng)唯一華人得主、清華姚班創(chuàng)始人姚期智教授更是有準(zhǔn)確概況，在接受《人民日?qǐng)?bào)》采訪時(shí)，姚院士這樣說(shuō)：

中國(guó)的人工智能在應(yīng)用上絕對(duì)是杰出的，相對(duì)來(lái)講對(duì)于算法基礎(chǔ)研究沒有那么強(qiáng)，但是對(duì)于這個(gè)問題從長(zhǎng)期的觀點(diǎn)來(lái)看，我還是相當(dāng)樂觀的。

姚期智教授認(rèn)為，AI正在變得熱門，受到越來(lái)越多重視，也有越來(lái)越人才投身其中，基礎(chǔ)算法和理論研究也都被更集中攻堅(jiān)。

我覺得我們現(xiàn)在沒那么強(qiáng)，但是以后的幾年我們能夠追上。

所以結(jié)合王小川和搜狗的種種努力及其結(jié)果，姚期智教授之言，并非單純樂觀而已。

雖要戒驕戒躁，但也沒必要妄自菲保

如今局勢(shì)，我們希望更多創(chuàng)新誕生，既要有信心、也要給耐心，同時(shí)也要給予更多關(guān)注，不吝給每一次突破獻(xiàn)上掌聲。