幾十年來(lái)，機(jī)器一直在努力學(xué)習(xí)人類(lèi)語(yǔ)言的微妙之處，深度學(xué)習(xí)的出現(xiàn)加速了這一進(jìn)程。

今年2月，OpenAI發(fā)布了一款令人印象深刻的語(yǔ)言模型GPT-2，它可以寫(xiě)短篇小說(shuō)、詩(shī)歌，甚至輕松辨別《哈利波特》和《指環(huán)王》中的角色。最近，一位加拿大工程師用它創(chuàng)建了一個(gè)向公眾開(kāi)放的文本生成器，只需提供一個(gè)句子，機(jī)器便能自動(dòng)生成一則完整的新聞、故事、歌詞、詩(shī)歌、食譜和代碼等文本。

我們用吳亦凡在綜藝節(jié)目《七十二層奇樓》中的一段freestyle（即興說(shuō)唱）——“你看這個(gè)面它又長(zhǎng)又寬，就像這個(gè)碗它又大又圓”進(jìn)行了創(chuàng)作。一起來(lái)看看人工智能的freestyle水平吧。

芒果TV綜藝《七十二層奇樓》

人工智能版《大碗寬面》

這個(gè)名為talktotransformer的文本生成器由加拿大工程師亞當(dāng)·金（Adam King）創(chuàng)建，它脫胎于OpenAI的大規(guī)模無(wú)監(jiān)督語(yǔ)言模型GPT-2。talktotransformer使用的是GPT-2的精簡(jiǎn)版本，這個(gè)版本過(guò)去只開(kāi)放給特定的科學(xué)家和記者。

在talktotransformer中輸入文本“你看這個(gè)面它又長(zhǎng)又寬，就像這個(gè)碗它又大又圓”后，人工智能創(chuàng)作出的歌詞大意為：

你看這個(gè)面它又長(zhǎng)又寬，

就像這個(gè)碗它又大又圓。

只需嘗一口，你就知道是面條。

我的臉上，露出懷疑的表情。

這是真的，我的碗它變成了面條。

這簡(jiǎn)直太棒了。

當(dāng)我回到家，我得到一些雞翅。

我怎么會(huì)變得這么好？誰(shuí)知道呢？

我從朋友和家人那里得到足夠的愛(ài)，

我的味蕾開(kāi)始變大。

當(dāng)我要吃飯的時(shí)候，

它不再只是食物，它是我的想法。

我想要吃好喝好的生活。

talktotransformer模型的輸出結(jié)果

通過(guò)閱讀上述由人工智能模型輸出的文字，我們很容易發(fā)現(xiàn)，機(jī)器輸出了一些看似語(yǔ)義完整的句子，但其中的意思卻讓人摸不著頭腦。這就是自然語(yǔ)言處理（NLP）的難題——由于缺乏常識(shí)，機(jī)器并不真正理解語(yǔ)言的含義。

就如2018年圖靈獎(jiǎng)獲得者約書(shū)亞·本吉奧（Yoshua Bengio）在接受澎湃新聞（www.thepaper.cn）采訪時(shí)所言，目前的自然語(yǔ)言系統(tǒng)其實(shí)并不理解句子的真正含義，機(jī)器“會(huì)犯一些非常愚蠢的錯(cuò)誤，甚至沒(méi)有兩歲小孩的理解能力”。

talktotransformer.com頁(yè)面

文思泉涌的OpenAI GPT-2語(yǔ)言模型

2019年2月，OpenAI發(fā)布了擁有15億參數(shù)的大規(guī)模無(wú)監(jiān)督語(yǔ)言模型GPT-2，它擅長(zhǎng)處理語(yǔ)言建模和文本預(yù)測(cè)任務(wù)，還具備閱讀理解、總結(jié)、翻譯等能力。只要給出一個(gè)開(kāi)頭的句子，GPT-2就能生成一篇小文章、一則新聞故事，甚至在文本中使用引語(yǔ)和統(tǒng)計(jì)數(shù)據(jù)。如果給出的句子是一個(gè)短篇小說(shuō)的開(kāi)頭，它會(huì)告訴你接下來(lái)在這些角色身上會(huì)發(fā)生什么事。

OpenAI加利福尼亞州實(shí)驗(yàn)室工程副總裁David Luan對(duì)美國(guó)科技媒體《邊緣》（THE VERGE）表示，GPT-2能寫(xiě)出“非常合理的”、“稱職的”論文，“是可以提交給美國(guó)大學(xué)入學(xué)資格考試（SAT）并取得好成績(jī)的東西”。

GPT-2在人工智能社區(qū)引起了不小的關(guān)注，但OpenAI當(dāng)時(shí)并沒(méi)有開(kāi)源這個(gè)系統(tǒng)。一方面，研究人員對(duì)該算法能做什么、不能做什么尚不明確；另一方面，他們擔(dān)心這項(xiàng)技術(shù)被濫用——開(kāi)源之后，如果有人向GPT-2提供種族主義、暴力、歧視女性或者辱罵性的文本，GPT-2將自動(dòng)學(xué)習(xí)并持續(xù)地輸入類(lèi)似的內(nèi)容。

不開(kāi)源的決定引發(fā)了人工智能社區(qū)的不滿，畢竟，開(kāi)源是人工智能領(lǐng)域的優(yōu)良傳統(tǒng)。也許是反對(duì)的聲音太大，OpenAI在5月初表示將逐步公開(kāi)GPT-2，并開(kāi)源了345M的預(yù)訓(xùn)練模型。后續(xù)，OpenAI將分析該語(yǔ)言模型對(duì)社會(huì)的影響。