今天我們來(lái)看 Mikolov 大佬 2016 年的另一大巨作——fastText。2013 年大佬在 Google 開源了 Word2Vec，2016 年剛就職于 FaceBook 就開源了 fastText，全都掀起了軒然大波。

fastText 模型有兩篇相關(guān)論文：

《Bag of Tricks for Efficient Text Classification》

《Enriching Word Vectors with Subword Information》

截至目前為止，第一篇有 1500 多引用量，第二篇有 2700 多引用量。

從這兩篇文的標(biāo)題我們可以看出來(lái) fastText 有兩大用途——文本分類和Word Embedding。

由于 fastText 模型比較簡(jiǎn)單，所以我們可以把兩篇論文放在一起看。

1. Introduction

fastText 提供了簡(jiǎn)單而高效的文本分類和 Word Embedding 方法，分類精度比肩深度學(xué)習(xí)而且速度快上幾個(gè)數(shù)量級(jí)。

舉個(gè)例子：使用標(biāo)準(zhǔn)的 CPU 可以在十分鐘的時(shí)間里訓(xùn)練超過(guò) 10 億個(gè)單詞，在不到一分鐘的時(shí)間里可以將 50 萬(wàn)個(gè)句子分到 31 萬(wàn)個(gè)類別中。

可以看到 fastText 的速度有多驚人。

2. fastText

fastText 之所以能做到速度快效果好主要是兩個(gè)原因：N-Gram 和 Hierarchical softmax。由于 Hierarchical softmax 在 Word2Vec 中已經(jīng)介紹過(guò)了，所以我們只介紹一下 N-gram。

2.1 N-gram

N-gram 是一種基于統(tǒng)計(jì)語(yǔ)言模型的算法，常用于 NLP 領(lǐng)域。其思想在于將文本內(nèi)容按照字節(jié)順序進(jìn)行大小為 N 的滑動(dòng)窗口操作，從而形成了長(zhǎng)度為 N 的字節(jié)片段序列，其片段我們稱為 gram。

以“谷歌是家好公司” 為例子：

二元 Bi-gram 特征為：谷歌 歌是 是家 家好 好公 公司

三元 Tri-gram 特征為：谷歌是 歌是家 是家好 家好公 好公司

當(dāng)然，我們可以用字粒度也可以用詞粒度。

例如：谷歌 是 家 好 公司二元 Bi-gram 特征為：谷歌是 是家 家好 好公司三元 Tri-gram 特征為：谷歌是家 是家好 家好公司

N-gram 產(chǎn)生的特征只是作為文本特征的候選集，后面還可以通過(guò)信息熵、卡方統(tǒng)計(jì)、IDF 等文本特征選擇方式篩選出比較重要的特征。

2.2 Embedding Model

這邊值得注意的是，fastText 是一個(gè)庫(kù)，而不是一個(gè)算法。類似于 Word2Vec 也只是一個(gè)工具，Skip-Gram 和 CBOW 才是其中的算法。

?

fastText is a library for efficient learning of word representations and sentence classification.

”

fastText 在 Skip-Gram 的基礎(chǔ)上實(shí)現(xiàn) Word Embedding，具體來(lái)說(shuō)：fastText 通過(guò) Skip-Gram 訓(xùn)練了字符級(jí)別 N-gram 的 Embedding，然后通過(guò)將其相加得到詞向量。

舉個(gè)例子：對(duì)于 “where” 這個(gè)單詞來(lái)說(shuō)，它的 Tri-gram 為：“”。由于字符串首尾會(huì)有符號(hào)，所以這里用 < 表示前綴， > 表示后綴。textFast 是對(duì) 這些 Tri-gram 進(jìn)行訓(xùn)練，然后將這 5 個(gè) tri-gram 的向量求和來(lái)表示 “where” 的詞向量。

這樣做主要有兩個(gè)好處：

低頻詞生成的 Embedding 效果會(huì)更好，因?yàn)樗鼈兊?N-gram 可以和其它詞共享而不用擔(dān)心詞頻過(guò)低無(wú)法得到充分的訓(xùn)練；

對(duì)于訓(xùn)練詞庫(kù)之外的單詞（比如拼錯(cuò)了），仍然可以通過(guò)對(duì)它們字符級(jí)的 N-gram 向量求和來(lái)構(gòu)建它們的詞向量。

為了節(jié)省內(nèi)存空間，我們使用 HashMap 將 N-gram 映射到 1 到 K，所以單詞的除了存儲(chǔ)自己在單詞表的 Index 外，還存儲(chǔ)了其包含的 N-gram 的哈希索引。

2.3 Classification Model

一般來(lái)說(shuō)，速度快的模型其結(jié)構(gòu)都會(huì)比較簡(jiǎn)單，fastText 也不例外，其架構(gòu)圖如下圖所示：

fastText Architecture

其中， 為一個(gè)句子的 N-gram 特征。

我們看到這個(gè)架構(gòu)是不是感覺(jué)似曾相似？

fastText 與 Word2Vec 的 CBOW 架構(gòu)是非常相似的，但與 CBOW 不同的是：fastText 輸入不僅是多個(gè)單詞 Embedding 向量，還將字符級(jí)別的 N-gram 向量作為額外的特征，其預(yù)測(cè)是也不是單詞，而是 Label（fastText 主要用于文本分類，所以預(yù)測(cè)的是分類標(biāo)簽）。

3. Experiment

我們簡(jiǎn)單看下 fastText 的兩個(gè)實(shí)驗(yàn)——Embedding 和文本分類；

3.1 Embeddng

sisg 是 fastText 用于 Embedding 的模型，實(shí)驗(yàn)效果如下：

3.2 Classification

分類實(shí)驗(yàn)的精度 fastText 比 char-CNN、 char-RCNN 要好，但比 VDCNN 要差。（但這里注意：fastText 僅僅使用 10 個(gè)隱藏層節(jié)點(diǎn) ，訓(xùn)練了 5 次 epochs。）

在速度上 fastText 快了幾個(gè)數(shù)量級(jí)。（此處注意：CNN 和 VDCNN 用的都是 Tesla K40 的 GPU，而 fastText 用的是 CPU）

下面是標(biāo)簽預(yù)測(cè)的結(jié)果，兩個(gè)模型都使用 CPU 并開了 20 個(gè)線程：

4. Conclusion

一句話總結(jié)：fastText 是一個(gè)用于文本分類和 Embedding 計(jì)算的工具庫(kù)，主要通過(guò) N-gram 和 Hierarchical softmax 保證算法的速度和精度。

關(guān)于 Hierarchical softmax 為什么會(huì)使 fastText 速度那么快？而在 Word2Vec 中沒(méi)有看到類似的效果？

我覺(jué)得是因?yàn)?fastText 的標(biāo)簽數(shù)量相比 Word2Vec 來(lái)說(shuō)要少很多，所以速度會(huì)變的非?？?。其次 Hierarchical softmax 是必要的，如果不同的話速度會(huì)慢非常多。

另外，fastText 可能沒(méi)有什么創(chuàng)新，但他卻異?；鸨?，可能有多個(gè)原因，其中包括開源了高質(zhì)量的 fastText，類似 Work2Vec，當(dāng)然也會(huì)有 Mikolov 大佬和 Facebook 的背書。

總的來(lái)說(shuō)，fastText 還是一個(gè)極具競(jìng)爭(zhēng)力的一個(gè)工具包。

5. Reference

《Bag of Tricks for Efficient Text Classification》

《Enriching Word Vectors with Subword Information》

責(zé)任編輯：lq