會(huì)話式人工智能正在改變我們與計(jì)算機(jī)的交互方式。它包括三個(gè)令人興奮的人工智能研究領(lǐng)域：自動(dòng)語(yǔ)言識(shí)別（Automatic Speech Recognition，ASR）、自然語(yǔ)言處理（Natural Language Processing，NLP）和語(yǔ)言合成（或文本到語(yǔ)音，Text-to-Speech，TTS）。NVIDIA 的目標(biāo)是通過讓研究人員和從業(yè)人員更容易地訪問、重用和建立這些領(lǐng)域的最新構(gòu)建模塊和預(yù)訓(xùn)練模型，使這些領(lǐng)域的進(jìn)展能夠?qū)崿F(xiàn)民主化并得到加速。

NVIDIA NeMo 是一個(gè)基于 PyTorch 的開源工具包，它允許開發(fā)者快速構(gòu)建、訓(xùn)練和微調(diào)會(huì)話式人工智能模型。NeMo 由 NeMo Core 和 NeMo Collection 組成，NeMo Core 為所有模型和模塊提供了一個(gè)通用的“外觀”，NeMo Collection 是特定領(lǐng)域模塊和模型的組合。在 NeMo 的 Speech Collection（nemo_asr）中，你可以找到用于語(yǔ)音識(shí)別、命令識(shí)別、說話人識(shí)別、說話人驗(yàn)證和語(yǔ)音活動(dòng)檢測(cè)的模型和各種構(gòu)建模塊。NeMo 的 NLP Collection（nemo_nlp）包含了諸如問題回答、標(biāo)點(diǎn)符號(hào)、命名實(shí)體識(shí)別等任務(wù)的模型。最后，在 NeMo 的 Speech Synthesis（nemo_tts）中，你會(huì)發(fā)現(xiàn)一些譜圖生成器和聲碼器，它們將讓你能夠生成合成語(yǔ)音。

語(yǔ)音交換示例

讓我們從一個(gè)簡(jiǎn)單的原型開始介紹 NeMo。在 這個(gè)示例 中，我們將獲取一個(gè)音頻文件，并用 NeMo 模型生成的合成語(yǔ)音來(lái)替換其中的語(yǔ)音。點(diǎn)擊 此處 可以獲取此語(yǔ)音文件。

從概念上講，這個(gè)應(yīng)用程序演示了會(huì)話式人工智能系統(tǒng)的所有三個(gè)階段：（1）語(yǔ)音識(shí)別；（2）推導(dǎo)意義或理解所說的內(nèi)容；（3）生成合成語(yǔ)音作為響應(yīng)。如果你有支持 GPU 的 PyTorch 1.6 版或更高版本，NeMo 可以簡(jiǎn)單地通過 PIP 安裝，如下所示：

pip install nemo_toolkit[all]==1.0.0b1

基于 NeMo 的應(yīng)用程序的第一步是導(dǎo)入必要的 Collection。在這個(gè)應(yīng)用程序中，我們將使用這三種 Collection。

import nemo
# Import Speech Recognition collection
import nemo.collections.asr as nemo_asr
# Import Natural Language Processing collection
import nemo.collections.nlp as nemo_nlp
# Import Speech Synthesis collection
import nemo.collections.tts as nemo_tts

Collection 使我們可以訪問 NeMo 模型，我們可以使用它們來(lái)執(zhí)行某些會(huì)話式人工智能任務(wù)。模型是 NeMo 的關(guān)鍵概念之一，我們將在下面更詳細(xì)地討論它們，但我們只使用現(xiàn)在需要的那些：

# Speech Recognition model - QuartzNet
quartznet =
nemo_asr.models.EncDecCTCModel.from_pretrained(model_nam)
# Punctuation and capitalization model
punctuation =
nemo_nlp.models.PunctuationCapitalizationModel.from_pretrained(model_name='Punctuation
_Capitalization_with_DistilBERT')
# Spectrogram generator which takes text as an input and produces spectrograms
spectrogram_generator =
nemo_tts.models.Tacotron2Model.from_pretrained(model_nam)
# Vocoder model which takes spectrograms and produces actual audio
vocoder = nemo_tts.models.WaveGlowModel.from_pretrained(model_nam)

大多數(shù) NeMo 模型可以使用from_pretrained()函數(shù)直接從 NVIDIA NGC 目錄 中直接實(shí)例化。通過調(diào)用list_available_models()函數(shù)，你可以查看每個(gè)模型的可用預(yù)訓(xùn)練權(quán)重列表。

從上面的代碼片段中可以看到，我們將使用 QuartzNet 模型 進(jìn)行語(yǔ)音識(shí)別，一個(gè)基于 DistillBert 的標(biāo)點(diǎn)模型，以及 Tacotron2+WaveGlow 模型進(jìn)行語(yǔ)音合成、語(yǔ)音識(shí)別。注意，NeMo 的 NLP Collection 與出色的 Hugging Face 轉(zhuǎn)換器兼容，其語(yǔ)言模型通常被 NeMo 的 NLP 模型用作編碼器。一旦所有模型被實(shí)例化之后，它們就可以使用了。下面是一個(gè)使用 ASR 模型轉(zhuǎn)錄音頻文件和 NLP 模型在轉(zhuǎn)錄文本中添加標(biāo)點(diǎn)符號(hào)的例子：

transcription = quartznet.transcribe(paths2audio_files=files)
result = punctuation.add_punctuation_capitalization(queries=transcription)

有關(guān)完整的運(yùn)行示例，請(qǐng)參考這個(gè) 交互式 Google Colab Notebook。請(qǐng)注意，標(biāo)點(diǎn)符號(hào)模型是如何在所生成的語(yǔ)音質(zhì)量 產(chǎn)生巨大影響 的。基于標(biāo)點(diǎn)符號(hào)模型的輸出生成的語(yǔ)音比直接從 ASR 模型的原始輸出生成的語(yǔ)音更容易理解，因?yàn)樗鼤?huì) 在適當(dāng)?shù)奈恢冒ｎD和語(yǔ)調(diào)。

NeMo 模型、神經(jīng)模塊和神經(jīng)類型

在 NeMo 中，主要有三個(gè)概念：模型、神經(jīng)模塊和神經(jīng)類型。模型 包含了訓(xùn)練和優(yōu)化所需的所有信息。因此，它們封裝了如下內(nèi)容：

1、神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)：所有神經(jīng)模塊都連接在一起進(jìn)行訓(xùn)練和評(píng)估。

2、所有必要的預(yù)處理和后處理：標(biāo)記化、數(shù)據(jù)增強(qiáng)等。

3、可用于此模型的 Dataset 類。

4、優(yōu)化算法和學(xué)習(xí)率調(diào)度。

5、基礎(chǔ)設(shè)施細(xì)節(jié)：例如，有多少 GPU、節(jié)點(diǎn)以及應(yīng)使用哪種訓(xùn)練精度。

正如我們?cè)谏厦娴难菔局兴吹降模蠖鄶?shù)模型可以直接從 NVIDIA NGC 目錄 上的倉(cāng)庫(kù)使用特定的預(yù)訓(xùn)練權(quán)重進(jìn)行實(shí)例化。

深度神經(jīng)網(wǎng)絡(luò)通?？梢员徽J(rèn)為是由負(fù)責(zé)不同任務(wù)的概念構(gòu)建塊組成的。編碼器 - 解碼器架構(gòu)就是一個(gè)著名的例子。編碼器負(fù)責(zé)學(xué)習(xí)輸入表示，而解碼器則負(fù)責(zé)根據(jù)輸入表示生成輸出序列。在 NeMo 中，我們稱這些模塊為“神經(jīng)模塊”（順便說一句，這就是 NeMo 名字的由來(lái)）。神經(jīng)模塊（nemo.core.NeuralModule）表示神經(jīng)網(wǎng)絡(luò)的邏輯部分，如語(yǔ)言模型、編碼器、解碼器、數(shù)據(jù)增強(qiáng)算法、損失函數(shù)等。它們構(gòu)成了描述模型和訓(xùn)練該模型過程的基礎(chǔ)。NeuralModule 類是直接從torch.nn派生的。因此，你可以在 PyTorch 應(yīng)用程序中使用 NeMo Collection 中的模塊。Collection 中有數(shù)百個(gè)神經(jīng)模塊可供你在模型中重用。

神經(jīng)模塊的輸入和輸出按神經(jīng)類型輸入。神經(jīng)類型是一對(duì)包含有關(guān)張量軸布局（類似于 PyTorch 中的命名張量）及其元素語(yǔ)義的信息對(duì)。每個(gè)神經(jīng)模塊都有input_type和output_type屬性，這些屬性描述（并幫助強(qiáng)制執(zhí)行）這個(gè)模塊接受什么類型的輸入以及它返回什么類型的輸出。

讓我們考慮模型、神經(jīng)模塊和類型是如何相互作用的。如果我們仔細(xì)查看 QuartzNet 模型的forward()方法，就會(huì)看到：

@typecheck()
def forward(self, input_signal, input_signal_length):
processed_signal, processed_signal_len = self.preprocessor(
input_signal=input_signal, length=input_signal_length,
)
# Spec augment is not applied during evaluation/testing
if self.spec_augmentation is not None and self.training:
processed_signal = self.spec_augmentation(input_spec=processed_signal)
encoded, encoded_len = self.encoder(audio_signal=processed_signal,
length=processed_signal_len)
log_probs = self.decoder(encoder_output=encoded)
greedy_predictions = log_probs.argmax(dim=-1, keepdim=False)
return log_probs, encoded_len, greedy_predictions

QuartzNet 模型包含預(yù)處理器、（可選）譜圖增強(qiáng)、編碼器和解碼器神經(jīng)模塊。請(qǐng)注意，它們的使用方式與使用torch.nn.Module模塊完全相同，但增加了類型安全性。以下是這個(gè)模型的神經(jīng)模塊的一些輸入 / 輸出類型：

print(quartznet.preprocessor.input_types['input_signal'])
print(quartznet.preprocessor.output_types['processed_signal'])
print(quartznet.spec_augmentation.input_types['input_spec'])
axes: (batch, time); elements_type: AudioSignal
axes: (batch, dimension, time); elements_type: MelSpectrogramType
axes: (batch, dimension, time); elements_type: SpectrogramType

正如你所見到的，類型決定了其元素的張量布局和語(yǔ)義。預(yù)處理器不僅將檢查傳遞給它的張量是否為 2 維[batch,time]張量，而且還將強(qiáng)制張量?jī)?nèi)的元素表示 AudioSignal。神經(jīng)類型支持繼承，這就是為什么MelSpectrogramType 輸出在任何地方都可以接受的原因。類型在@typecheck修飾器的幫助下被強(qiáng)制執(zhí)行，并且可以打開或關(guān)閉強(qiáng)制。這是一個(gè)實(shí)驗(yàn)性的特性，但我們發(fā)現(xiàn)，它有助于幫助模塊的用戶正確使用它們。

使用 NeMo 進(jìn)行訓(xùn)練和微調(diào)

NeMo 是為訓(xùn)練和微調(diào)會(huì)話式人工智能模型而構(gòu)建的。雖然可以使用“純”PyTorch 來(lái)處理 NeMo 的模型和模塊，但它們可有效地用于 PyTorch 生態(tài)系統(tǒng)中的其他兩個(gè)項(xiàng)目：PyTorch Lightning 和 Hydra。

NeMo 模型派生自 PyTorch Lightning 模塊，可用于 Lightning 的 Trainer 實(shí)例。這種與 Lightning 的集成使得使用 Tensor Core 可以非常輕松地以混合精度來(lái)訓(xùn)練模型，并且可以將訓(xùn)練擴(kuò)展到多個(gè) GPU 和計(jì)算節(jié)點(diǎn)。例如，我們將一些 NeMo 模型的訓(xùn)練擴(kuò)展為使用 512 個(gè) GPU。Lightning 還為用戶提供了許多其他方便的功能，如日志記錄、檢查點(diǎn)、過擬合檢查等等。

NeMo 的用戶可以使用 Facebook 的 Hydra 來(lái)參數(shù)化腳本。一個(gè)典型的深度學(xué)習(xí)實(shí)驗(yàn)可以包含數(shù)百個(gè)甚至數(shù)千個(gè)參數(shù)。這就是為什么將它們保存在組織良好的配置文件中很方便。NeMo 模型和模塊使用 Hydra 進(jìn)行參數(shù)化，為用戶提供了 Hydra 的靈活性和錯(cuò)誤檢查功能。

與 PyTorch Lighting 和 Hydra 的集成使得為用戶簡(jiǎn)化任務(wù)成為可能。請(qǐng)考慮下面的示例。它是一個(gè)完整的 Python 腳本，能夠獲取 .yaml 配置文件并訓(xùn)練語(yǔ)音識(shí)別模型。NeMo + Lightning + Hydra 標(biāo)準(zhǔn)化了很多東西，只需修改兩行代碼，就可以將其轉(zhuǎn)換為一個(gè)腳本，用于訓(xùn)練基于 BERT 的問答模型。

import pytorch_lightning as pl
from nemo.core.config import hydra_runner
from nemo.collections.asr.models import EncDecCTCModel
#from nemo.collections.nlp.models.question_answering.qa_model import QAModel
@hydra_runner(config_pat, config_nam)
def main(cfg):
trainer = pl.Trainer(**cfg.trainer)
#model = QAModel(cfg.model, trainer=trainer)
model = EncDecCTCModel(cfg=cfg.model, trainer=trainer)
trainer.fit(asr_model)

結(jié)論

NeMo 是為對(duì)會(huì)話式人工智能——語(yǔ)音識(shí)別、自然語(yǔ)言處理和語(yǔ)音合成感到好奇的開發(fā)者而打造的。NVIDIA 還投入了大量精力和算力來(lái)創(chuàng)建對(duì)用戶有用的預(yù)訓(xùn)練模型的 Collection。

NVIDIA 鼓勵(lì)開發(fā)者嘗試 NeMo。請(qǐng)?jiān)L問 NVIDIA 的 GitHub，以使用 NeMo 的交互式教程。本文開頭討論的語(yǔ)音交換示例就是一個(gè)很好的起點(diǎn)。

最后，NeMo 是 GitHub 上的一個(gè)開源項(xiàng)目，NVIDIA 歡迎外部的貢獻(xiàn)，人們可以通過許多方式做出貢獻(xiàn)，從編寫代碼或文檔到使用新語(yǔ)言訓(xùn)練模型。

作者介紹：

Oleksii Kuchaiev，NVIDIA 高級(jí)應(yīng)用科學(xué)家；Poonam Chitale，NVIDIA 高級(jí)產(chǎn)品經(jīng)理。

本文轉(zhuǎn)自 公眾號(hào)：AI前線 ，作者Oleksii Kuchaiev

審核編輯 黃昊宇