PaddleNLP 又帶著新功能和大家見面了。本次更新，為大家?guī)?strong>文心 ERNIE 3.0 Tiny 輕量級模型，刷新了中文小模型的 SOTA 成績；通過模型裁剪、量化感知訓(xùn)練、Embedding 量化等壓縮方案，能夠進(jìn)一步提升模型推理速度、降低模型大小、顯存占用。歡迎廣大開發(fā)者使用 NVIDIA 與飛槳聯(lián)合深度適配的 NGC 飛槳容器，在 NVIDIA GPU 上體驗 ERNIE 3.0 Tiny。

ERNIE 3.0 Tiny 與配套壓縮部署方案介紹

ERNIE 3.0 Tiny

近年來，隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展，大規(guī)模預(yù)訓(xùn)練范式通過一次又一次刷新各種評測基線證明了其卓越的學(xué)習(xí)與遷移能力。在這個過程中，研究者們發(fā)現(xiàn)通過不斷地擴(kuò)大模型參數(shù)便能持續(xù)提升深度學(xué)習(xí)模型的威力。然而，參數(shù)的指數(shù)級增長意味著模型體積增大、所需計算資源增多、計算耗時更長，而這無論出于業(yè)務(wù)線上響應(yīng)效率的要求還是機(jī)器資源預(yù)算問題，都給大模型落地帶來了極大的挑戰(zhàn)。

如何選擇最優(yōu)模型？如何在保證效果的前提下壓縮模型？如何適配 GPU、CPU 等多硬件的加速？如何在低資源場景下落地大模型？如何讓加速工具觸手可及？這是行業(yè)內(nèi)亟待解決的課題。2022 年 6 月，文心大模型中的輕量化技術(shù)加持的多個文心 ERNIE 3.0 Tiny 輕量級模型（下文簡稱文心 ERNIE 3.0 Tiny v1）開源至飛槳自然語言處理模型庫 PaddleNLP 中，該模型刷新了中文小模型的 SOTA 成績，配套模型動態(tài)裁剪和量化推理方案，被學(xué)術(shù)與工業(yè)界廣泛使用。

圖：GPU 下 ERNIE 3.0 Tiny 輕量級模型時延與效果圖

圖中，越偏左上方的模型越優(yōu)秀，可以看到 ERNIE 3.0 輕量級模型在同等規(guī)模的開源模型中，綜合實力領(lǐng)先其他同類型輕量級模型。與 RoBERTa-Base 相比，12L768H 的 ERNIE 3.0-Base 平均精度絕對提升了 1.9 個點，比同等規(guī)模的 BERT-Base-Chinese 提升 3.5 個點；6L768H 的 ERNIE 3.0-Medium 相比 12L768H 的 UER/Chinese-RoBERTa ，在節(jié)省一倍運算時間基礎(chǔ)上，獲得比兩倍大的 RoBERTa 更好的效果。

近日，文心 ERNIE 3.0 Tiny 升級版–––文心 ERNIE 3.0 Tiny v2 也開源了！相較于 v1，文心 ERNIE 3.0 Tiny v2 在 Out-domain（域外數(shù)據(jù)）、Low-resource（小樣本數(shù)據(jù)）的下游任務(wù)上精度顯著提升，并且 v2 還開源了 3L128H 結(jié)構(gòu)，5.99M 參數(shù)量的小模型，更適用于低資源場景。

表：ERNIE 3.0 Tiny v2 效果更優(yōu)

文心 ERNIE 3.0 Tiny v2 包含一系列不同尺寸的中文預(yù)訓(xùn)練模型，方便不同性能需求的應(yīng)用場景使用：

• 文心ERNIE 3.0 Tiny-Base-v2(12-layer, 768-hidden, 12-heads)

• 文心ERNIE 3.0 Tiny-Medium-v2(6-layer, 768-hidden, 12-heads)

• 文心ERNIE 3.0 Tiny-Mini-v2(6-layer, 384-hidden, 12-heads)

• 文心ERNIE 3.0 Tiny-Micro-v2(4-layer, 384-hidden, 12-heads)

• 文心ERNIE 3.0 Tiny-Nano-v2(4-layer, 312-hidden, 12-heads)

• 文心ERNIE 3.0 Tiny-Pico-v2(3-layer, 128-hidden, 2-heads)

除以上中文模型外，本次還發(fā)布了英文版文心 ERNIE 3.0 Tiny-Mini-v2，適用于各類英文任務(wù)。

在 PaddleNLP 中，可一鍵加載以上模型。

開源地址：https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-tiny

語義理解模型壓縮、部署方案

由文心大模型蒸餾得到的文心 ERNIE 3.0 Tiny v2 可以直接在下游任務(wù)上微調(diào)應(yīng)用，如果想要進(jìn)一步壓縮模型體積，降低推理時延，可使用 PaddleNLP 開源的語義理解模型壓縮、部署方案。

結(jié)合飛槳模型壓縮工具 PaddleSlim，PaddleNLP 發(fā)布了語義理解壓縮、部署方案，包含裁剪、量化級聯(lián)壓縮，如下圖所示：

以上各類壓縮策略以及對應(yīng)的推理功能如果從零實現(xiàn)非常復(fù)雜，飛槳模型壓縮工具庫 PaddleSlim 和飛槳高性能深度學(xué)習(xí)端側(cè)推理引擎 Paddle Lite 提供了一系列壓縮、推理工具鏈。飛槳 AI 推理部署工具 FastDeploy 對其進(jìn)一步封裝，使開發(fā)者可以通過更簡單的 API 去實現(xiàn)模型壓縮、推理部署流程，適配多領(lǐng)域模型，并兼容多硬件。PaddleNLP 依托以上工具，提供 NLP 模型數(shù)據(jù)處理、訓(xùn)練、壓縮、部署全流程的最佳實踐。

基于 PaddleNLP 提供的的模型壓縮 API，可大幅降低開發(fā)成本。壓縮 API 支持對 ERNIE、BERT 等 transformer 類下游任務(wù)微調(diào)模型進(jìn)行裁剪和量化。只需要簡單地調(diào)用 compress()即可一鍵啟動裁剪量化流程，并自動保存壓縮后的模型。

下面會對壓縮方案（詞表裁剪、模型寬度裁剪、量化感知訓(xùn)練、詞表量化）與部署工具進(jìn)行介紹。

詞表裁剪

ERNIE 3.0 Tiny 預(yù)訓(xùn)練模型的詞表參數(shù)量在總參數(shù)量中占比很大。在內(nèi)存有限的場景下，推薦在下游任務(wù)微調(diào)之前，按照詞頻對詞表進(jìn)行裁剪，去除出現(xiàn)頻次較低的詞，這樣能夠減少分詞后 [UNK] 的出現(xiàn)，使精度得到最大限度保持。例如，某數(shù)據(jù)集 4w 大小的詞表，高頻出現(xiàn)的詞不到 1w 個，此時通過詞表裁剪可以節(jié)省不少內(nèi)存。

模型寬度裁剪

基于 DynaBERT 寬度自適應(yīng)裁剪策略，通過知識蒸餾的方法，在下游任務(wù)中將 ERNIE 3.0 Tiny 的知識遷移到寬度更窄的學(xué)生網(wǎng)絡(luò)中，最后得到效果與教師模型接近的學(xué)生模型。一般來說，對于 4 到 6 層的 NLU 模型，寬度裁剪 1/4 可基本保證精度無損。

量化感知訓(xùn)練

模型量化是一種通過將訓(xùn)練好的模型參數(shù)、激活值從 FP32 浮點數(shù)轉(zhuǎn)換成 INT8 整數(shù)來減小存儲、加快計算速度、降低功耗的模型壓縮方法。目前主要有兩種量化方法：

? 靜態(tài)離線量化：使用少量校準(zhǔn)數(shù)據(jù)計算量化信息，可快速得到量化模型；

? 量化感知訓(xùn)練：在模型中插入量化、反量化算子并進(jìn)行訓(xùn)練，使模型在訓(xùn)練中學(xué)習(xí)到量化信息 。

圖：量化感知訓(xùn)練 vs 離線量化

在對 ERNIE 3.0 Tiny 的壓縮中，更推薦使用量化感知訓(xùn)練的方式。通常情況下，使用量化感知訓(xùn)練的方法能夠比使用靜態(tài)離線量化取得更高的精度。這是因為在量化感知訓(xùn)練之前，壓縮 API 在模型的矩陣乘算子前插入量化、反量化算子，使量化帶來的誤差可以在訓(xùn)練過程中被建模和優(yōu)化，能夠使模型被量化后精度基本無損。

Embedding 量化

為了能進(jìn)一步節(jié)省顯存占用，可對模型的 Embedding 權(quán)重進(jìn)行 INT8量化，并將精度的損失保持在 0.5%之內(nèi)。

部署

模型壓縮后，精度基本無損。到此，算法側(cè)的工作基本完成。為了進(jìn)一步降低部署難度，可以使用飛槳 FastDeploy 對模型進(jìn)行部署。

FastDeploy 是一款全場景、易用靈活、極致高效的 AI 推理部署工具，提供開箱即用的部署體驗。FastDeploy 為 NLP 任務(wù)提供了一整套完整的部署 Pipeline，提供文心 ERNIE 3.0 Tiny 模型從文本預(yù)處理、推理引擎 Runtime 以及后處理三個階段所需要的接口模塊，開發(fā)者可以基于這些接口模塊在云、邊、端上部署各類常見的 NLP 任務(wù)，如文本分類、序列標(biāo)注、信息抽取等。

FastDeploy 中的 Paddle Lite 后端基于算子融合和常量折疊對深度模型進(jìn)行優(yōu)化，無縫銜接了 Paddle Lite 的 FP16 和 INT8 的推理能力，可使模型推理速度大幅提升。其集成的高性能 NLP 處理庫 FastTokenizer（視覺領(lǐng)域集成了高性能 AI 處理庫 FlyCV），能夠?qū)Ψ衷~階段進(jìn)行加速，適配 GPU、CPU 等多硬件。

FastDeploy 項目地址：https://github.com/PaddlePaddle/FastDeploy

文心大模型

隨著數(shù)據(jù)井噴、算法進(jìn)步和算力突破，效果好、泛化能力強、通用性強的預(yù)訓(xùn)練大模型（以下簡稱“大模型”），成為人工智能發(fā)展的關(guān)鍵方向與人工智能產(chǎn)業(yè)應(yīng)用的基礎(chǔ)底座。

百度文心大模型源于產(chǎn)業(yè)、服務(wù)于產(chǎn)業(yè)，是產(chǎn)業(yè)級知識增強大模型。百度通過大模型與國產(chǎn)深度學(xué)習(xí)框架融合發(fā)展，打造了自主創(chuàng)新的 AI 底座，大幅降低了 AI 開發(fā)和應(yīng)用的門檻，滿足真實場景中的應(yīng)用需求，真正發(fā)揮大模型驅(qū)動 AI 規(guī)?；瘧?yīng)用的產(chǎn)業(yè)價值。

文心大模型包含基礎(chǔ)通用大模型及面向重點領(lǐng)域和重點任務(wù)的大模型，同時有豐富的工具與平臺支撐高效便捷的應(yīng)用開發(fā)。學(xué)習(xí)效率高，可解釋性好，大幅降低AI開發(fā)與應(yīng)用門檻。

從技術(shù)研發(fā)到落地應(yīng)用，大模型的發(fā)展已經(jīng)進(jìn)入產(chǎn)業(yè)落地的關(guān)鍵期，歡迎前往文心大模型官網(wǎng)了解詳情：https://wenxin.baidu.com/。也歡迎使用NGC，體驗文心大模型。

加入 PaddleNLP 技術(shù)交流群，體驗 NVIDIA NGC + PaddleNLP

入群方式：微信掃描下方二維碼，關(guān)注公眾號，填寫問卷后進(jìn)入微信群隨時進(jìn)行技術(shù)交流。

?

NGC 飛槳容器介紹

如果您希望體驗 PaddleNLP 的新特性，歡迎使用 NGC 飛槳容器。NVIDIA 與百度飛槳聯(lián)合開發(fā)了 NGC 飛槳容器，將最新版本的飛槳與最新的NVIDIA的軟件棧（如CUDA）進(jìn)行了無縫的集成與性能優(yōu)化，最大程度的釋放飛槳框架在 NVIDIA 最新硬件上的計算能力。這樣，用戶不僅可以快速開啟 AI 應(yīng)用，專注于創(chuàng)新和應(yīng)用本身，還能夠在 AI 訓(xùn)練和推理任務(wù)上獲得飛槳+NVIDIA 帶來的飛速體驗。

最佳的開發(fā)環(huán)境搭建工具 - 容器技術(shù)

1. 容器其實是一個開箱即用的服務(wù)器。極大降低了深度學(xué)習(xí)開發(fā)環(huán)境的搭建難度。例如你的開發(fā)環(huán)境中包含其他依賴進(jìn)程（redis，MySQL，Ngnix，selenium-hub等等），或者你需要進(jìn)行跨操作系統(tǒng)級別的遷移

2. 容器鏡像方便了開發(fā)者的版本化管理

3. 容器鏡像是一種易于復(fù)現(xiàn)的開發(fā)環(huán)境載體

4. 容器技術(shù)支持多容器同時運行

最好的 PaddlePaddle 容器

NGC 飛槳容器針對 NVIDIA GPU 加速進(jìn)行了優(yōu)化，并包含一組經(jīng)過驗證的庫，可啟用和優(yōu)化 NVIDIA GPU 性能。此容器還可能包含對 PaddlePaddle 源代碼的修改，以最大限度地提高性能和兼容性。此容器還包含用于加速 ETL (DALI, RAPIDS),、訓(xùn)練(cuDNN, NCCL)和推理(TensorRT)工作負(fù)載的軟件。

PaddlePaddle 容器具有以下優(yōu)點：

1. 適配最新版本的 NVIDIA 軟件棧（例如最新版本CUDA），更多功能，更高性能

2. 更新的 Ubuntu 操作系統(tǒng)，更好的軟件兼容性

3. 按月更新

4. 滿足 NVIDIA NGC 開發(fā)及驗證規(guī)范，質(zhì)量管理

通過飛槳官網(wǎng)快速獲取

環(huán)境準(zhǔn)備

使用 NGC 飛槳容器需要主機(jī)系統(tǒng)（Linux）安裝以下內(nèi)容：

• Docker 引擎

• NVIDIA GPU 驅(qū)動程序

• NVIDIA 容器工具包

有關(guān)支持的版本，請參閱 NVIDIA 框架容器支持矩陣 和 NVIDIA 容器工具包文檔。

不需要其他安裝、編譯或依賴管理。無需安裝 NVIDIA CUDA Toolkit。

NGC 飛槳容器正式安裝：

要運行容器，請按照 NVIDIA Containers For Deep Learning Frameworks User’s Guide 中 Running A Container一章中的說明發(fā)出適當(dāng)?shù)拿睿⒅付ㄗ员?、存儲庫?a target="_blank">標(biāo)簽。有關(guān)使用 NGC 的更多信息，請參閱 NGC 容器用戶指南。如果您有 Docker 19.03 或更高版本，啟動容器的典型命令是：

dockerrun--gpusall--shm-size=1g--ulimitmemlock=-1-it--rm
nvcr.io/nvidia/paddlepaddle:22.08-py3

*詳細(xì)安裝介紹 《NGC 飛槳容器安裝指南》

https://www.paddlepaddle.org.cn/documentation/docs/zh/install/install_NGC_PaddlePaddle_ch.html

*詳細(xì)產(chǎn)品介紹視頻

【飛槳開發(fā)者說｜NGC飛槳容器全新上線 NVIDIA產(chǎn)品專家全面解讀】

https://www.bilibili.com/video/BV16B4y1V7ue?share_source=copy_web&vd_source=266ac44430b3656de0c2f4e58b4daf82

飛槳與 NVIDIA NGC 合作介紹

NVIDIA 非常重視中國市場，特別關(guān)注中國的生態(tài)伙伴，而當(dāng)前飛槳擁有超過 535 萬的開發(fā)者。在過去五年里我們緊密合作，深度融合，做了大量適配工作，如下圖所示。

今年，我們將飛槳列為 NVIDIA 全球前三的深度學(xué)習(xí)框架合作伙伴。我們在中國已經(jīng)設(shè)立了專門的工程團(tuán)隊支持，賦能飛槳生態(tài)。

為了讓更多的開發(fā)者能用上基于 NVIDIA 最新的高性能硬件和軟件棧。當(dāng)前，我們正在進(jìn)行全新一代 NVIDIA GPU H100 的適配工作，以及提高飛槳對 CUDA Operation API 的使用率，讓飛槳的開發(fā)者擁有優(yōu)秀的用戶體驗及極致性能。

以上的各種適配，僅僅是讓飛槳的開發(fā)者擁有高性能的推理訓(xùn)練成為可能。但是，這些離行業(yè)開發(fā)者還很遠(yuǎn)，門檻還很高，難度還很大。

為此，我們將剛剛這些集成和優(yōu)化工作，整合到三大產(chǎn)品線中。其中 NGC 飛槳容器最為閃亮。

NVIDIA NGC Container – 最佳的飛槳開發(fā)環(huán)境，集成最新的 NVIDIA 工具包（例如 CUDA）

點擊 “閱讀原文” 或掃描下方海報二維碼，即可免費注冊 GTC23，在 3 月 24 日 聽 OpenAI 聯(lián)合創(chuàng)始人與 NVIDIA 創(chuàng)始人的爐邊談話，會議將由 NVIDIA 專家主持，配中文講解和實時答疑，一起看 AI 的現(xiàn)狀和未來！