東南亞各市場的網(wǎng)絡(luò)環(huán)境復(fù)雜多變、差異極大，如何在有限網(wǎng)絡(luò)條件下提供穩(wěn)定、高清的視頻體驗(yàn)是我們面臨的一大挑戰(zhàn)?；诖耍敬畏窒韺⒔榻B Shopee 在東南亞視頻業(yè)務(wù)落地上的方案，在畫質(zhì)提升上做出的努力，以及一些性能提升成本控制方面的優(yōu)化。

在 8 月 6 日舉辦的 LiveVideoStackCon 2022 上海站大會中，Shopee 視頻技術(shù)團(tuán)隊(duì)負(fù)責(zé)人 Zhixing 分享了 Shopee 視頻處理技術(shù)的后臺應(yīng)用，本文根據(jù)演講內(nèi)容整理而成。

1. 背景

隨著 Shopee 電商業(yè)務(wù)在東南亞等市場展開，視頻和電商結(jié)合的應(yīng)用迅速落地。然而，當(dāng)?shù)卦S多用戶使用的手機(jī)配置有限，這些手機(jī)在視頻編解碼、圖像處理方面存在不小的性能瓶頸。

并且，當(dāng)?shù)鼐W(wǎng)絡(luò)基礎(chǔ)設(shè)施建設(shè)還不太完善，在這樣的網(wǎng)絡(luò)條件下，如何穩(wěn)定且高質(zhì)量地傳輸媒體數(shù)據(jù)成為一大挑戰(zhàn)。

另外，海量的視頻文件和直播視頻處理也給 Shopee 后臺帶來了巨大的壓力。那么 Shopee 是如何通過技術(shù)手段來解決這一系列問題的呢？

本次分享的內(nèi)容大致分為四個(gè)部分：第一部分是 Shopee 視頻相關(guān)的產(chǎn)品介紹；第二部分是 Shopee 視頻業(yè)務(wù)后臺的技術(shù)方案；第三部分是 Shopee 高清低碼轉(zhuǎn)碼技術(shù)，以及 RTC 場景視頻編碼技術(shù)；第四部分是我們在性能提升和節(jié)省算力成本上做的一些優(yōu)化。

2. Shopee 視頻技術(shù)落地產(chǎn)品

先來看看 Shopee 有哪些與視頻相關(guān)的產(chǎn)品。

作為電商平臺，Shopee App 是我們的主要業(yè)務(wù)，涵蓋了 feeds 流、直播帶貨、點(diǎn)播等視頻類服務(wù)。其中，短視頻服務(wù) Shopee Video 目前也已經(jīng)在東南亞個(gè)別市場上線。

Shopee 的數(shù)字銀行業(yè)務(wù) SeaBank 在部分場景下也用到了視頻服務(wù)，例如在線開戶環(huán)節(jié)。用戶發(fā)起開戶請求，客服接聽，通過視頻畫面在線認(rèn)證身份信息。

此外，公司內(nèi)部的通訊工具 SeaTalk 也計(jì)劃在語音通信功能的基礎(chǔ)上，新增視頻會議能力。

3. Shopee 視頻相關(guān)后臺服務(wù)

針對上述應(yīng)用，我們開發(fā)了哪些視頻相關(guān)的后臺服務(wù)呢？

3.1 直播/點(diǎn)播轉(zhuǎn)碼

首先是 Shopee App 的轉(zhuǎn)碼服務(wù)，涉及點(diǎn)播和直播轉(zhuǎn)碼兩個(gè)轉(zhuǎn)碼平臺。有一些 AI 增強(qiáng)類的前置處理，一幀耗時(shí)比較長，對于點(diǎn)播業(yè)務(wù)來說，這不是什么問題，只是轉(zhuǎn)碼耗時(shí)增長。而對于直播業(yè)務(wù)來說，就需要考慮效率問題了，比如幀率 30，最多一幀只能耗時(shí) 33ms，如果串行進(jìn)行所有前置處理，就會使得出幀幀率小于輸入幀率，導(dǎo)致視頻幀堆積的問題。

于是，我們設(shè)計(jì)了流水線的視頻處理架構(gòu)，將耗時(shí)較短、不影響主流程的處理節(jié)點(diǎn)放在同一個(gè) region 中，串行處理，耗時(shí)長的節(jié)點(diǎn)單獨(dú)一個(gè) region，region 與 region 之間并行執(zhí)行，中間通過隊(duì)列通信。這樣，只需要任意一個(gè)處理節(jié)點(diǎn)耗時(shí)保證在幀 duration 范圍內(nèi)，就能滿足業(yè)務(wù)要求。

我們可以看到中間這張彩色的示意圖，如果是串行處理，每一幀的耗時(shí)就等于每一個(gè)節(jié)點(diǎn)耗時(shí)相加。然而流水線處理的話，每一幀的耗時(shí)取決于耗時(shí)最大的處理節(jié)點(diǎn)。

上圖為 Shopee 的直播/點(diǎn)播轉(zhuǎn)碼服務(wù)架構(gòu)圖。點(diǎn)播轉(zhuǎn)碼集群分為內(nèi)部 Prado 容器集群和云主機(jī)集群，MMS 點(diǎn)播平臺是我們的上游服務(wù)，該平臺可以根據(jù)負(fù)載自由調(diào)度，選擇使用 Prado 轉(zhuǎn)碼或是云主機(jī)轉(zhuǎn)碼。

說個(gè)題外話，為什么這里會有兩種集群？近兩年因?yàn)橐咔?，服?wù)器采購比較困難，于是公司的 SRE 建議我們，這類對數(shù)據(jù)安全性要求沒有特別高的服務(wù)可以切到云主機(jī)，以加快業(yè)務(wù)落地。

對于轉(zhuǎn)碼后的視頻畫面質(zhì)量，我們也有內(nèi)部的畫質(zhì)數(shù)據(jù)平臺 AWCY，提供編碼畫質(zhì)監(jiān)控能力。

3.2 直播連麥

上圖是 Shopee App 的直播連麥服務(wù)架構(gòu)。連麥雙方通過 RTC-SFU 服務(wù)通信，觀眾通過 HTTP-FLV 觀看直播。

這里值得注意的是，通常云廠商為了后臺的穩(wěn)定性，將連麥服務(wù)的邏輯簡單化了，不管房間是否有連麥主播，都采用轉(zhuǎn)碼的方式處理視頻流。而既然有轉(zhuǎn)碼，就涉及到視頻編碼環(huán)節(jié)，若只有一路主播的時(shí)候也轉(zhuǎn)碼，會浪費(fèi)大量算力資源。

為了節(jié)省計(jì)算資源，Shopee 主播視頻采用了 H.264 編碼。在單個(gè)主播的時(shí)候，我們采用直接轉(zhuǎn)封裝的方式處理主播的視頻；當(dāng)有連麥者接入的時(shí)候，采用混流轉(zhuǎn)碼的方式處理視頻；連麥者離開后，再次返回到轉(zhuǎn)封模式。

而 MCU 后臺處理了這種模式之間交替切換的問題，通過緩存 GOP 的方式解決從單主播切換到連麥模式的場景，通過等待新的 GOP 的方式解決從連麥模式切換到單人模式的場景。

線上大部分時(shí)候，在房間只有單個(gè)主播的場景下，CPU 的平均負(fù)載較低，大大提高了集群的并發(fā)能力。單臺機(jī)器如果進(jìn)行轉(zhuǎn)碼，最多支持 20 路主播；如果不進(jìn)行轉(zhuǎn)碼，目前通過壓測數(shù)據(jù)來看，至少支持 200 路主播轉(zhuǎn)發(fā)。

這一套方案也用于 SeaBank 在線開戶系統(tǒng)，對開戶通話過程進(jìn)行錄制。區(qū)別在于 SeaBank 系統(tǒng)只有混流模式。

3.3 多人會議混流

對于 Shopee 內(nèi)部通訊軟件 SeaTalk，我們提供了多人會議混流服務(wù)作為技術(shù)能力儲備（目前該功能還未上線），混流模塊中嵌入了開源軟件 OWT 和 mediasoupclient 的核心模塊，并且在 OWT 模塊上增加了 3 幀的緩存隊(duì)列，以平滑混流視頻幀。會議混流系統(tǒng)支持 RTMP 和 WebRTC 接入。

3.4 視頻后臺編輯

針對 Shopee 的短視頻產(chǎn)品 Shopee Video，我們開發(fā)了一套后臺編輯服務(wù)，用于完成一些 2D 特效，例如圖片序列轉(zhuǎn)視頻、添加背景音樂、畫面切割、文字動畫、視頻轉(zhuǎn)場、背景模糊等。目前通過 CPU 執(zhí)行 Xvfb 虛擬顯存的方式完成 gltransition 的轉(zhuǎn)場效果。

4. 高清低碼

隨著 Shopee App 中帶貨直播業(yè)務(wù)量逐漸增長，提升直播用戶畫質(zhì)體驗(yàn)的需求也日益強(qiáng)烈。另一方面，在東南亞的網(wǎng)絡(luò)條件下，直播分辨率很多還是 360p 或 270p，碼率 300-500k。

起初，大部分 Shopee 帶貨主播流沒有轉(zhuǎn)碼，為了適配直播觀眾下行參差不同的網(wǎng)絡(luò)情況，主播甚至用更低的分辨率和碼率開播，來提高觀眾側(cè)的流暢度，當(dāng)然這種做法以犧牲清晰度為代價(jià)。

在考慮用戶觀看體驗(yàn)，并綜合視頻轉(zhuǎn)碼成本等多種因素后，Shopee 決定投入自研視頻轉(zhuǎn)碼業(yè)務(wù)。與業(yè)界常見做法類似，Shopee 的直播轉(zhuǎn)碼也分為普通轉(zhuǎn)碼和高清低碼轉(zhuǎn)碼。

普通直播轉(zhuǎn)碼集群用 NVIDIA T4 顯卡硬編碼，來支持更多直播轉(zhuǎn)碼。測試數(shù)據(jù)顯示，直播帶貨場景下，一張 NVIDIA T4 顯卡能編碼 30 路，相較于 CPU 成本有一定優(yōu)勢。另外一部分是高清低碼轉(zhuǎn)碼，使用 CPU 轉(zhuǎn)碼，編碼器是基于 x264 優(yōu)化后的版本。

上圖是 Shopee 直播高清低碼和云廠商高清低碼的畫質(zhì)對比，左邊可以看出來 Shopee 轉(zhuǎn)碼畫質(zhì)明顯優(yōu)于云廠商 A，和右邊的云廠商 B 相比，在塊效應(yīng)的處理上也有細(xì)微優(yōu)勢。那么 Shopee 的高清低碼轉(zhuǎn)碼是如何做到的呢？

4.1 視頻處理的一般流程

先來大概了解一下視頻轉(zhuǎn)碼需要經(jīng)過哪些環(huán)節(jié)：

第一步解碼得到 YUV 畫面數(shù)據(jù)；

然后經(jīng)過前置處理，包含了 ROI 背景 gblur 濾波、銳化、AI 增強(qiáng)；

接著將 YUV 數(shù)據(jù)送進(jìn)編碼器，進(jìn)入預(yù)編碼環(huán)節(jié)，主要步驟是下采樣、Scenecut 關(guān)鍵幀判斷，幀類型決策、AC 能量值計(jì)算、MBTree 等；

下一步進(jìn)入編碼環(huán)節(jié)，包括幀內(nèi)/幀間預(yù)測編碼、RDO、Deblocking、參考幀管理等步驟；

最后就是進(jìn)入量化和熵編碼環(huán)節(jié)，最終輸出 NALU 單元。

上面步驟中藍(lán)色部分是 Shopee 在 x264 基礎(chǔ)上做過優(yōu)化的節(jié)點(diǎn)，接下來會一一講解。

4.2 Shopee 高清低碼優(yōu)化方案

4.2.1 前置處理

1）CDEF 算法

在前置處理時(shí)，參考 AV1 中實(shí)現(xiàn)的 CDEF 算法，抽出來作為一個(gè) FFmpeg 濾鏡，該算法主要用于解決由于過度壓縮導(dǎo)致的物體邊緣振鈴效應(yīng)。通過該濾波算法之后，畫面中的物體邊緣會更加平滑。

CDEF 大致可以理解為首先計(jì)算當(dāng)前 8x8 的塊在預(yù)設(shè)的八個(gè)方向塊上的殘差，選擇殘差最小的作為確定的角度方向，然后找到對應(yīng)的角度方向矩陣進(jìn)行濾波。圖中最右邊是濾波后的效果，可以看到樹枝的邊緣更加平滑了。

2）3D 降噪

常見的傳統(tǒng)降噪算法 FFmpeg 中也有一些濾鏡實(shí)現(xiàn)，比如 hqdn3d、bm3d 等。hqdn3d 參考的點(diǎn)較少，運(yùn)動劇烈時(shí)效果不佳。bm3d 需要額外計(jì)算運(yùn)動向量，速度極慢。

我們在編碼器內(nèi)置的 3D 降噪算法通過復(fù)用運(yùn)動向量的方法規(guī)避了效果差和速度慢的缺點(diǎn)。利用前后幀的預(yù)測信息，在預(yù)編碼中得到的運(yùn)動向量作為依據(jù)，找到被參考幀對應(yīng)的塊，作為濾波的參考塊，然后通過雙邊濾波算法，對當(dāng)前塊進(jìn)行濾波。

這樣一來，因?yàn)閺?fù)用了運(yùn)動向量，從而能夠較好地對當(dāng)前的塊進(jìn)行降噪濾波，也減少了計(jì)算復(fù)雜度。我們在 x265 也實(shí)現(xiàn)了同樣的算法。

4.2.2 分類參數(shù)

常見的分類編碼參數(shù)往往通過人為主觀分類，例如游戲、UGC 視頻、影視劇等。而考慮到主觀分類對于編碼器提高 BD-rate 不一定是最佳的，Shopee 采用了一種逆向的思維方法，先抽出來幾個(gè)不增加編碼復(fù)雜度，主要影響畫質(zhì)的參數(shù)：B 幀個(gè)數(shù)、B 幀決策算法、B-pyramid、B 幀層次結(jié)構(gòu)、QComp 等。

首先將這些參數(shù)分成性價(jià)比最高的八組（當(dāng)然這八組是通過我們線上的視頻跑出來的結(jié)論），然后分別得出圖中幾組參數(shù)的最佳 SSIM BD-rate 收益——這里的收益是相對于我們線上統(tǒng)一的編碼參數(shù)而言，把最佳 BD-rate 視頻，相同參數(shù)的作為一組，然后針對這一組視頻提取特征，進(jìn)行訓(xùn)練，使用訓(xùn)練完的模型對線上視頻進(jìn)行分類。

手動參數(shù)分類測試 BD-rate 收益最大 2.6%，模型分類 BD-rate 提升取決于模型分類的準(zhǔn)確性，目前通過模型分類收益 1.4% 左右，模型還在進(jìn)一步改進(jìn)中，預(yù)期是接近手動分類 BD-rate 收益最大 2.6% 的目標(biāo)。

4.2.3 編碼器優(yōu)化

1）VBV - Adapt CRF

在編碼器碼控方面，我們也做出了一些優(yōu)化。如圖，這是 VBV + CRF 碼控模型示意圖，一邊注水，注水速度為 maxrate*幀duration；一邊放水，放水速度為實(shí)際編碼碼率。

當(dāng)水位過低時(shí)，發(fā)生下溢，增大 QP 值，降低編碼碼率。當(dāng)水位過高，發(fā)生上溢，減小 QP 值，增大編碼碼率。實(shí)際編碼檔位的 maxrate、bufsize 參數(shù)限制了水池的大小，使得復(fù)雜視頻畫面為了達(dá)到目標(biāo) CRF 畫質(zhì)，經(jīng)常發(fā)生下溢，當(dāng)碼率不足時(shí)，大幅度降低了高復(fù)雜度畫面的畫質(zhì)，比如出現(xiàn)嚴(yán)重塊效應(yīng)。

我們通過動態(tài)調(diào)整 CRF 值的方式，讓平均畫質(zhì)始終處于 VBV 限制范圍內(nèi)。當(dāng)發(fā)生下溢時(shí)，增大 CRF 值，降低目標(biāo)畫質(zhì)；當(dāng)發(fā)生上溢時(shí)，減小 CRF 值，提高目標(biāo)畫質(zhì)，以此達(dá)到提升視頻平均質(zhì)量的目的。通過線上大量視頻測試，BD-rate 提升了 1.2%。

2）Hierarchy B + 時(shí)域?yàn)V波

Shopee 編碼器對 BD-rate 提升最多的優(yōu)化是分層 B 幀結(jié)構(gòu)。

如圖所示，左邊是社區(qū)版本 x264 編碼出來的 B 幀結(jié)構(gòu)，右邊是優(yōu)化后的 B 幀結(jié)構(gòu)。由于右邊的 B 幀分了更多層，從圖上可以很直觀地看出來，參考幀和被參考幀的距離更近，參考關(guān)系更優(yōu)。

另外，分層 B 幀使用先確定 miniGOP，然后二分的方式?jīng)Q策參考關(guān)系和層次，相較于社區(qū)版的 Adapt B 和 Viterbi B 幀決策，速度更快。以下是我們測試的 BD-rate 提升和幀率提升收益。

另外，決策完參考關(guān)系之后，還可以通過對編碼幀進(jìn)行時(shí)域?yàn)V波，讓編碼幀更接近參考幀，減小殘差，以提高 BD-rate，收益大概在 2% 左右。

3）ROI（GBlur 背景）

為了適配東南亞的網(wǎng)絡(luò)質(zhì)量，Shopee 轉(zhuǎn)碼服務(wù)提出了一種 ROI 轉(zhuǎn)碼檔位。以往常見的 ROI 編碼，單純通過增大非 ROI 區(qū)域的 QP 值來降低非 ROI 區(qū)域的畫質(zhì)，然后把 bits 節(jié)省下來，減小 ROI 區(qū)域 QP 值來提高畫質(zhì)。

但是這樣帶來一個(gè)問題，非 ROI 區(qū)域看起來塊效應(yīng)非常明顯，和 ROI 區(qū)域有明顯割裂感。于是，我們對非 ROI 區(qū)域進(jìn)行高斯模糊濾波之后再 ROI 編碼，效果看起來比原來的 ROI 編碼好很多。

如圖所示，左邊是原圖，中間是扣下來的 ROI 區(qū)域，右圖是高斯模糊之后 ROI 編碼的效果。

4）長期參考幀

為了支持后臺視頻編輯的服務(wù)，我們在編輯服務(wù)編碼器中增加了長期參考幀。

在剪輯視頻的時(shí)候，可能會出現(xiàn)一段節(jié)目中間要植入廣告的場景，如果按照原生的 x264 幀類型決策策略，會發(fā)生 scenecut，決策為 IDR 幀，然而我們可以看到，這里中間植入的廣告的前后畫面很有關(guān)聯(lián)性。

于是我們把發(fā)生 scenecut 前額視頻幀緩存在編碼器參考幀隊(duì)列中，并標(biāo)記為長期參考幀，當(dāng)后面的視頻幀出現(xiàn) scenecut 的時(shí)候，再和隊(duì)列中的長期參考幀 scenecut 決策一次，如果決策結(jié)果均為發(fā)生 scenecut，則標(biāo)記為 IDR，反之編碼為 P 幀。如此優(yōu)化后，BD-rate 提升 6% 左右，不過該策略僅適用于視頻剪輯的場景。

5）分級 RDO

另外，我們還在 RDO 方面做了一些優(yōu)化。

RDO 是編碼器進(jìn)行二次編碼，把重建塊和原畫之間的殘差作為失真，為了盡量減小失真，對幀內(nèi)/幀間預(yù)測模式、運(yùn)動向量、QP 值重新決策的過程。它們的決策強(qiáng)度都是依次遞增的，意思是如果要打開 QP RD，就一定要開運(yùn)動向量，模式?jīng)Q策 refine。

/*mbrd==1->RDmodedecision*/ /*mbrd==2->RDrefinementsatdcost*/ /*mbrd==3->QPRD*/

于是我們把 QP RD 單獨(dú)拿出來，通過新增的參數(shù)控制開關(guān)，在犧牲了一定速度的條件下，達(dá)到了 BD-rate 3% 的收益。

6）時(shí)域 SVC

針對 RTC 場景，我們也做了一些編碼側(cè)的優(yōu)化。

RTC 一般是沒有 B 幀的，為了解決群組會議用戶網(wǎng)絡(luò)質(zhì)量參差不齊的問題。我們將 P 幀也進(jìn)行了分層。層級之間的參考關(guān)系如圖所示，上層的 P 幀永遠(yuǎn)參考下層的幀。

這樣一來，我們在傳輸過程中可以任意丟棄上一層的 P 幀，而不影響解碼播放。下行帶寬不足的時(shí)候， 在一個(gè) miniGOP 內(nèi)部，上層的 P 幀可以根據(jù)實(shí)際網(wǎng)絡(luò)情況丟棄，以降低帶寬，從而保證視頻的流暢性。

5. 性能優(yōu)化

5.1 編碼器端上優(yōu)化

在線上視頻業(yè)務(wù)中，我們曾遇到過一些問題。有一些配置較低的手機(jī)，在光線不是很好的情況下，拍出來的畫面無法看清畫面中必要的的文字信息。于是我們對手機(jī)上采集到的畫面進(jìn)行了銳化，讓文字看起來更清晰一些。

然而測試發(fā)現(xiàn)，對于東南亞的手機(jī)配置，這樣的算法發(fā)熱太嚴(yán)重，即便銳化算法是參考了 FFmpeg 的 USM，已經(jīng)是通過橫縱向狀態(tài)機(jī)復(fù)用和多線程優(yōu)化過的版本，銳化一幀 720p 普遍耗時(shí)還是有 15-20ms，而且手機(jī)發(fā)熱嚴(yán)重。

于是我們針對 3x3 的 USM 模版，用 NEON 匯編指令優(yōu)化了銳化函數(shù)，把一些點(diǎn)積、累加運(yùn)算通過 SIMD 指令并行處理，銳化處理的幀率提高了 7 倍，手機(jī)也不再發(fā)熱。

5.2 一入多出編碼

東南亞的機(jī)房機(jī)器成本同樣很高，為了節(jié)省服務(wù)器機(jī)器資源，在點(diǎn)播后臺轉(zhuǎn)碼服務(wù)中，我們也做了一些成本優(yōu)化。

Shopee App 需要將一個(gè)點(diǎn)播視頻轉(zhuǎn)碼 6 個(gè)檔位，不同的分辨率和碼率。我們通過對一些轉(zhuǎn)碼中間數(shù)據(jù)復(fù)用的方式很大程度上降低了轉(zhuǎn)碼服務(wù)集群的成本，首先我們復(fù)用了前置處理，包括 AI 增強(qiáng)，把同一個(gè)視頻文件轉(zhuǎn)碼多個(gè)檔位的請求調(diào)度到同一臺主機(jī)上，以復(fù)用前置處理結(jié)果。

其次，我們通過復(fù)用編碼器 lookahead 幀決策、MBTree 等信息。針對同一個(gè)視頻文件的轉(zhuǎn)碼，我們通常只需要對其中一個(gè)檔位的視頻做幀決策，其他的檔位直接復(fù)用幀類型信息。在編碼環(huán)節(jié)中復(fù)用運(yùn)動向量，skip 塊等信息來減少運(yùn)算量。

經(jīng)過測試，有參考信息的轉(zhuǎn)碼檔位能節(jié)省 50% 的運(yùn)算量。復(fù)用的轉(zhuǎn)碼檔位越多，節(jié)省的 CPU 算力也越多。

以上就是本次分享的主要內(nèi)容。接下來我們還會發(fā)布在 x265 編碼器上的一些優(yōu)化，在一些視頻業(yè)務(wù)上支持 H.265 編碼能力，進(jìn)一步提高視頻用戶體驗(yàn)。

審核編輯 ：李倩