本文由芒果TV音視頻技術(shù)專家譚嵩在LiveVideoStackCon2020線上峰會的演講內(nèi)容整理而成，結(jié)合芒果TV的工程化研發(fā)實踐經(jīng)驗，對基于主觀感興趣區(qū)域的視頻編碼技術(shù)進行了詳細解析。

大家好，本次分享我將結(jié)合芒果TV音視頻技術(shù)研發(fā)團隊的實踐，對主觀感興趣區(qū)域的視頻編碼技術(shù)進行詳細解析。內(nèi)容包括以上四個部分，其中會重點介紹我們在主觀感興趣區(qū)域編碼工程化中遇到的一些問題與思考。 1 5G背景下，視頻運營平臺的新挑戰(zhàn)

隨著5G時代的到來，用戶對于視頻畫質(zhì)體驗的要求越來越高，如4K、8K、高幀率、HDR等。廣電總局對電視播出的4K超高清視頻規(guī)范的要求是視頻碼率大于100兆?；ヂ?lián)網(wǎng)視頻應(yīng)用對此還沒有規(guī)范性的標準，但為了達到合格的播放體驗要求，視頻碼率也將呈現(xiàn)出成倍增長的趨勢，這就導(dǎo)致視頻運營平臺短期內(nèi)在CDN成本、用戶播放卡頓兩方面會面臨更加嚴峻的挑戰(zhàn)。

面對上述挑戰(zhàn)，我們最容易想到的方法就是通過壓縮效率更高的下一代視頻編碼標準，如AV1、VVC等，有效降低成本。但就目前情況來看，這些標準其實還不具備大規(guī)模商用的生態(tài)環(huán)境，真正能夠支持硬件解碼的設(shè)備其實非常的少。另一方面，內(nèi)容感知編碼以及拐點參數(shù)在國內(nèi)外各大視頻平臺已經(jīng)得到普遍的應(yīng)用。在這種情況下，我們需要的是挖掘更多的工具或手段，極限壓榨編碼的碼率。 2 人眼主觀感興趣關(guān)注的特點 2.1 人眼的視覺過程

人眼的視覺過程大致為視網(wǎng)膜成像，大腦接收信息并做出初步的分析，產(chǎn)生視覺注意力聚集，并且最后對重點區(qū)域做關(guān)注。例如，人在開車過程中，前方的道路和車輛就是主觀關(guān)注和感興趣區(qū)域，周邊的區(qū)域就是非關(guān)注區(qū)域。

2.2 主觀感興趣區(qū)域數(shù)據(jù)的提取

主觀感興趣區(qū)域數(shù)據(jù)集一般是通過眼動儀獲取。眼動儀是記錄眼動行為的一套設(shè)備，它包括一幅特殊的眼鏡，一個記錄模塊，一套控制軟件，一套數(shù)據(jù)分析軟件。其中控制軟件是非常重要的一個組成部分，因為它要對觀看的對象和眼部行為數(shù)據(jù)做精密的同步，數(shù)據(jù)分析軟件就是后期對數(shù)據(jù)做清洗分析。

使用眼動儀獲取ROI大數(shù)據(jù)要注意這樣幾點問題：首先使用眼動儀收集數(shù)據(jù)的成本比較高，且更為重要的是人力的投入，因為需要有一定基數(shù)的參與量，數(shù)據(jù)才具有客觀意義；其次是數(shù)據(jù)的可靠性，一個經(jīng)驗并不豐富的測試人員，很可能在測試過程中會給自己某些心理暗示，導(dǎo)致記錄的行為并非自然狀態(tài)下的真實行為，也就是說最后取得的數(shù)據(jù)很可能是無效的；最后，第三點就是數(shù)據(jù)清洗。 3 主觀感興趣視頻編碼的工程應(yīng)用 3.1 設(shè)計背景

基于感興趣區(qū)域的視頻編碼是利用人眼主觀存在感興趣區(qū)域和非感興趣區(qū)域的特點，我們對主觀感興趣區(qū)域和非感興趣區(qū)域的碼率分配做一定的修正，將更多的碼率分配到主觀感興趣區(qū)域，從而在主觀上提升視頻質(zhì)量。這是感興趣區(qū)域視頻編碼的理論設(shè)計，在工程上官方版本的x264、x265編碼器并沒有這樣的設(shè)計，即對于一個x264編碼器或者x265編碼器來說，視頻的每個畫面中的每個像素都是同等重要。因此我們需要對編碼器做一個工程化的開發(fā)，來實現(xiàn)不同像素的權(quán)重差異化，目標是達到同等碼率提升主觀質(zhì)量或者同等體驗降低碼率，降低運營成本。 3.2 ROI編碼器實現(xiàn)架構(gòu)設(shè)計

我們在編碼的兩個階段做了ROI的處理，分別是視頻的前處理以及視頻編碼的過程。 前處理階段主要是做ROI區(qū)域的增強，即圖像層面的增強，同時對非ROI區(qū)域圖像層面，進行降噪、磨皮等處理。做過視頻編碼的朋友應(yīng)該清楚，高頻其實對編碼是不太友好的，低頻則對編碼更加友好。非ROI區(qū)域進行降噪、磨皮之后，更多的就變成了相對友好的低頻區(qū)域。那么在同等的PSNR或者客觀指標下，碼率會有明顯的降低。 視頻編碼階段，我們主要是通過AQ調(diào)整QP值，實現(xiàn)碼率分配的修正。也就是說對不同的主觀感興趣區(qū)域和非感興趣區(qū)域做不同的QP調(diào)整， QP越小，質(zhì)量越好，碼率也會越高；QP越大，宏塊得到的碼率越小，畫質(zhì)越差。通過這樣一個調(diào)整，實現(xiàn)ROI的權(quán)重調(diào)整。 3.3 ROI區(qū)域的定義

ROI編碼并不是一個很新的概念，之前就有中心區(qū)域ROI、人臉ROI、字幕ROI等。 中心區(qū)域ROI是基于經(jīng)驗的判斷，在正常視頻的拍攝手法上通常會將最重要的內(nèi)容放在畫面最中間。人臉ROI其實也是基于這樣的經(jīng)驗判斷，一般來講人物往往是視頻內(nèi)容中的主角。 字幕ROI是非常重要的一個方面，我們做過一個主觀的調(diào)研：完全同樣的視頻畫面，分別提供不同清晰度的字幕進行主觀盲測。最終結(jié)果是：認為“字幕清晰”的視頻是“畫質(zhì)更好”視頻的，占比明顯更高。 基于深度學(xué)習(xí)的ROI區(qū)域識別是當(dāng)前更有效的手段。 3.4 深度學(xué)習(xí)的ROI的識別技術(shù)

基于深度學(xué)習(xí)的ROI的識別在技術(shù)上分為兩類，一個是基于感興趣區(qū)域的熱度圖檢測，另外一個是顯著對象分割。通過實踐理解，在應(yīng)用場景上我們認為這兩者是有一定差異性的。我們認為感興趣區(qū)域的熱度圖更適合長視頻劇集類型的節(jié)目，顯著對象分割則更適合真人自拍小視頻等場景。 3.4.1 顯著對象分割

顯著對象分割為什么會更適合真人直播或者真人自拍小視頻？ 真人直播或者真人自拍小視頻通常來說有這兩個特點：第一是前景在畫面中面積的占比一般較大；第二是前景和背景相關(guān)性比較弱，且前景的內(nèi)容重要性具有絕對的地位。以此可以也必須對背景做比較多的圖像細節(jié)丟失和編碼壓縮，來提升前景顯著區(qū)域的畫面質(zhì)量。 3.4.2 感興趣區(qū)域熱度檢測

劇集類長視頻節(jié)目的特點是畫面的整體相關(guān)性更強、畫面存在多點位ROI區(qū)域，因此不能類似于真人小視頻一樣過度的衰減非ROI區(qū)域來補償ROI區(qū)域，需要用較多的非ROI區(qū)域來補償較小的ROI區(qū)域，這樣非ROI區(qū)域的衰減在主觀上也不明顯。感興趣熱度圖符合這個需求特點。 3.5 第一版ROI編碼工程化實現(xiàn)過程

這是我們在ROI編碼工程化過程中實現(xiàn)的第一個版本。首先實現(xiàn)的是對一個ROI元素的處理。我們從原圖分析得到ROI的熱度圖，然后對熱度圖做二值化處理并且膨脹后腐蝕到可控的閾值范圍內(nèi)的ROI面積占比。最后我們做了一個宏塊級的數(shù)據(jù)結(jié)構(gòu)化，因為最終要映射到編碼宏塊上去，這里有一個閾值參數(shù)，是我們要控制好ROI區(qū)域和非ROI區(qū)域的面積占比。面積太小，ROI增強的效果不太明顯，但是面積過大，由于ROI區(qū)域畫質(zhì)提升是以犧牲非ROI區(qū)域的細節(jié)或質(zhì)量實現(xiàn)的，這會導(dǎo)致非ROI區(qū)域的質(zhì)量下降非常明顯、如果進一步下降達到主觀產(chǎn)生厭惡感的閾值，會吸引注意力到這些糟糕的、突兀的畫面上，ROI編碼的目的就沒有達到。

在工程化實現(xiàn)上，我們對x264、265編碼器做了一個ROI的編碼實現(xiàn)。編碼器讀取當(dāng)前幀的ROI分析結(jié)果元數(shù)據(jù)，在視頻編碼器中通過AQ實現(xiàn)對QP的修正，ROI區(qū)域的QP會降低，編碼質(zhì)量會提升，同時碼率也會消耗的更多。整幀碼率控制依然由x264和x265原生的碼率控制算法負責(zé)。 3.6 二值ROI的失敗case

做完第一個版本之后，我們發(fā)現(xiàn)，由于這是一個二值ROI，ROI區(qū)域和非ROI區(qū)域是0和1的區(qū)別，導(dǎo)致ROI和非ROI區(qū)域的非平滑過渡在銜接處會有一個明顯的畫質(zhì)對比跳變（QP值跳變）。第二個問題是我們對非ROI區(qū)域的QP調(diào)整是交回給x264和x265編碼器原生的碼率控制，由于我們對ROI區(qū)域的QP調(diào)整破壞了原生碼率控制算法的數(shù)學(xué)關(guān)系，所以部分場景出現(xiàn)非ROI區(qū)域的渣感現(xiàn)象。這是兩個失敗的case。 3.7 灰階ROI迭代版本

因為上述兩個失敗的case，我們進一步提出了一個迭代版本灰階ROI。灰階ROI實現(xiàn)的是ROI和非ROI區(qū)域之間一個ROI強度的灰度過渡，所以QP會有一個平滑的調(diào)整，避免兩個區(qū)域邊緣質(zhì)量差距過大，形成一個突兀的畫質(zhì)對比。 3.7.1 灰階ROI的計算過程

灰階ROI碼率控制的計算過程：我們的計算目標是得到一個QP的修正值QP’，Sij是我們對應(yīng)宏塊的一個灰階的ROI值，也就是我們剛才這里ROI的一個灰度的數(shù)值，范圍是0到255。p%其實是ROI區(qū)域的面積占比，b%是ROI區(qū)域的碼率的占比，也就是說我們在p%面積占比的ROI區(qū)域上給予了b%的碼率。目前我們采用的數(shù)值p是20%，b是30%，會對20%的面積修正給予30%的碼率。同時對非ROI區(qū)域的QP做了反向的主動修正。

通過這個迭代版本實現(xiàn)了ROI和非ROI區(qū)域畫質(zhì)的平滑過渡，同時非ROI區(qū)域渣感明顯降低。 3.8 效果評估

這段視頻是最終送給編碼器指導(dǎo)ROI編碼的ROI灰階圖數(shù)據(jù)的真實示例。為了更加清晰和直觀，這個示例中非ROI區(qū)域我們做了一個灰度視頻顯示，ROI區(qū)域還是原來的彩色顯示。

上圖是ROI編碼和非ROI編碼的實際效果對比圖。其中ROI編碼的版本降低10%碼率，在這個條件下，主觀質(zhì)量依然高于非ROI編碼版本。 4 問題和挑戰(zhàn)

我們在最后繼續(xù)向行業(yè)拋出這個不算很新的話題 — ROI編碼視頻質(zhì)量的機器評價，目前我們主要還是通過人工的方式進行一些主觀評價。在批量化自動生產(chǎn)條件下，如何做好ROI編碼視頻質(zhì)量的機器評價，是非常具有挑戰(zhàn)和價值的一項工作。