文章轉(zhuǎn)發(fā)自51CTO【ELT.ZIP】OpenHarmony啃論文俱樂部——一文穿透多媒體過往前沿

上篇回顧

一文穿透多媒體過往前沿上篇無損壓縮，介紹：PNG、GIF、MNG和APNG

1.有損壓縮基本概念

有損壓縮即指原始信息序列中的一些信息丟失的壓縮，這便意味著原始信息一經(jīng)有損壓縮過程操作后，不能再由生成的序列重新還原而得到。在此之前，多數(shù)朋友潛意識里可能會默認(rèn)有損壓縮的意義是相比無損壓縮，為了實(shí)現(xiàn)更好的壓縮比，致使對相同源數(shù)據(jù)操作后，得到的結(jié)果質(zhì)量相對會更差。其實(shí)呢，并非如此——舉個常見的例子：對同一元圖像，對其均按100%質(zhì)量存儲，得到的jpg格式大小可能是4M左右，而png格式大小卻達(dá)到了40M。

那么，jpg相比png少的幾十M大小的數(shù)據(jù)究竟是什么呢？其中，除舍棄的部分人眼不可察覺的顏色位之外，還包括大多數(shù)要還原回元圖像所需的必需數(shù)據(jù)。因此，信息丟失并不意味著輸出質(zhì)量降低。但，大多數(shù)有損壓縮技術(shù)的使用方式高度依賴于被壓縮的媒體，就像音頻的有損壓縮與圖像的有損壓縮十分不同。

多媒體圖像如今已然成為日常生活中不可獲缺的組成部分。圖像中編碼的信息量是相當(dāng)大的，即便帶寬和存儲能力方面有了長足的進(jìn)步，但若不對圖像進(jìn)行壓縮，許多應(yīng)用的成本仍然會較高。

JPEG（編者注：Joint Photographic Experts Group聯(lián)合攝影專家組工作組的縮寫）和相關(guān)的MPEG（編者注：Moving Picture Experts Group動畫專家工作組的縮寫）格式是多媒體壓縮的典型范例，它們均在實(shí)踐中被廣泛應(yīng)用，同時也使用了諸如Huffman碼、算術(shù)編碼、游程編碼、標(biāo)量量化等技術(shù)。

其中，JPEG用于靜態(tài)圖像，在網(wǎng)絡(luò)上被作為攝影圖像的標(biāo)準(zhǔn)；MPEG是基于JPEG的一種變體，用于視頻編碼（每一幀都使用JPEG的變體編碼）。二者均為有損格式。

2.有損壓縮的發(fā)展進(jìn)程

2.1 JPEG的發(fā)展進(jìn)程

JPEG在1992年推出以來，一直是世界上使用最為廣泛的圖形壓縮標(biāo)準(zhǔn)。JPEG 壓縮圖像通常以JFIF（編者注：JPEG 文件交換格式JPEG File Interchange Format的縮寫）文件格式存儲。文件擴(kuò)展名是JPG或JPEG。支持 8 位灰度圖像和 24 位彩色圖像（紅、綠、藍(lán)各 8 位）。JPEG 對圖像應(yīng)用有損壓縮，這可以顯著減小文件大小。應(yīng)用程序可以確定要應(yīng)用的壓縮程度，壓縮量會影響結(jié)果的視覺質(zhì)量。如果不是太大，壓縮不會顯著影響或降低圖像質(zhì)量，但 JPEG 文件在反復(fù)編輯和保存時會出現(xiàn)代際退化。

JPEG 2000 (JP2) 是聯(lián)合攝影專家組工作組在1997年～2000年間開發(fā)的，旨在取代其原始JPEG標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)基于離散余弦變換（DCT），采用新設(shè)計的基于離散小波變換(DWT) 的方法。對于符合 ISO / IEC 15444-1 的文件，標(biāo)準(zhǔn)化文件擴(kuò)展名為.jp2。該標(biāo)準(zhǔn)可適用于帶有Motion JPEG 2000擴(kuò)展的運(yùn)動成像視頻壓縮。JPEG 2000 技術(shù)在 2004年被選為數(shù)字電影的視頻編碼標(biāo)準(zhǔn)。

JPEG XL是一種免版稅的 光柵圖形文件格式，是2017年被JTC1 / SC29 / WG1 (JPEG) 聯(lián)合發(fā)布的下一代圖像編碼標(biāo)準(zhǔn)。與 JPEG 相比，其壓縮效率顯著提高（提高了 60%）。該標(biāo)準(zhǔn)有望超越HEIC（編者注：High Efficiency Video Coding）、AVIF（編者注：AV1 Image File Format）、WebP和JPEG 2000所顯示的靜止圖像壓縮性能。它還為傳統(tǒng)/傳統(tǒng) JPEG 格式的圖像提供高效的無損重新壓縮選項。文件格式和核心編碼系統(tǒng)分別于2021年10月13日和2022年3月30日正式標(biāo)準(zhǔn)化。JPEG XL 支持超高分辨率圖像（高達(dá) 1 兆像素）、高達(dá) 32 位/分量、多達(dá) 4099 個分量（包括alpha 透明度）、動畫圖像和嵌入式預(yù)覽的有損壓縮和無損壓縮。

2.2視頻編碼發(fā)展進(jìn)程

目前，視頻編碼方式主要分為三大系列：

2.2.1H.26x系列

H.26x系列（由ITU[國際電傳視訊聯(lián)盟]主導(dǎo)），包括H.261、H.262、H.263、H.264、H.265、H.266…

格式	細(xì)節(jié)
H.261	制定于1990年，主要在老的視頻會議和視頻電話產(chǎn)品中使用
H.263	制定于1996年，主要用在視頻會議、視頻電話和網(wǎng)絡(luò)視頻上
H.264	制定于2003年，MPEG-4第十部分，或稱AVC(Advanced Video Coding)，被廣泛用于高精度視頻錄制、壓縮及發(fā)布
H.265	制定于2013年，High Efficiency Video Coding，簡稱HEVC，支持4K到8K高畫質(zhì)分辨率，兩倍于H.264的壓縮率
H.266	制定于2020年，Versatile Video Coding，簡稱VVC，主面向4K到8K高畫質(zhì)分辨率，兩倍于H.265的壓縮率

2.2.2MPEG系列

MPEG系列（由ISO[國際標(biāo)準(zhǔn)組織機(jī)構(gòu)]下屬的MPEG[動態(tài)圖像專家組]開發(fā)），包括MPEG-1、MPEG-2、MPEG-4、MPEG-7、MPEG-21…

格式	細(xì)節(jié)
MPEG-1	制定于1992年，是VCD的視頻圖像壓縮標(biāo)準(zhǔn)
MPEG-2	制定于1994年，是DVD/超級VCD的視頻圖像壓縮標(biāo)準(zhǔn)
MPEG-3	由于MPEG－2的出色表現(xiàn)，已能適用于HDTV，使得原本為其設(shè)計的MPEG-3，還沒出世便被拋棄了
MPEG-4	制定于1998年，是網(wǎng)絡(luò)視頻圖像壓縮標(biāo)準(zhǔn)之一，可使用在網(wǎng)絡(luò)傳輸、廣播和媒體存儲，常見的就是MP4

2.2.2其他系列

其他系列，包括AMV、AVS、Bink、CineForm、Cinepak、Dirac、DV、Indeo、Video、Pixlet、RealVideo、RTVideo、SheerVideo、Smacker、Sorenson Video、Theora、VC-1、VP3、VP6、VP7、VP8、VP9、WMV…

3.JPEG 技術(shù)介紹

3.1JPEG簡介

JPEG是聯(lián)合攝影專家組開發(fā)的圖像壓縮標(biāo)準(zhǔn)，目的是在不影響圖像質(zhì)量的情況下盡可能減少自然的、像照片一樣的真彩圖像（每個像素值都分成R、G、B三個基色分量，每個基色分量直接決定其基色的強(qiáng)度）的文件大小，但它不能很好地處理雙層（黑白）圖像，也不能處理偽彩色圖像（將實(shí)際是索引值的每個像素值作為色彩查找表CLUT中相應(yīng)項的入口地址，再根據(jù)該地址查找出實(shí)際R、G、B的強(qiáng)度值）。JPEG在“連續(xù)色調(diào)”圖像上效果最好，若是有許多跳躍的色值則效果不太好。

3.2JPEG基本步驟

若顏色分量是獨(dú)立不相關(guān)的，便可以獲得最好的壓縮效果。因此，這一步主要是通過線性變換將RGB分量轉(zhuǎn)換為信息集中分布在亮度而非色度上的YCbCr分量模式。

利用YCbCr的特性，去除一些Cb和Cr元素，即可在這一步取得初步的壓縮效果。如，將RGB為44的格式轉(zhuǎn)換為YCbCr為42的格式，便獲得了壓縮比為 12/8=1.5 的壓縮效果。這一步，將YCbCr的每個分量轉(zhuǎn)換成一個領(lǐng)域表示，以便后續(xù)操作。JPEG編碼簡單將頻域中的每個分量除以一個常量，經(jīng)過一番四舍五入。結(jié)果是，許多高頻的分量被四舍五入為了零，其余大部分分量則變成了較小的正數(shù)或負(fù)數(shù)，只需要更少的位進(jìn)行存儲。因此，整個過程中主要的有損操作都在這一步完成。

詳見《輕翻那些永垂不朽的詩篇 第四章 第二代圖片壓縮技術(shù)》中相關(guān)內(nèi)容。

1. 顏色空間轉(zhuǎn)換：

2. 色度采樣（可選）：

3. 離散余弦變換（DCT）：

4. 量化：

5. 熵編碼：

4.MPEG技術(shù)介紹

4.1MPEG簡介

MPEG全稱動態(tài)圖像專家組。理論上，因?yàn)橐曨l流是離散圖像序列，MPEG則使用這些連續(xù)幀之間的特殊或時間關(guān)系壓縮視頻流?；谥霸S多方法，可見，一種技術(shù)越能有效利用一段數(shù)據(jù)中的某些關(guān)系，數(shù)據(jù)壓縮的效果便越好。

MPEG標(biāo)準(zhǔn)主要有五個，MPEG-1、MPEG-2、MPEG-4、MPEG-7及MPEG-21。其委員會組建于1988年，專門負(fù)責(zé)為CD制定視頻和音頻標(biāo)準(zhǔn)。第一個公開標(biāo)準(zhǔn)是MPEG-1, ISO/IEC 11172，于 1993 年首次發(fā)布。

MPEG算法只對視頻幀序列的新生部分和運(yùn)動部分的信息進(jìn)行編碼，如下圖三個序列中的小人便是MPEG編碼壓縮時需要考慮的范疇。

4.2MPEG基本應(yīng)用

應(yīng)用	細(xì)節(jié)
有線、無線電視	一些電視系統(tǒng)通過線路傳送MPEG-II程序
直播衛(wèi)星	MPEG視頻流由碟形解碼器接收，提取標(biāo)準(zhǔn)NTSC信號數(shù)據(jù)
媒體金庫	供應(yīng)商提供的視頻點(diǎn)播系統(tǒng)，單臺設(shè)備就能播放20萬個MPEG編碼電影
實(shí)時編碼	結(jié)合特殊用途的并行硬件，實(shí)時編碼器可花費(fèi)10~30萬元

隨著互聯(lián)網(wǎng)的數(shù)字視頻消費(fèi)的持續(xù)增長，包括UHD、VR和流媒體等服務(wù)，以及社交網(wǎng)絡(luò)的視頻分享，電信基礎(chǔ)設(shè)施的可用帶寬正在接受挑戰(zhàn)。AV1和H.266是新一代視頻格式，將被廣泛應(yīng)用從而應(yīng)對以上問題。

5. AV1技術(shù)介紹

5.1AV1簡介

開放媒體聯(lián)盟(AOMedia)于2015年成立，作為一個開發(fā)開放、免版稅的多媒體交付技術(shù)的聯(lián)盟。其在2018年發(fā)布了第一個視頻壓縮格式AV1，《AV1 Video Codec | Alliance for Open Media》，比其前身VP9的壓縮能力增強(qiáng)了約30%。AV1格式已經(jīng)得到了許多網(wǎng)絡(luò)平臺的支持，包括安卓、Chrome、微軟Edge和火狐，以及多個基于網(wǎng)絡(luò)的視頻服務(wù)提供商，包括YouTube、Netflix、Vimeo，已經(jīng)開始大規(guī)模推出AV1流媒體服務(wù)。

AV1 視頻編碼截至本文目前仍處于起步階段，任何 AMD 和 NVIDIA 消費(fèi)級 GPU 都沒有硬解 AV1 的能力，除了少數(shù)型號外少有支持。但是，目前大多數(shù) GPU 能夠軟解 AV1（ AMD Navi 24 GPU 除外）。

在同樣的視頻質(zhì)量下，AV1 的視頻碼率是 44.9Mb / s，而 H.264 格式的是 64.7Mb / s，因此它可以節(jié)約 30% 的流量 / 比特率，不管對于用戶還是服務(wù)供應(yīng)商來說這都十分劃算。隨著 AV1 編解碼器的日益普及，它將會成為 AVC / HEVC 的免費(fèi)替代品。有些視頻流媒體服務(wù)只要檢測到支持的解碼硬件，例如 Netflix，就會自動為你提供 AV1 流視頻，所以這對于現(xiàn)有流媒體服務(wù)來說倒是十分有利。

5.2AV1優(yōu)點(diǎn)

• 免收專利費(fèi)
• 與VP9和H.265相比，有著明顯的編碼效率提升

Source: Graphics & Media Lab Video Group, Moscow State University

從圖中可以看到，相較于VP9與H.265，AV1編碼效率有近30%的提升。

5.3AV1編碼質(zhì)量測試

為了驗(yàn)證AV1的編碼效果，使用Youtube提供的分別為480p、720p、1080p、4K的VP9編碼格式和480p、720p、1080p的AV1編碼格式視頻樣本進(jìn)行測試。

由于目前支持硬解AV1編碼的GPU芯片較少，只能依靠軟解，因此在實(shí)際測試AV1視頻播放時較為卡頓。

上圖分別取自1080P分辨率下AV1與VP9的表現(xiàn)效果。可以看出，AV1比VP9擁有更好的清晰度。

5.4 結(jié)論

對比VP9，AV1擁有更好的編碼效率，其普及對于流視頻具有重要意義，用戶可在帶寬及消耗流量不變的情況下觀看畫面質(zhì)量更清晰的視頻。

6.H.266

6.1H.266簡介

VCC簡稱 H.266 的通用視頻編碼(Versatile Video Coding，VVC)，由德國弗勞恩霍夫海因里希赫茲研究所（Fraunhofer HHI）于2020年7月正式發(fā)布。

該新一代MPEG視頻標(biāo)準(zhǔn)由國際電聯(lián)(ITU-T)和國際標(biāo)準(zhǔn)化組織(ISO)聯(lián)合開發(fā)，過去三年，包括蘋果、愛立信、英特爾、華為、微軟、高通、索尼等在內(nèi)的企業(yè)，一直在努力推動這項新技術(shù)的發(fā)展。

與簡稱 H.265 的高效視頻編碼（High Efficiency Video Coding, HEVC）前身一樣，H.266有望將視頻文件的比特率和大小降低 50% 左右，同時不會在視覺保真度上產(chǎn)生明顯的差異，主要面向4K、8K服務(wù)。簡單來說，基于H.265編碼的一段90分鐘UHD 4K視頻需要10GB左右，而基于 H.266 則僅需5GB。

6.2與AV1的爭奪戰(zhàn)

隨著全球互聯(lián)網(wǎng)視頻需求的增長，MPEG 正在推動 H.266 / VCC 及其它兩個標(biāo)準(zhǔn)的發(fā)展。其中 MPEG-5 Part 1又被稱作基礎(chǔ)視頻編碼（Essential Video Coding，EVC），由華為、高通、三星等企業(yè)牽頭制定；Part 2又被稱作低復(fù)雜度增強(qiáng)視頻編碼（LCEVC）。在2020年5月，EVC 編碼標(biāo)準(zhǔn)正式被提升為最終國際標(biāo)準(zhǔn)（FDIS）狀態(tài)。

因此，MPEG 的此番發(fā)力，與免專利費(fèi)的 AV1 開放標(biāo)準(zhǔn)所帶來的強(qiáng)大競爭有直接關(guān)系。

英國廣播公司（BBC）研發(fā)部門去年進(jìn)行的初步測試顯示，VVC 的成績很是鼓舞人心，因?yàn)樾聵?biāo)準(zhǔn)較 HEVC 和 AV1 節(jié)省了大量的比特率，尤其是在 4K UHD 文件的支持上。

<本文完>

技術(shù)DNA

智慧場景

參考文獻(xiàn)

https://www.researchgate.net/publication/270408593_A_Survey_of_Data_Compression_Algorithms_and_their_Applications

https://ieeexplore.ieee.org/document/9363937/citations

http://www.researchgate.net/publication/348023353_An_Overview_of_Dedicated_Hardware_Designs_for_State-of-the-Art_AV1_and_H266VVC_Video_Codecs

https://zhuanlan.zhihu.com/p/86890266

https://www.eet-china.com/news/202008181407.html

https://blog.csdn.net/lxc1014/article/details/45666281

http://www.zlib.net/

https://tinypng.com/

1. Hosseini M . A Survey of Data Compression Algorithms and their Applications[C]// Applications of Advanced Algorithms. 2012.

2. Han J , Li B , Mukherjee D , et al. A Technical Overview of AV1[J]. Proceedings of the IEEE, 2021, PP(99):1-28.
3. Saldanha M , Correa M , Correa G , et al. An Overview of Dedicated Hardware Designs for State-of-the-Art AV1 and H.266/VVC Video Codecs[C]// 2020 27th IEEE International Conference on Electronics, Circuits and Systems (ICECS). IEEE, 2020.
4. AV1編碼質(zhì)量初探
5. H.266/VCC編碼標(biāo)準(zhǔn)發(fā)布，4K/8K視頻大小減半清晰度不變
6. 視頻格式與編碼壓縮標(biāo)準(zhǔn) mpeg4，H.264.H.265 有什么關(guān)系？
7. zlib Home Site
8. TinyPNG – Compress WebP, PNG and JPEG images intelligently

ELT.ZIP是誰？

ELT<=>Elite(精英)，.ZIP為壓縮格式，ELT.ZIP即壓縮精英。

成員：

上海工程技術(shù)大學(xué)大二在校生閆旭

合肥師范學(xué)院大二在校生楚一凡

清華大學(xué)大二在校生趙宏博

成都信息工程大學(xué)大一在校生高云帆

黑龍江大學(xué)大一在校生高鴻萱

山東大學(xué)大三在校生張智騰

ELT.ZIP是來自6個地方的同學(xué)，在OpenHarmony成長計劃啃論文俱樂部里，與來自華為、軟通動力、潤和軟件、拓維信息、深開鴻等公司的高手一起，學(xué)習(xí)、研究、切磋操作系統(tǒng)技術(shù)...

寫在最后

OpenHarmony 成長計劃—“啃論文俱樂部”（以下簡稱“啃論文俱樂部”）是在 2022年 1 月 11 日的一次日?；顒又姓Q生的。截至 3 月 31 日，啃論文俱樂部已有 87 名師生和企業(yè)導(dǎo)師參與，目前共有十二個技術(shù)方向并行探索，每個方向都有專業(yè)的技術(shù)老師帶領(lǐng)同學(xué)們通過啃綜述論文制定技術(shù)地圖，按“降龍十八掌”的學(xué)習(xí)方法編排技術(shù)開發(fā)內(nèi)容，并通過專業(yè)推廣培養(yǎng)高校開發(fā)者成為軟件技術(shù)學(xué)術(shù)級人才。

啃論文俱樂部的宗旨是希望同學(xué)們在開源活動中得到軟件技術(shù)能力提升、得到技術(shù)寫作能力提升、得到講解技術(shù)能力提升。大學(xué)一年級新生〇門檻參與，已有俱樂部來自多所高校的大一同學(xué)寫出高居榜首的技術(shù)文章。

如今，搜索“啃論文”，人們不禁想到、而且看到的都是我們——OpenHarmony 成長計劃—“啃論文俱樂部”的產(chǎn)出。

OpenHarmony開源與開發(fā)者成長計劃—“啃論文俱樂部”學(xué)習(xí)資料合集

1）入門資料：啃論文可以有怎樣的體驗(yàn)

https://docs.qq.com/slide/DY0RXWElBTVlHaXhi?u=4e311e072cbf4f93968e09c44294987d

2）操作辦法：怎么從啃論文到開源提交以及深度技術(shù)文章輸出https://docs.qq.com/slide/DY05kbGtsYVFmcUhU

3）企業(yè)/學(xué)校/老師/學(xué)生為什么要參與 & 啃論文俱樂部的運(yùn)營辦法https://docs.qq.com/slide/DY2JkS2ZEb2FWckhq

4）往期啃論文俱樂部同學(xué)分享會精彩回顧：

同學(xué)分享會No1.成長計劃啃論文分享會紀(jì)要（2022/02/18）https://docs.qq.com/doc/DY2RZZmVNU2hTQlFY

同學(xué)分享會No.2 成長計劃啃論文分享會紀(jì)要（2022/03/11）https://docs.qq.com/doc/DUkJ5c2NRd2FRZkhF

同學(xué)們分享會No.3 成長計劃啃論文分享會紀(jì)要（2022/03/25）

https://docs.qq.com/doc/DUm5pUEF3ck1VcG92?u=4e311e072cbf4f93968e09c44294987d

現(xiàn)在，你是不是也熱血沸騰，摩拳擦掌地準(zhǔn)備加入這個俱樂部呢？當(dāng)然歡迎啦！啃論文俱樂部向任何對開源技術(shù)感興趣的大學(xué)生開發(fā)者敞開大門。

掃碼添加 OpenHarmony 高校小助手，加入“啃論文俱樂部”微信群

后續(xù)，我們會在服務(wù)中心公眾號陸續(xù)分享一些 OpenHarmony 開源與開發(fā)者成長計劃—“啃論文俱樂部”學(xué)習(xí)心得體會和總結(jié)資料。記得呼朋引伴來看哦。