是否有探索開(kāi)源鴻蒙音視頻編解碼技術(shù)的欲望？是否對(duì)開(kāi)源鴻蒙音視頻編解碼格式支持有訴求？別急——今天這份開(kāi)源鴻蒙AVCodec Kit介紹文章，就是解答疑惑的指南！參考這份指南，可以使用開(kāi)源鴻蒙的音視頻編解碼能力，進(jìn)行應(yīng)用開(kāi)發(fā)；也可以參與共建，讓開(kāi)源鴻蒙音視頻編解碼更加完善！

一、概述

AVCodec Kit（Audio & Video Codec Kit，音視頻編解碼，封裝解析）是媒體系統(tǒng)中的音視頻的編解碼、媒體文件的解析、封裝、媒體數(shù)據(jù)輸入等原子能力。 基于性能考慮，AVCodec Kit僅提供C接口。

1.1 功能模塊

1.2 簡(jiǎn)易架構(gòu)圖

二、亮點(diǎn)/特征

2.1系統(tǒng)內(nèi)部數(shù)據(jù)零拷貝

在視頻解碼過(guò)程，AVCodec通過(guò)回調(diào)函數(shù)提供AVBuffer給應(yīng)用，由應(yīng)用將要解碼的sample數(shù)據(jù)寫(xiě)入AVBuffer，在AVCodec中數(shù)據(jù)不再需要從內(nèi)存拷入硬件解碼器，而是直接送入解碼器解碼，實(shí)現(xiàn)系統(tǒng)內(nèi)數(shù)據(jù)零拷貝。

2.2視頻編碼、解碼支持硬件加速

支持H.264、H.265、H.265 10bit的硬件編解碼。

三、AVCodec Kit三大功能模塊簡(jiǎn)介

3.1音頻編解碼

3.1.1功能簡(jiǎn)介

音頻編碼的輸入和音頻解碼的輸出為PCM格式。

3.1.2流程圖

3.1.3流程說(shuō)明

在編碼過(guò)程中，采集模塊將PCM數(shù)據(jù)通過(guò)回調(diào)函數(shù)通知應(yīng)用數(shù)據(jù)處理的情況。

完成一幀編碼，輸出編碼結(jié)果AVBuffer。

在解碼過(guò)程通過(guò)回調(diào)通知應(yīng)用輸入一幀碼流到解碼器解碼，當(dāng)解碼完成也會(huì)通過(guò)回調(diào)通知應(yīng)用解碼完成。

應(yīng)用可以對(duì)數(shù)據(jù)做后續(xù)處理。

3.2視頻編解碼

3.2.1功能簡(jiǎn)介

視頻編碼的輸入和視頻解碼的輸出支持Surface模式。

3.2.2流程圖

3.2.3流程說(shuō)明

在編碼過(guò)程中，將surface數(shù)據(jù)通過(guò)回調(diào)函數(shù)通知應(yīng)用數(shù)據(jù)處理的情況。

完成一幀編碼，輸出編碼結(jié)果AVBuffer。

在解碼過(guò)程通過(guò)回調(diào)通知應(yīng)用輸入一幀碼流到解碼器解碼。

當(dāng)解碼完成也會(huì)通過(guò)回調(diào)通知應(yīng)用解碼完成，應(yīng)用可以對(duì)數(shù)據(jù)做后續(xù)處理。

3.3媒體文件封裝解封裝

3.3.1功能簡(jiǎn)介

將編碼后的音視頻數(shù)據(jù)封裝為媒體文件，將媒體文件解析為音視頻數(shù)據(jù)。

3.3.2流程圖

3.3.3流程說(shuō)明

在文件封裝環(huán)節(jié)，應(yīng)用將AVBuffer送入Codec對(duì)應(yīng)的接口，執(zhí)行數(shù)據(jù)封裝。

AVBuffer可以是由上述編碼輸出的AVBuffer，也可以是應(yīng)用創(chuàng)建的AVBuffer，AVBuffer中要攜帶有效的碼流數(shù)據(jù)和相關(guān)的時(shí)間描述等信息。

在文件解封裝環(huán)節(jié)，應(yīng)用從Codec對(duì)應(yīng)的接口獲得攜帶有碼流數(shù)據(jù)的AVBuffer，該AVBuffer可以送入上述視頻和音頻編解碼對(duì)應(yīng)接口。

五、結(jié)語(yǔ)

AVCodec Kit使得應(yīng)用能夠直接調(diào)用系統(tǒng)提供的編解碼、封裝、解封裝能力實(shí)現(xiàn)音視頻的播放、錄制、編碼等功能。AVCodec Kit既是開(kāi)發(fā)助手，也是技術(shù)展現(xiàn)的大舞臺(tái)！歡迎加入開(kāi)源鴻蒙音視頻格式解碼解封裝共建，我們?cè)陂_(kāi)源鴻蒙開(kāi)發(fā)者視頻號(hào)進(jìn)行了音視頻解碼解封裝的共建賦能，歡迎開(kāi)發(fā)者跟隨直播或查看回放來(lái)了解相關(guān)知識(shí)，一起參與開(kāi)源鴻蒙生態(tài)建設(shè)，共建更開(kāi)放、更智能的未來(lái)世界。

供稿：教育工作組 莊文琪、劉麗紅