芯原日前聯(lián)手Khronos舉辦了一場(chǎng)技術(shù)研討會(huì)，這場(chǎng)線下結(jié)合線上的分享活動(dòng)，給業(yè)界帶來(lái)了很多耳目一新的技術(shù)信息。在活動(dòng)中，來(lái)自全球的芯原與Khronos的技術(shù)專家介紹了最新的助力AR/VR體驗(yàn)的技術(shù)，還邀請(qǐng)了眾多位來(lái)自行業(yè)中如移動(dòng)、華為、英特爾、騰訊、阿里、日本AX和成都彌知科技等企業(yè)的專家，分享了基于AR/VR技術(shù)的落地應(yīng)用，讓大家看到了AR/VR的前沿應(yīng)用和廣闊市場(chǎng)?；顒?dòng)由Khronos工業(yè)協(xié)會(huì)中國(guó)區(qū)總監(jiān)傅世雄 (Dennis Fu)主持。電子發(fā)燒友記者也到應(yīng)邀參與了會(huì)議，對(duì)本次會(huì)議活動(dòng)，做了專門(mén)的報(bào)道。

圖：Khronos工業(yè)協(xié)會(huì)中國(guó)區(qū)總監(jiān) 傅世雄 (Dennis Fu)主持本次技術(shù)研討會(huì)

AR/VR的應(yīng)用，在之前谷歌、微軟和英特爾、HTC等大廠商的推動(dòng)下，曾經(jīng)取得了很大的進(jìn)展，包括VR眼鏡頭盔、VR游戲、AR游戲、VR影視等，其應(yīng)用也不斷擴(kuò)展到游戲影視娛樂(lè)、商業(yè)購(gòu)物、遠(yuǎn)程旅游體驗(yàn)、遠(yuǎn)程教育等方面。但是對(duì)于技術(shù)公司來(lái)說(shuō)，操作延時(shí)、顯示不夠細(xì)膩等技術(shù)限制，讓最終落地沒(méi)有找到能夠用戶足夠粘性的項(xiàng)目，或者是足夠的商業(yè)回報(bào)等，感覺(jué)這個(gè)行業(yè)還是處于不溫不火之中。

Khronos工業(yè)協(xié)會(huì)主席(President)，英偉達(dá)生態(tài)系統(tǒng)開(kāi)發(fā)副總裁，OpenCL工作組主席 Neil Trevett也在美國(guó)加州現(xiàn)場(chǎng)連線，作了Khronos組織的背景介紹，并分享了視覺(jué)處理與推廣方面的Khronos API接口技術(shù)的介紹（OpenCL, OpenVX, SYCL與Vulkan）。

圖：Khronos工業(yè)協(xié)會(huì)主席 Neil Trevett在加州連續(xù)會(huì)場(chǎng)

芯原商業(yè)運(yùn)營(yíng)高級(jí)副總裁汪洋介紹，芯原公司在2004年加入Khronos，中國(guó)是芯原和HW兩家是董事會(huì)成員。芯原目前90%研發(fā)在中國(guó)，一半以上的營(yíng)收來(lái)自境外。作為全球領(lǐng)先的IP與IC設(shè)計(jì)服務(wù)供應(yīng)商，芯片主推SiPaas（ Silicon Platform as a Service ）即設(shè)計(jì)平臺(tái)即服務(wù)業(yè)務(wù)模式，其客戶不僅是IC設(shè)計(jì)(Fabless）公司，更是將技術(shù)服務(wù)，推廣至更下游的互聯(lián)網(wǎng)企業(yè)和技術(shù)開(kāi)發(fā)者。

圖：芯原商業(yè)運(yùn)營(yíng)高級(jí)副總裁汪洋在介紹芯原的一站式設(shè)計(jì)服務(wù)

隨著SoC的設(shè)計(jì)進(jìn)入到7納米，其設(shè)計(jì)成本提升至了2.22億美元。成熟的設(shè)計(jì)服務(wù)對(duì)于高端IC設(shè)計(jì)業(yè)者越來(lái)越重要。這也是芯原能夠在科創(chuàng)板成本上市的最重要的原因之一。

芯原在NPU、GPU、ISP、Video、聲音語(yǔ)音、顯示等方面的全面的IP產(chǎn)品供貨能力，讓他可以服務(wù)到從可穿戴、智能手機(jī)、智能家居、到AIOT、到汽車、服務(wù)器等廣泛的客戶群體。

芯原的VPU IP可以支持到4K/8K的視頻流解碼，芯原也是谷歌WebM視頻項(xiàng)目亞洲的第一個(gè)硬件合作伙伴。芯片的視頻編解碼SoC可以服務(wù) 云端處理需求。汪洋介紹，相比CPU和FPGA的方案，基于芯原IP的ASCI方案，其視頻編解碼能力提升了6倍，功耗下降到了原來(lái)的13倍，且芯片體積也大為減小。在同樣大小的機(jī)箱空間內(nèi)，邊緣端計(jì)算處理能力提升了36倍，功耗下降 50%。視頻處理ASIC還能支持到H.264. VP8, H.264, VP9, AV1, SVAC等。

汪洋指出，中國(guó)市場(chǎng)的視頻云計(jì)算市場(chǎng)每年的復(fù)合增長(zhǎng)達(dá)到 了40%，2020年視頻云市場(chǎng)是70億美元，到2024年將達(dá)到 244億美元，復(fù)合增長(zhǎng)率達(dá)40%。

在AI的IP方面，芯片的NPU(嵌入式神經(jīng)網(wǎng)絡(luò)處理器)IP已經(jīng)在全球有40家公司取得授權(quán)并量產(chǎn)，量產(chǎn)SoC超過(guò)60顆，應(yīng)用領(lǐng)域也非常廣泛。

車用GPU IP，芯原也處于技術(shù)領(lǐng)導(dǎo)者位置。

ISP IP，芯原在2014年收購(gòu)了ArcSoft團(tuán)隊(duì)之后，于2017年推出 了ISP IP，其優(yōu)勢(shì)在于HDR。

文章篇幅所限不全細(xì)列。上面講到了視頻的解碼能力、功耗、顯示等多方面的IP創(chuàng)新，他們都可以對(duì)AR和VR開(kāi)發(fā)有很好的支持。但對(duì)于一個(gè)好的AR和VR體驗(yàn)來(lái)說(shuō)，技術(shù)的瓶頸還要突破數(shù)據(jù)傳輸中的延時(shí)。芯原的高速數(shù)據(jù)傳輸IP這一塊與Alphawave聯(lián)手?jǐn)U大合作，服務(wù)中國(guó)市場(chǎng)。

上圖顯示出，112G和224G高速傳輸接口市場(chǎng)需求正在快速增長(zhǎng)。

目前高速傳輸技術(shù)的領(lǐng)域者是Alphawave，他是全球首家7納米以下的硅驗(yàn)證IP供應(yīng)商。

芯原取得了Alphawave在中國(guó)市場(chǎng)的IP獨(dú)家經(jīng)銷權(quán)。

在當(dāng)天的技術(shù)研討會(huì)期間，芯原機(jī)器學(xué)習(xí)軟件副總裁查凱南就芯原神經(jīng)網(wǎng)絡(luò)處理器，芯原IP解決方案副總裁張慧明對(duì)芯原圖形處理器，芯原多媒體SoC平臺(tái)首席工程師妙維對(duì)芯原AR/VR 低延時(shí)低功耗像素處理作了詳細(xì)的介紹與分享。

華為消費(fèi)者BG AR/VR產(chǎn)品技術(shù)總監(jiān)鄒文進(jìn)演講中介紹了利用AR技術(shù)做產(chǎn)品線上發(fā)布會(huì)的演示，其AR引擎的精度比Apple和谷歌還要高30%。他表示后面還會(huì)跟國(guó)內(nèi)的手機(jī)廠商、汽車廠商合作，利用AR技術(shù)做商業(yè)推廣的合作。

圖：華為消費(fèi)者BG AR/VR產(chǎn)品技術(shù)總監(jiān) 鄒文進(jìn)

彌知科技創(chuàng)始人和CEO張?zhí)旆騍teven Zhang做了AR算法場(chǎng)景與渲染引擎應(yīng)用分享。疫情期間線上直播購(gòu)物中，AR技術(shù)助力電商大大提升了購(gòu)物的體驗(yàn)。

圖：成都彌知科技創(chuàng)始人和CEO 張?zhí)旆?Steven Zhang

張?zhí)旆蚪榻B，其公司的WebAR做內(nèi)容的時(shí)候，不需要技術(shù)來(lái)學(xué)編程，只需要選擇所需要的模塊來(lái)做商業(yè)落地的項(xiàng)目，做普通AR消費(fèi)者需要的場(chǎng)景。都是剛需，都是源自市場(chǎng)的反饋。可以一鍵發(fā)布到微信小程序上，目前超過(guò)了一千個(gè)程序接入了。通過(guò)3D的互動(dòng)，形成了各大自落地的案例，大多小程序開(kāi)發(fā)者都有很好的收益。

“例如，AR式美瞳，在國(guó)內(nèi)已經(jīng)很普遍了。但是在海外沒(méi)有微信和淘寶，只有FB、TW，所以是基于Web端的試穿試戴的場(chǎng)景。珠寶戒指試戴，增進(jìn)了消費(fèi)者與品牌的距離，促進(jìn)了購(gòu)買(mǎi)率。試鞋的場(chǎng)景，在任何地方可以來(lái)試鞋，可以體驗(yàn)鞋子的樣子，比較潮流的款式，也適合自己穿，促進(jìn)了購(gòu)買(mǎi)率。還有非常多的案例。例如京東的人臉迷宮，去給品牌做傳播如官方號(hào)的關(guān)注、轉(zhuǎn)發(fā)等效果的提升?！睆?zhí)旆蛘f(shuō)。

圖：中移動(dòng)研究院高級(jí)技術(shù)人員李可

中移動(dòng)研究院高級(jí)技術(shù)人員李可做了云XR標(biāo)準(zhǔn)化及在教育領(lǐng)域內(nèi)的應(yīng)用的分享。中移動(dòng)的云XR是疫情期間云課堂云教育落地做得非常好的一家公司。在取得出色的成績(jī)之后，今年中移動(dòng)還主導(dǎo)GTI的發(fā)展產(chǎn)業(yè)，推動(dòng)相關(guān)AR/VR云教育的標(biāo)準(zhǔn)的制定。

李可說(shuō)，首先是云渲染 60-70毫秒的時(shí)延，對(duì)于用戶的動(dòng)作的預(yù)測(cè)是很重要的。OpenXR現(xiàn)在在時(shí)延這一塊還沒(méi)有明確的定義，我們希望去推動(dòng)成為標(biāo)準(zhǔn)立項(xiàng)。第二步是云渲染能力和業(yè)務(wù)接口布置的問(wèn)題。第三部是云能力和云的實(shí)際處理資源Micro Service，未來(lái)第三方的云能力，可以作為一個(gè)PAAS平臺(tái)，布置到各個(gè)云服務(wù)商的平臺(tái)中去。對(duì)云渲染感興趣的企業(yè)，可以一起參與進(jìn)來(lái)。

ax株式會(huì)社數(shù)據(jù)科學(xué)部AI工程師胡筠分享了如何用用Vulkan快速搭建AI框架。英特爾AR/VR 首席軟件架構(gòu)師 OpenXR工作小組主席 Brent Insko在線分享了OpenXR 的技術(shù)更新。阿里巴巴淘系技術(shù)部端智能團(tuán)隊(duì) 高級(jí)技術(shù)專家姜霄棠介紹了MNN的異構(gòu)計(jì)算解決方案幾何計(jì)算。騰訊科技高級(jí)研究員倪輝分享了ncnn-使用Vulkan的通用神經(jīng)網(wǎng)絡(luò)推理。

圖：騰訊科技高級(jí)研究員倪輝

對(duì)于技術(shù)專家來(lái)說(shuō)，這是一個(gè)難得的頂級(jí)高手之間的分享會(huì)議。