近日，華為最新一代卓越人工智能手機芯片麒麟980正式亮相，麒麟980在業(yè)內(nèi)首次搭載雙核NPU，實現(xiàn)業(yè)界頂級端側AI算力，將支持更加豐富的AI應用場景。在加速端側AI算力提升的同時，華為不斷追求為用戶帶來體驗升級——推出慧眼2.0，深入用戶使用最多的拍照及小視頻應用場景進行深度優(yōu)化，提供端到端的解決方案。

在IFA 2018現(xiàn)場，麒麟980演示了全新的AI多人姿態(tài)實時識別能力。基于AI的強勁算力，搭載麒麟980的開發(fā)板能夠實時精準識別多人的骨骼線條，在進行揮手、跳躍、舞蹈等大幅動作時，識別出的骨骼線條也會實時隨身體變化。而這項新奇的體驗，與慧眼2.0之間也有著不可分割的聯(lián)系。

慧眼2.0，更智慧的視覺體驗

隨著端側AI技術的不斷突破與發(fā)展，手機用戶對AI應用的需求也隨之增長。去年，麒麟970的AI技術推動手機拍照逐步向“慧眼”階段演進，結合端側AI的智慧算力，手機在拍照時能夠識別多種復雜的拍照場景并自動設置最佳參數(shù)，輕松拍出大師級的攝影作品，帶給用戶全新的智慧拍照體驗。

時隔一年，“慧眼2.0”隨著麒麟980的發(fā)布正式亮相?！盎垩?.0”在手機視覺入口提供了一個“感知、測量、認知、計算”的端到端完整解決方案，人工智能技術深度參與視覺處理的各個環(huán)節(jié)，通過后臺基礎算法的極大提升和流程優(yōu)化，讓用戶明顯感知到體驗的大幅增強。

在慧眼2.0解決方案中，麒麟980的CPU/GPU/DSP/NPU構成了底層硬件，為上層的AI圖像處理提供運算性能支持。在上層運算中，ISP和攝像頭用于收集圖像數(shù)據(jù)，經(jīng)過AI運算，能夠為手機用戶帶來圖像、視頻及AR方面的應用提升，帶來更智慧的視覺體驗。上述提到的AI多人姿態(tài)實時識別，正是通過攝像頭收集人體動作的圖像信息，再經(jīng)過AI實時運算，實現(xiàn)了與AR相關的人體姿態(tài)能力，為將來的AI和AR體驗開啟無限想象。

攝像頭與ISP優(yōu)化，麒麟980圖像信息收集能力提升

對手機用戶來說，感受最直觀的AI功能幾乎都離不開攝像頭，無論拍照還是小視頻，AI都需要通過攝像頭獲取圖像信息。在手機攝影和攝像領域，華為有著多年深厚的技術積累，早在2014年華為在業(yè)內(nèi)率先推出搭載雙攝像頭的榮耀6 Plus，2016年華為開始與徠卡合作，讓手機攝像頭開始呈現(xiàn)相機畫質，2018年初發(fā)布的華為P20 Pro更是首創(chuàng)徠卡后置三攝，帶來前所未有的AI攝影大師體驗?？梢哉f，在手機拍照領域，華為始終走在行業(yè)前列，并在這個過程中積累大量圖像算法、鏡頭優(yōu)化以及ISP相關的豐富經(jīng)驗與優(yōu)化能力。

與此同時，麒麟芯片持續(xù)優(yōu)化攝像頭的相關算法，通過端到端優(yōu)化的方式不斷提升手機的成像質量。麒麟980采用全新升級第四代自研ISP，像素吞吐率較上一代提升46%，支持更多攝像頭，適配多攝像頭帶來的全新拍照體驗，分別針對視頻和照片推出延遲視頻處理流水線和高質量圖像處理流水線，幫助手機用戶捕捉更多清晰的圖像內(nèi)容，進一步強化圖像信息的收集能力。

端側AI閉環(huán)架構，麒麟980 AI圖像處理能力升級

基于麒麟980業(yè)界最強的端側AI算力，麒麟980在接收到圖像信息后可以實時完成多種復雜的運算處理。視頻方面，麒麟980能夠做到人體肢體的檢測與識別，支持區(qū)域分割和主體摳圖和視頻跟蹤追焦等功能，實時完成逐幀的畫面處理；在處理圖片時，麒麟980能夠實現(xiàn)文本識別、圖像超分辨率及RAW圖像降噪、RGB還原等功能，讓用戶明顯感受到AI拍照及攝像的體驗提升。在AI圖像處理能力升級的背后，是華為在端側AI不斷探索完善的計算架構，將SoC芯片的強勁AI運算力與算法、數(shù)據(jù)以及終端設備形成完整閉環(huán)，發(fā)揮綜合AI運算實力。

AR能力升級，帶來體驗創(chuàng)新

近年來，AR應用開始成為智能手機的亮點功能，用戶可以通過AR在手機屏幕里看到現(xiàn)實世界與虛擬世界的結合，獲得趣味體驗。而AR效果的實現(xiàn)需要結合麒麟980的算法與AI圖像識別能力，綜合對圖像進行處理。麒麟980支持AR應用的視頻流特征提取、姿態(tài)估計以及地圖重建，讓更多AR應用的落地成為可能。

基于以上能力，慧眼2.0將為廣大手機用戶帶來全新的拍照及視頻體驗，同時面向廣大開發(fā)者開放這一能力，將華為HiAI移動計算架構完善的SDK、豐富的API接口、業(yè)界領先的算子支持以及華為開放完整的Camera DDK、AR DDK以及HiAI Foundation完整的開放架構，全部提供給開發(fā)者作為工具，讓他們能夠創(chuàng)造出更多豐富的應用體驗。

麒麟980開放架構，助力開發(fā)者探索智慧未來

合作開放一直是華為在推進端側AI發(fā)展的核心理念。麒麟980支持Caffe、Tensorflow、Tensorflow Lite等主流框架，具有強大的深度學習框架兼容性，達到業(yè)界領先水平；提供了離線編譯、在線編譯、8bit量化等一系列完整工具鏈，既可以大大降低端側模型部署的工程難度，還可以利用NPU差異化優(yōu)勢發(fā)揮出最強算力；支持CPU、GPU、NPU、DSP等的異構計算，方便深度學習算法在麒麟980的自動靈活調(diào)度執(zhí)行。

在慧眼2.0中，華為面向廣大開發(fā)者及合作伙伴開放多個接口，助力AI應用的創(chuàng)新探索：

Kirin Camera DDK：在現(xiàn)有的拍照APP中，經(jīng)常會出現(xiàn)拍照效果失真，甚至在夜晚場景下拍照效果不如手機自帶相機的情況。這主要是因為第三方APP目前是無法調(diào)用手機自帶相機的ISP，無法在APP中利用手機ISP的算法優(yōu)勢。麒麟980全面開放Camera DDK，將前端更好的暗光、高動態(tài)和分辨率能力開放給廣大開發(fā)者，讓第三方APP能夠直接調(diào)用手機本身的ISP算法，對APP的成像效果進行優(yōu)化。

Kirin AR DDK：SLAM（simultaneous localization and mapping，即時定位與地圖構建）是對環(huán)境和位置的識別技術，同時也是AR應用開發(fā)的關鍵。麒麟980支持SLAM算子加速，還能實現(xiàn)人臉建模及跟蹤能力，可以根據(jù)人體骨架姿態(tài)進行估計和跟蹤，在AI人體姿態(tài)估計的demo中已經(jīng)初步展示這一能力。將AR DDK開放給AI應用開發(fā)者，能夠帶給AI應用更多有趣的方向，如更加豐富的AR特效，以及基于AR技術的游戲等，讓開發(fā)者能夠盡情施展關于AR應用的想象。

HiAI Foundation：HiAI Foundation是華為基于硬件為廣大開發(fā)者提供的一套開發(fā)AI應用的基礎工具，能夠有效解決端側功耗、計算力等瓶頸，促進端側AI規(guī)模應用，在硬件性能、運算效率與開發(fā)者服務方面帶來提升?；邝梓?80的業(yè)界最強端側AI算力，HiAI Foundation能夠支持147個算子，并開放33個API接口及1000+abilities，對于開發(fā)者來說能夠支持更多AI功能，在圖像識別時也能支持更豐富的場景，真正成為開發(fā)者的實用工具。

基于華為的端側AI移動計算架構，麒麟980能夠為廣大開發(fā)者提供性能更強、操作更簡易的開發(fā)工具，讓更多充滿創(chuàng)意和趣味的AI應用落地成為可能，為廣大手機用戶帶來全新的手機體驗。搭載麒麟980的華為Mate 20系列即將于10月16日在倫敦發(fā)布，屆時將會帶來哪些新奇的AI體驗，開發(fā)者又將帶給Mate 20系列的用戶哪些驚喜？值得共同期待。