NPU、APU、AIE，手機(jī) AI 究竟是什么？它能給手機(jī)體驗帶來哪些變革？

4 月 19 日下午，榮耀在上海召開了一場頗為重磅的新品發(fā)布會，核心產(chǎn)品有兩款：榮耀 10 智能手機(jī)和榮耀 MagicBook 筆記本電腦。

其中，MagicBook 是榮耀推出的第一款筆記本電腦，它兼具了全金屬輕薄機(jī)身、八代酷睿 + MX150、57Wh 大電池等主流輕薄本特性，起售價 4999 元。

榮耀 10 則是榮耀手機(jī)在 2000—3000 元這個所有手機(jī)品牌的必爭價格區(qū)間的最新產(chǎn)品，它采用了流行的變色極光玻璃、隱形超聲波指紋以及流行的“劉海屏”。不過要說榮耀 10 最大的賣點，還是非 AI 莫屬。

榮耀 10 搭載了麒麟 970 芯片，內(nèi)置為 AI 運算專門打造的 NPU 模塊。此外，榮耀還提出了“AI 手機(jī) 2.0”的概念，并在發(fā)布會上花了大量的篇幅講述 AI 對手機(jī)拍照的加成。

在手機(jī)上提出 AI 并不是什么新鮮事，早在 2016 年底，榮耀就在 Magic 這款“致未來”的產(chǎn)品上提出了 AI 手機(jī)的概念。不過到了 2018 年，AI 在手機(jī)發(fā)布會上的“戲份”突然變得格外多，近期幾乎每一款手機(jī)新品的發(fā)布會，AI 都常常要占據(jù)半小時甚至更久的時間。

不過與此同時，雖然所有廠商都在大談 AI，不過對于用戶來說，AI 依然是一個有點“虛”的概念。這一方面是因為 AI 不像全面屏、快充那樣有一個對應(yīng)的具象特性，另一方面也是因為一些手機(jī)廠商在產(chǎn)品沒有落地的情況下習(xí)慣于“概念先行”，把一些有的沒的東西都冠上“AI”的名字。

AI 手機(jī)究竟指的是什么？它到底能給智能手機(jī)帶來哪些變革？就著榮耀 10 這款產(chǎn)品，在對它進(jìn)行常規(guī)的產(chǎn)品體驗前，我們先和大家聊聊 AI 手機(jī)這件事。

手機(jī)為什么需要 AI？

提到 AI，可能很多人會想到的是 AlphaGo 或者自動駕駛等比較“大”的應(yīng)用。不過對于手機(jī)來說，受到體積和性能的限制，顯然是無法像 Google 的 TPU、NVIDIA 的 Xavier 那樣使用巨大的數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的。

目前手機(jī)中常見的 AI 應(yīng)用，其實是將已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型編譯成離線模型，然后跑在手機(jī)本地的硬件上。之所以要把 AI 運算移植到手機(jī)上而不是留在“云端”，主要原因有兩個。

第一是速度。雖然通訊技術(shù)的發(fā)展已經(jīng)大大提高了網(wǎng)絡(luò)帶寬，降低了時延，但在一些需要實時性的操作中，依然需要在設(shè)備本地進(jìn)行計算來保證速度。

為高通 AI Engine 提供人臉解鎖算法支持的商湯科技

以目前應(yīng)用廣泛的人臉解鎖為例，手機(jī)在檢測到人臉時，如果還是像 Siri 等智能語音助手那樣，先將數(shù)據(jù)傳輸?shù)皆贫?，然后在云端進(jìn)行特征點的比對，再向手機(jī)返回結(jié)果，就會導(dǎo)致處理時長明顯增加，嚴(yán)重影響使用體驗。

再比如已經(jīng)成為 AI 手機(jī)“標(biāo)配”的拍照場景識別功能，手機(jī)需要在用戶取景的同時對畫面里的物體進(jìn)行識別，在檢測到對應(yīng)的場景后自動對拍照參數(shù)進(jìn)行調(diào)整，如果說這個處理過程搬到云端，即使網(wǎng)絡(luò)狀況再好，也會造成明顯的延遲，直接導(dǎo)致這個功能變得不可用。

除了速度，由于手機(jī)本身是一個生產(chǎn)力型的工具，為了保證隱私數(shù)據(jù)的安全，部分?jǐn)?shù)據(jù)也只能在手機(jī)端進(jìn)行處理。

真假 AI 指的是什么？

經(jīng)過了過去一兩年的探索，將部分 AI 運算移植到手機(jī)、讓手機(jī)設(shè)備本身具備處理 AI 運算能力（端側(cè) AI）已經(jīng)成為行業(yè)共識，不過在如何讓手機(jī) AI 運算更快更高效這個問題上，幾家芯片廠商的做法有著明顯的不同，具體可以分為三種。

第一種方式是為增加專用的 AI 芯片來進(jìn)行 AI 運算。代表產(chǎn)品是麒麟 970（內(nèi)置 NPU）和蘋果 A11 Bionic（神經(jīng)網(wǎng)絡(luò)專用加速模塊），其中 A11 Bionic 的神經(jīng)網(wǎng)絡(luò)專用加速模塊比較特別，目前只是用在了 Face ID 人臉解鎖上，沒有開放給第三方。

高通 AI Engine

第二種方式是調(diào)用 SoC 中原有的模塊來進(jìn)行 AI 運算。代表產(chǎn)品是高通的 AI Engine 平臺（支持的驍龍 660、820、835、845），具體是通過驍龍神經(jīng)處理引擎（Neural Processing Engine， NPE）軟件框架，根據(jù)需求從 CPU（非并發(fā)小數(shù)據(jù)處理）、GPU（并發(fā)大數(shù)據(jù)處理）、DSP（向量運算）中使用最適合的內(nèi)核進(jìn)行數(shù)據(jù)處理。

第三種方案是聯(lián)發(fā)科在 Helio P60 里采用的 APU 設(shè)計。這個核心有些像 NPU，不過 APU 的設(shè)計更像是改進(jìn)版的多核 DSP，擅長圖像處理，具備一定的 AI 運算能力但并沒有 NPU 那樣“專一”和高效，這個思路有點像找一個數(shù)學(xué)不錯的物理老師來給學(xué)生教數(shù)學(xué)。

芯片廠商不同的做法，延伸到宣傳和營銷中，就有了所謂的“真假 AI”的概念，有人認(rèn)為芯片必須有獨立的 AI 芯片才能算是“真 AI”，有人則認(rèn)為決定手機(jī)是不是“真 AI”的應(yīng)該是具體的功能，而不是芯片的設(shè)計。

那么獨立的 AI 芯片究竟有多少意義？這里我們就以麒麟 970 的 NPU 為例聊聊。

NPU 模塊的意義

大家可能還記得，AI 手機(jī)這個概念是榮耀 Magic 上第一次提出的。

Magic 是榮耀在 2016 年底發(fā)布的一款產(chǎn)品，也是榮耀和華為 2012 實驗室 4 年磨一劍的作品。在這款手機(jī)上，榮耀展示了具備自然語義理解、計算機(jī)視覺、深度學(xué)習(xí)能力的 Magic Live 智慧引擎，即使放在 2018 年，榮耀 Magic 上的很多理念依然很有前瞻性。

同時，也正是在研發(fā) Magic 的過程中，華為和榮耀的工程師發(fā)現(xiàn)，為了讓 AI 在手機(jī)中發(fā)揮更大的作用，需要更加算力更強(qiáng)并且更加省電的芯片進(jìn)行支撐，最終決定在麒麟 970 上增加一顆行業(yè)里還沒有先例的 NPU 模塊，即使這意味著芯片制造的成本會有明顯的增加（成本也是高通沒有使用 NPU 的主要原因）。

麒麟 970 的 NPU 實際效果相比起高通 AIE、聯(lián)發(fā)科 P60 的“非專用”方案會有一定的優(yōu)勢。這種優(yōu)勢不僅僅是體現(xiàn)在單純的算力層面，還體現(xiàn)在執(zhí)行效率上。

在去年 9 月麒麟 970 的發(fā)布會上，華為消費者 BG CEO 余承東展示了上面這組圖，在 AI 運算性能上，NPU 相比起 CPU 和 GPU 分別有著 25 倍和 6.25 倍的優(yōu)勢，而更重要的是 PPT 右邊這組數(shù)據(jù)，能效比上，NPU 更是達(dá)到了 CPU 的 50 倍，GPU 的 6.25 倍。

我們知道，受限于手機(jī)的體積，功耗和發(fā)熱會大大制約手機(jī)芯片的性能表現(xiàn)，而 NPU 在運算效率上的巨大優(yōu)勢意味著在功耗和發(fā)熱允許的范圍內(nèi)，可以在手機(jī)上跑更加復(fù)雜、對算力要求更高的算法，提供更多有價值的功能。

NPU 高效的優(yōu)勢在發(fā)布之初、應(yīng)用場景還相對簡單的時候表現(xiàn)并不明顯，不過隨著華為和榮耀對 NPU 應(yīng)用的深入，NPU 正在逐步地兌現(xiàn)它的潛力。

還是以拍照時的智能場景識別為例，目前無論是采用高通的 AIE 平臺的機(jī)型，還是搭載麒麟 970 的手機(jī)，都已經(jīng)可以做到數(shù)十個拍照場景的識別，不過在華為 P20 系列、榮耀 10 這兩款新上市的麒麟 970 機(jī)型上，又把場景識別的復(fù)雜程度進(jìn)行了大幅度的提升。

在榮耀 10 發(fā)布會上，榮耀 CEO 趙明展示了下面這個使用 AI 來優(yōu)化拍照的實例。

這張照片中，在麒麟 970 NPU 的幫助下，榮耀 10 可以實時地識別出人物、動物、植物、藍(lán)天 4 個層級，然后對每一個部分進(jìn)行單獨的優(yōu)化，這可要比單獨的識別出某一個場景然后進(jìn)行整體微調(diào)來的復(fù)雜多了。

再比如在這張主體為人像的拍攝中，榮耀 10 可以在識別出人像然后將人景分離之后，還可以使用 AI 算法對邊緣頭發(fā)部分進(jìn)行單獨的優(yōu)化，同時對人物的五官進(jìn)行分區(qū)然后結(jié)合識別出的性別、年齡信息進(jìn)行精確美顏，如果人物的位置不太合適，榮耀 10 甚至還可以智能地對構(gòu)圖進(jìn)行微調(diào)。

這些都是 AI 賦予手機(jī)相機(jī)的能力，隨著算法的進(jìn)步和手機(jī)本地 AI 算力的提升，手機(jī)可以“識別”出得東西會越來越多，對拍照的優(yōu)化會越來越明顯。對于用戶來說，這意味著拍出好照片的成本會越來越低。

AI 手機(jī)還能干什么？

半年多以前，當(dāng)?shù)谝豢畲钶d麒麟 970 的機(jī)型華為 Mate 10、Mate 10 Pro 上市的時候，華為已經(jīng)展示了不少 NPU 參與實現(xiàn)的功能，比如拍照時的場景識別、通話時的 AI 降噪、使用 NPU 加速的微軟翻譯。不過要想真正讓 AI 變革手機(jī)體驗，手機(jī)廠商自己的力量是不夠的，還要開放給更多的第三方開發(fā)者，共同打造 AI 生態(tài)。在這方面，高通和華為都已經(jīng)完成了很多的布局。

今年 2 月份，高通正式發(fā)布了 AI Engine。AI Engien 包含了 3 個硬件和 3 個核心軟件，硬件部分為 CPU、GPU、DSP 三個部分，軟件部分則分別是驍龍神經(jīng)處理引擎（NPE）軟件框架（幫助開發(fā)者從 DSP、GPU、CPU 中選擇合適的內(nèi)核）、隨 Android 8.0 發(fā)布的 Android NN API（一個用于在移動設(shè)備上進(jìn)行深度學(xué)習(xí)的 C 語言 API）和 Hexagon Neutral Network 庫（讓開發(fā)者的 AI 算法在 DSP 上運行）。

在此基礎(chǔ)上，高通和多家算法提供商聯(lián)合推出了多個利用 AI Engine 的應(yīng)用優(yōu)化，比如商湯科技和曠視 Face++提供的多種預(yù)先訓(xùn)練的用于背景虛化、面部解鎖、場景識別的神經(jīng)網(wǎng)絡(luò)，虹軟提供的單攝和雙攝算法，創(chuàng)通聯(lián)達(dá)針對人工智能視覺用例和終端提供完整的解決方案，而騰訊、百度等云服務(wù)廠商也在利用 AI Engine 進(jìn)行應(yīng)用優(yōu)化。

相比高通，華為海思的進(jìn)度整體還要更快一些。

如果你使用的是華為和榮耀的搭載麒麟 970 的手機(jī)，在應(yīng)用商店里應(yīng)該已經(jīng)能夠找到一個為人工智能優(yōu)化過的應(yīng)用專區(qū)，其中的 app 目前大都是知名度很高的主流 app，有淘寶、抖音、百度、有道翻譯官、Prisma、WPS。

通過使用接入華為的 HiKey970 開發(fā)平臺，開發(fā)者可以通過調(diào)用 NPU，對神經(jīng)網(wǎng)絡(luò)計算進(jìn)行硬件級的加速，實際的效果還是很明顯的，比如淘寶的掃碼購物，使用 NPU 優(yōu)化后識別速度可以最高縮短到原來的 1/10，再比如抖音的 AR 畫面特效，使用 NPU 優(yōu)化后畫面的精度和識別的速度都有明顯的提高。

雖然目前手機(jī) AI 發(fā)展依然處在比較早期的階段，不過隨著 AI 芯片的發(fā)展和開發(fā)工具、分發(fā)平臺的完善，在未來可預(yù)見的一段時間里，芯片廠商、手機(jī)廠商和第三方開發(fā)者會持續(xù)在手機(jī) AI 上進(jìn)行投入，AI 對手機(jī)體驗的加成會越來越明顯。

在即將到來的 5G 時代，AI 很可能和 5G 一起，成為未來智能手機(jī)的一項“基本能力”，共同定義下一代的智能手機(jī)體驗。