?

據(jù)麥姆斯咨詢報(bào)道，蘋果（Apple）公司近日在全球開發(fā)者大會(huì)上發(fā)布了首款混合現(xiàn)實(shí)（MR）頭顯Apple Vision Pro。這款售價(jià)高達(dá)3499美元的設(shè)備，旨在取代用戶的智能手機(jī)、筆記本電腦、手表、平板電腦、電視甚至鼠標(biāo)，它配備了豐富的傳感器，可以跟蹤用戶的動(dòng)作、視線、手勢(shì)、語音命令以及在環(huán)境中的位置。根據(jù)蘋果公司的公告，Vision Pro的內(nèi)部和外部有多達(dá)14個(gè)攝像頭，1個(gè)激光雷達(dá)掃描儀，以及多顆紅外LED照明器，可以幫助它了解用戶在哪里以及在做什么。除此之外，這款頭顯還搭載了一顆新的專用R1芯片，負(fù)責(zé)處理來自所有這些傳感器（以及其它一些傳感器）的數(shù)據(jù)，以支持蘋果帶領(lǐng)我們轉(zhuǎn)向“空間計(jì)算”時(shí)代。

?

什么是“空間計(jì)算”？

“Vision Pro是一種全新的計(jì)算機(jī)?！碧O果公司首席執(zhí)行官Tim Cook在首次展示這款混合現(xiàn)實(shí)頭顯時(shí)說，“這是第一款用戶‘透’過它看世界的蘋果產(chǎn)品?！边@標(biāo)志著蘋果由此轉(zhuǎn)向空間計(jì)算。那么什么是空間計(jì)算？臺(tái)式電腦被認(rèn)為是世界上第一臺(tái)個(gè)人電腦，或者我們今天普遍稱呼的PC，而筆記本電腦將臺(tái)式機(jī)縮小為便攜式電腦，智能手機(jī)的出現(xiàn)，在此基礎(chǔ)上再次將其縮小，智能手表則更進(jìn)一步，將計(jì)算機(jī)縮小到了用戶的手腕上。空間計(jì)算，標(biāo)志著蘋果首次擺脫個(gè)人計(jì)算的束縛，從某種意義上說，用戶從現(xiàn)在開始將不再受到顯示器的限制——無論大小?！坝纱耍脩魺o論身處何地，都可以在其周圍構(gòu)建熒幕?！盩im Cook總結(jié)道，然后他把舞臺(tái)交給了設(shè)計(jì)副總裁Alan Dye。

空間計(jì)算標(biāo)志著一個(gè)新的計(jì)算時(shí)代，用戶的工作環(huán)境不會(huì)對(duì)Vision Pro的顯示造成任何限制。用戶的任意真實(shí)環(huán)境都可以變成工作空間，就像真實(shí)顯示屏上的文件夾、窗口和小組件一樣，Vision Pro能夠支持用戶在3D空間中創(chuàng)建它們。Dye解釋說，在空間計(jì)算中，用戶不必最小化一個(gè)窗口來打開一個(gè)新窗口，只需將一個(gè)窗口拖到一邊，然后打開另一個(gè)即可。蘋果的VisionOS系統(tǒng)將用戶的房間和視覺周邊變成了一個(gè)操作系統(tǒng)，用戶可以在任意地點(diǎn)創(chuàng)建多個(gè)屏幕/窗口，移動(dòng)并調(diào)整它們的大小。這就像科幻大片里鋼鐵俠的全息電腦……但有了更好、更優(yōu)雅的界面。

M2和R1芯片如何處理空間計(jì)算？

Vision Pro的核心是兩個(gè)芯片——M2和R1，它們協(xié)同工作以實(shí)現(xiàn)虛擬和現(xiàn)實(shí)的無縫結(jié)合。Vision Pro配備了蘋果公司的M2芯片，執(zhí)行計(jì)算和多任務(wù)處理，還配備了專有的新款R1芯片，該芯片與Vision Pro內(nèi)外的所有傳感器協(xié)同工作，以跟蹤用戶的視線、控制輸入，并幫助虛擬元素在現(xiàn)實(shí)世界中無縫呈現(xiàn)，實(shí)現(xiàn)很多令人驚艷的功能，比如在用戶周圍的世界投下陰影，當(dāng)你四處走動(dòng)時(shí)角度會(huì)隨之改變，或者當(dāng)現(xiàn)實(shí)中有人走進(jìn)用戶的視野時(shí)消失/淡出。

R1芯片可以說是Vision Pro的秘密武器。它處理來自設(shè)備上每個(gè)傳感器的數(shù)據(jù)，同時(shí)以驚人的精度跟蹤用戶的環(huán)境、位置、手，甚至眼球的運(yùn)動(dòng)。跟蹤用戶的眼球運(yùn)動(dòng)，是Vision Pro掌握用戶想與哪些元素交互的基礎(chǔ)，實(shí)際上可以將它們變成真正的光標(biāo)。令人印象深刻的是，R1芯片還利用用戶的眼睛數(shù)據(jù)來了解屏幕上哪些元素需要渲染，哪些元素不需要渲染。鑒于人在任何給定的時(shí)間只能專注于有限的區(qū)域，R1芯片知道只渲染視覺外圍的一部分，而不是浪費(fèi)資源渲染整個(gè)場(chǎng)景。這是一種非常聰明的方法，可以優(yōu)化電池使用，同時(shí)提供身臨其境的卓越體驗(yàn)。然而，這還不是它的全部能力……

蘋果工程師透露R1芯片的強(qiáng)大功能

蘋果公司的一位神經(jīng)技術(shù)工程師揭秘了Vision Pro的內(nèi)部技術(shù)到底有多復(fù)雜。在受到保密協(xié)議約束的前提下，工程師Sterling Crispin在其推特上分享了Vision Pro如何跟蹤用戶的視線，然后完美實(shí)現(xiàn)界面導(dǎo)航。R1芯片在預(yù)測(cè)用戶的視線路徑和意圖方面近乎神奇。Crispin提到：“最酷的是R1能夠在用戶實(shí)際‘點(diǎn)擊’之前預(yù)測(cè)用戶將要點(diǎn)擊的內(nèi)容。用戶的瞳孔在點(diǎn)擊之前會(huì)做出反應(yīng)，部分原因在于人眼會(huì)對(duì)點(diǎn)擊后產(chǎn)生的結(jié)果有預(yù)期反應(yīng)。因此，我們可以通過監(jiān)測(cè)用戶的眼睛行為，利用他們的大腦構(gòu)建生物反饋，并實(shí)時(shí)重新設(shè)計(jì)用戶界面來創(chuàng)建更多的預(yù)期瞳孔反應(yīng)?！?/p>

Crispin進(jìn)一步解釋稱：“推斷認(rèn)知狀態(tài)的其他技巧包括，以用戶可能無法察覺的方式快速向用戶閃現(xiàn)視覺效果或聲音，然后檢測(cè)他們對(duì)此的反應(yīng)。另一項(xiàng)專利詳細(xì)介紹了如何利用機(jī)器學(xué)習(xí)和來自身體及大腦的信號(hào)來預(yù)測(cè)用戶的注意力、放松程度或?qū)W習(xí)效果。然后更新虛擬環(huán)境以增強(qiáng)這些狀態(tài)。由此，想象一個(gè)自適應(yīng)的沉浸式環(huán)境，它可以通過改變用戶在背景中的所見所聞來幫助學(xué)習(xí)、工作或放松。”

全面了解Apple Vision Pro中的傳感器

各種各樣的傳感器主導(dǎo)著Vision Pro的空間計(jì)算能力，下面我們來看看蘋果在主題演講中重點(diǎn)介紹的傳感器，以及Vision Pro內(nèi)部的其他一些傳感器。本文給出的傳感器可能并不完整，因?yàn)槟壳斑€沒有人真正拆解過Vision Pro。

攝像頭：Vision Pro有14個(gè)攝像頭，可以幫助它捕捉頭顯內(nèi)外的細(xì)節(jié)。Vision Pro外部有多達(dá)10個(gè)攝像頭（2個(gè)主攝像頭、4個(gè)向下的攝像頭、2個(gè)原深感攝像頭和2個(gè)側(cè)面攝像頭），以3D立體方式感知用戶的環(huán)境，其內(nèi)部還有4個(gè)紅外相機(jī)，可以跟蹤用戶的眼睛并對(duì)虹膜進(jìn)行3D掃描，幫助設(shè)備驗(yàn)證用戶身份。

激光雷達(dá)掃描儀：激光雷達(dá)掃描儀的用途是利用光飛行時(shí)間原理測(cè)量距離，創(chuàng)建用戶周圍環(huán)境的3D地圖。目前，它已被用于大多數(shù)自動(dòng)駕駛汽車系統(tǒng)，而在iPhone的后置攝像頭系統(tǒng)中通過它掃描周圍3D場(chǎng)景實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)應(yīng)用。在Vision Pro上，激光雷達(dá)掃描儀位于用戶鼻子正上方的正中央，可以捕捉用戶周圍世界的完美3D視圖。

紅外相機(jī)：現(xiàn)在，很多設(shè)備上都配有紅外相機(jī)，它們能夠在可見光相機(jī)無法工作的情況下起到關(guān)鍵的成像作用。紅外傳感器能夠在絕對(duì)黑暗條件下工作，這使它們比傳統(tǒng)可見光相機(jī)具有顯著的優(yōu)勢(shì)。這就是為什么Vision Pro內(nèi)部配備了4個(gè)紅外相機(jī)，其外部配備的紅外相機(jī)/傳感器（數(shù)量不詳）可以幫助設(shè)備在照明不佳的條件下看清周圍環(huán)境。Vision Pro內(nèi)部的紅外相機(jī)在眼動(dòng)跟蹤和虹膜3D掃描方面表現(xiàn)卓越，能夠執(zhí)行蘋果的安全Optic ID認(rèn)證。

照明器：雖然這些不是傳感器，但它們?cè)趥鞲衅魍昝缹?shí)現(xiàn)功能方面發(fā)揮著關(guān)鍵作用。Vision Pro外部有2個(gè)紅外照明器，可以閃爍不可見的紅外點(diǎn)陣網(wǎng)格，幫助準(zhǔn)確掃描人臉（與Face ID非常相似）。在Vision Pro內(nèi)部，用戶的每只眼睛周圍都有不可見的LED照明器，可以幫助紅外相機(jī)跟蹤眼睛的運(yùn)動(dòng)、反應(yīng)，并對(duì)虹膜進(jìn)行詳細(xì)掃描。這些照明器在低光環(huán)境中起著至關(guān)重要的作用，為紅外相機(jī)提供了工作所需要的數(shù)據(jù)。

MEMS加速度計(jì)和陀螺儀：盡管蘋果在Vision Pro發(fā)布會(huì)上沒有提這些傳感器，但很明顯，Vision Pro有多個(gè)加速度計(jì)和陀螺儀來幫助它跟蹤運(yùn)動(dòng)和傾斜。與所有優(yōu)秀的XR頭顯產(chǎn)品一樣，Vision Pro能夠?qū)崿F(xiàn)6個(gè)自由度的跟蹤，能夠檢測(cè)左、右、前、后、上、下移動(dòng)。加速度計(jì)可以幫助頭顯捕捉這些動(dòng)作，而陀螺儀可以了解用戶何時(shí)傾斜頭部。這些傳感器，連同相機(jī)和掃描儀，為R1芯片提供了所需要的數(shù)據(jù)，以掌握用戶的站姿、移動(dòng)和視線。

MEMS麥克風(fēng)：Vision Pro中內(nèi)置了數(shù)量不詳?shù)柠溈孙L(fēng)，可執(zhí)行語音檢測(cè)和空間音頻功能。語音命令是用戶與Vision Pro交互的核心部分，可以幫助用戶執(zhí)行搜索查詢、調(diào)用應(yīng)用程序/網(wǎng)站，并與Siri自然交談。不僅如此，麥克風(fēng)還需要對(duì)用戶的房間進(jìn)行聲學(xué)掃描，就像相機(jī)需要進(jìn)行視覺掃描一樣。這樣做是為了讓聲音與用戶所在的房間相匹配，提供適當(dāng)?shù)幕祉?、音調(diào)頻率等。此外，在空間音頻應(yīng)用中，當(dāng)用戶轉(zhuǎn)頭時(shí)，聲音感覺仍然來自原來的同一位置，從而創(chuàng)造一種聲音錯(cuò)覺，讓耳朵聽到的“匹配”眼睛所看到的。

其它關(guān)鍵組件

除了傳感器，Vision Pro還配備了從屏幕到電池等一系列高科技組件。

顯示器：從其名稱就可以看出，Vision Pro顯然非常注重用戶的視覺感受。它采用了有史以來最令人驚艷的顯示器。Vision Pro有兩個(gè)郵票大小的顯示器（每只眼睛一個(gè)），每個(gè)顯示器的像素都比4K電視高。這使Vision Pro主顯示器的總像素?cái)?shù)達(dá)到了驚人的2300萬像素，以及12毫秒的刷新率（約為83 fps）。同時(shí)，Vision Pro外部還有一個(gè)顯示屏，可以向周圍的人顯示用戶的眼睛。盡管外部顯示器的素質(zhì)尚不清楚，但它是一個(gè)曲面OLED屏幕，前面有一層透鏡膜，可以給人一種3D顯示的印象，所以人們看到的是有深度的圖像，而不僅僅是平面圖像。

音頻驅(qū)動(dòng)器：Vision Pro的系帶在用戶兩側(cè)鬢角位置都內(nèi)置了音頻驅(qū)動(dòng)器，當(dāng)用戶戴上后，可以向耳朵發(fā)射豐富的、環(huán)境響應(yīng)的音頻。蘋果公司提到，Vision Pro為每只耳朵都提供了雙音頻驅(qū)動(dòng)，這可能表明其音質(zhì)可以與AirPods Max相媲美。

風(fēng)扇：為了保證整個(gè)設(shè)備的散熱，Vision Pro配備了數(shù)量不詳?shù)娘L(fēng)扇，有助于保持其內(nèi)部的最佳溫度。這些風(fēng)扇很安靜，但功能強(qiáng)大，可以為耳機(jī)內(nèi)的兩顆強(qiáng)大芯片提供散熱。底部的設(shè)計(jì)細(xì)節(jié)有助于排出熱空氣。

數(shù)字旋鈕：借鑒Apple Watch，Vision Pro也有一個(gè)數(shù)字旋鈕，它可以旋轉(zhuǎn)來召喚主屏幕，切換淹沒用戶周圍的沉浸式環(huán)境，以獲得真正的VR體驗(yàn)。

快門按鈕：數(shù)字旋鈕還配有快門，可用于拍攝3D照片和視頻，這些照片和視頻可以在Vision Pro中查看。

電池：Vision Pro有一個(gè)獨(dú)立的電池單元，使用專有連接器連接設(shè)備。Vision Pro之所以采用獨(dú)立的電池組，是為了盡可能減輕頭顯設(shè)備本身的重量?？紤]到電池的重量問題，采用外置電池方案有助于分配負(fù)載。蘋果公司沒有分享電池的具體容量，介紹稱充滿電后可以連續(xù)使用2小時(shí)。另外，獨(dú)立電池如何充電也沒有提及。

編輯：黃飛

?