互聯(lián)網(wǎng)時(shí)代，電腦是計(jì)算平臺(tái)的核心，而鼠標(biāo)和鍵盤作為互聯(lián)網(wǎng)第一代交互方式，曾徹底引燃了電腦時(shí)代。到了移動(dòng)互聯(lián)網(wǎng)時(shí)代，智能手機(jī)開(kāi)始站上計(jì)算平臺(tái)的核心位置，多點(diǎn)觸摸操作成為第二代革命性交互方式的標(biāo)志。

交互方式從一維的按鍵、點(diǎn)擊交互，演變到了二維的多點(diǎn)觸摸交互。我們看到，正在邁向的萬(wàn)物互聯(lián)數(shù)字世界，三維多模交互手段必將在新的計(jì)算平臺(tái)XR（AR/VR/MR的統(tǒng)稱）中扮演極其重要的角色，為智能世界打造極致的超現(xiàn)實(shí)用戶體驗(yàn)。如果說(shuō)，Windows系統(tǒng)的圖形化界面把人們從Dos系統(tǒng)下解放出來(lái)，用更符合直覺(jué)和人性的方法讓人們對(duì)電腦進(jìn)行操作是一次新技術(shù)的跨越的話，多模交互超現(xiàn)實(shí)體驗(yàn)則是另外一次意義更為深遠(yuǎn)的騰躍。網(wǎng)絡(luò)和電腦技術(shù)，終于使得數(shù)字世界和現(xiàn)實(shí)世界全面融合，人類升級(jí)為真正意義上的數(shù)位人。

實(shí)現(xiàn)超現(xiàn)實(shí)體驗(yàn)的前提是什么？

多模交互的超現(xiàn)實(shí)體驗(yàn)，需要虛擬世界與真實(shí)世界的無(wú)縫融合，并能夠準(zhǔn)確感知、還原世界，在虛實(shí)結(jié)合的混合現(xiàn)實(shí)世界中理解用戶的意圖。此外，多模交互需要打通視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、嗅覺(jué)等多種感官體驗(yàn)，實(shí)現(xiàn)人與成千上萬(wàn)種邊緣設(shè)備之間的交互。為實(shí)現(xiàn)這個(gè)目標(biāo)，需要將用戶所處的整體環(huán)境作為一個(gè)超級(jí)數(shù)字世界來(lái)對(duì)待，依托語(yǔ)言、肢體、觸覺(jué)、光感、腦機(jī)、表情、意識(shí)等，進(jìn)行信息采集和傳輸，并識(shí)別用戶意圖、再通過(guò)裸眼3D、全息投影、AR眼鏡、數(shù)字嗅覺(jué)和數(shù)字觸覺(jué)等科技呈現(xiàn)給用戶，從而實(shí)現(xiàn)超現(xiàn)實(shí)的交互體驗(yàn)。

在超現(xiàn)實(shí)體驗(yàn)里，傳統(tǒng)的鼠標(biāo)、鍵盤和多點(diǎn)觸摸交互已經(jīng)無(wú)法滿足XR設(shè)備的交互要求。簡(jiǎn)單的說(shuō)，在沒(méi)有實(shí)體屏幕和物理控制設(shè)備的前提下，人類無(wú)法在一個(gè)虛擬三維環(huán)境里，通過(guò)簡(jiǎn)單的鍵盤、鼠標(biāo)或多點(diǎn)觸摸來(lái)完成復(fù)雜的命令輸出。以手勢(shì)操控為例，終端設(shè)備需要捕捉到三維空間內(nèi)手指的動(dòng)作，同時(shí)完成對(duì)時(shí)間和空間的判斷，并同步發(fā)出指令以完成用戶的意圖。終端設(shè)備還必須清晰判斷出用戶發(fā)出的語(yǔ)音指令，甚至根據(jù)用戶的行為習(xí)慣來(lái)判斷用戶的下一步意圖是什么。這種交互方式，就是我們常說(shuō)的本能交互--最大化以用戶心智模型出發(fā)，使用共識(shí)或易學(xué)、易用的操作，讓用戶少點(diǎn)思考、少點(diǎn)疑惑、少點(diǎn)反復(fù)。

真正的挑戰(zhàn)來(lái)了

雖然超現(xiàn)實(shí)體驗(yàn)未來(lái)可期，但現(xiàn)有的交互設(shè)備和交互環(huán)境，還不能實(shí)現(xiàn)較高的操作精度，面向一般消費(fèi)者的產(chǎn)品，仍然需要技術(shù)和商業(yè)上的不斷突破。

-面向移動(dòng)

對(duì)移動(dòng)位置的控制來(lái)說(shuō)，設(shè)備需要完成用戶在三維空間上的原始解放。置身于近乎無(wú)限的在虛擬空間中，用戶可以在虛擬的三維空間中不受任何限制的移動(dòng)。這種不受限的行動(dòng)，雖然使用戶的感官上已經(jīng)從現(xiàn)實(shí)世界里脫離了出來(lái)，但自身仍然無(wú)法脫離物理世界。絕對(duì)的行動(dòng)自由，是對(duì)環(huán)境規(guī)則的否定。所以物理世界與數(shù)字世界仍然需要進(jìn)一步的融合，才能讓用戶擺脫現(xiàn)實(shí)世界的束縛真正進(jìn)入虛擬世界里去。這種融合的前提是：通過(guò)一種外部的框架來(lái)實(shí)現(xiàn)的支撐和隨動(dòng)。

-面向手部操作

用戶的手部操作一般占日常整體動(dòng)作的八成以上，如果沒(méi)有精準(zhǔn)的手部動(dòng)作捕捉、特征追蹤、動(dòng)作識(shí)別、空間定位系統(tǒng)，整個(gè)基于手部的操作環(huán)境都難以建立。手部操作的功能性體現(xiàn)在終端的業(yè)務(wù)執(zhí)行；手部操作表達(dá)性體現(xiàn)在窗口文字內(nèi)容輸出；手部操作的社交性體現(xiàn)在肢體語(yǔ)言上，由手勢(shì)和肢體動(dòng)作共同構(gòu)成。

因此，手部交互設(shè)備除了要符合以上的基礎(chǔ)條件之外還要遵循輕量級(jí)、可拓展、開(kāi)放性強(qiáng)等特點(diǎn)。

-面向數(shù)據(jù)輸入

從某種程度上來(lái)說(shuō)，XR是人類真正數(shù)據(jù)化自身的開(kāi)始。在這個(gè)起點(diǎn)，用戶的一切行為都可以被數(shù)據(jù)采集。同時(shí)，數(shù)據(jù)監(jiān)測(cè)的范圍也有效擴(kuò)大了，可以預(yù)見(jiàn)，未來(lái)一定是行為心理學(xué)和統(tǒng)計(jì)學(xué)的勝利。除去用戶肢體行為形成的數(shù)據(jù)，用戶在任何位置的停留、視覺(jué)選擇、手部操作，都可以成為用戶個(gè)人數(shù)據(jù)的采集范疇。而當(dāng)務(wù)之急，能否形成一套基于動(dòng)作、語(yǔ)言的數(shù)據(jù)輸入交互系統(tǒng)，對(duì)現(xiàn)階段繼續(xù)有效推進(jìn)XR發(fā)展演進(jìn)具有重要意義。有了高效的數(shù)據(jù)輸入系統(tǒng)，用戶才能提高表達(dá)效率，高效的輸入意味著用戶可以遵循更加可靠的輸入交互邏輯。

寫在最后

MR(混合現(xiàn)實(shí))、VR(虛擬現(xiàn)實(shí))、AR（增強(qiáng)現(xiàn)實(shí)）是構(gòu)成未來(lái)數(shù)字世界的三個(gè)重要組織部分。依托新的計(jì)算平臺(tái)以及更先進(jìn)的5G/6G技術(shù)，物理世界與虛擬數(shù)字世界的界限在不斷模糊，而XR技術(shù)的發(fā)展帶給從業(yè)者巨大的發(fā)展機(jī)遇和前所未有的挑戰(zhàn)。

展銳作為數(shù)字世界的生態(tài)承載者，數(shù)字世界底層建筑的構(gòu)建者，擔(dān)負(fù)著構(gòu)建未來(lái)數(shù)字世界底座的重任。在多模交互領(lǐng)域，展銳的智能手機(jī)平臺(tái)通過(guò)Sensor Hub傳感器系統(tǒng)，支持手勢(shì)操作、體感動(dòng)作、面部動(dòng)作等多種交互模式。另外，展銳在語(yǔ)音識(shí)別、語(yǔ)義理解、多語(yǔ)言系統(tǒng)等自然語(yǔ)言處理方面也有深度布局。基于展銳芯的終端品類從手機(jī)、平板手表、翻譯筆等，不斷向更豐富的物聯(lián)網(wǎng)領(lǐng)域擴(kuò)展。在5G、短距連接、高性能計(jì)算平臺(tái)等創(chuàng)新成果的基礎(chǔ)上，展銳正在不斷突破邊界，向更廣闊的空間探索……

審核編輯：符乾江