“最初打算幫助殘疾人，是因為我在卡耐基梅隆讀博時，結(jié)識了一位從 IBM 到我們學校訪問的盲人教授。和她一起去朋友家時，發(fā)現(xiàn)她的生活非常不方便，這也是我設(shè)計盲人屏幕閱讀器的起因。”對密歇根大學計算機科學與工程系 90 后華人教授郭安鴻來說，“科技向善”是他身上抹不去的標簽。

很多人都曾在課本上學習過海倫·凱勒的《假如給我三天光明》，由于失聰和失明，她只能通過觸覺來學習說話，比如把手指放在老師的鼻子、嘴唇和咽喉上，去感受某個單詞的發(fā)音方式。

一個四肢健全的盲人固然有觸覺，但卻因為眼盲、而無法操作那些常人可以輕松操作的鍵盤，比如微波爐和電飯煲的物理操作界面。對他們來說，這些操作界面的按鈕，不僅在觸覺上難以區(qū)分，并且屏幕上還有他們無法閱讀的視覺信息。

基于此，郭安鴻研發(fā)出一款人機交互系統(tǒng)，來幫助盲人讀取、以及使用物理操作界面上的內(nèi)容。

該系統(tǒng)包含三大塊：VizLens、Facade 和 StateLens。其中VizLens 幫助盲人通過音頻指示去使用物理操作界面，F(xiàn)acade 使用 3D 打印技術(shù)給其提供盲文標簽，而 StateLens 則可以幫助他們識別動態(tài)操作界面。

VizLens：可給盲人提供實時幫助

VizLens 是用于靜態(tài)物理操作界面的交互式屏幕閱讀器，它結(jié)合了按需眾包和實時計算機視覺技術(shù)。

當盲人遇到某個無法閱讀的靜態(tài)界面如微波爐界面時，使用手機對操作界面進行拍照，之后 VizLens 會把照片發(fā)送給網(wǎng)絡(luò)眾包人員。

視頻 |VizLens使用說明

眾包是一種通過互聯(lián)網(wǎng)多人協(xié)作獲得數(shù)據(jù)資源的方式，比如 Amazon Mechanical Turk 眾包網(wǎng)站就是借助遍布在互聯(lián)網(wǎng)上的自由職業(yè)者，通過他們完成一些細小工作，最終匯集在一起解決大型問題。

圖 | 用戶使用界面的操作過程（來源：受訪者）

眾包人員收到盲人的信號后，就會標記界面布局、并注釋相關(guān)元素如按鈕或其他控件，隨后會描述每個元素，描繪出的圖片也會成為參考圖像，進而幫助計算機視覺更好地工作。

之后，當盲人要操作微波爐界面時，只需打開 VizLens 應用程序，把手機攝像頭對準界面，接著把手指懸停在界面上，這時VizLens 會使用基于 SURF（Speeded Up Robust Features，加速穩(wěn)健特征）的對象匹配技術(shù)，將眾包標記的參考圖像、與實時捕獲的圖像進行匹配，并跟蹤用戶的手指，進而去做檢索、提供音頻反饋和指導用戶。

有了這種即時反饋，VizLens 就能實時地把界面內(nèi)容告訴給盲人。此外，VizLens 還權(quán)衡了眾包人類智能和計算機視覺的優(yōu)勢，因此它對物理界面的解釋能力，幾乎和人工一樣準確，并且它和計算機視覺系統(tǒng)一樣快捷且低成本。

Facade：方便盲人獨立讀取的 3D 打印觸覺覆蓋層

一般來說，盲人經(jīng)常在家電上貼盲文標簽?；?VizLens，郭安鴻進一步開發(fā)出 Facade，這是一款可讓盲人獨立讀取的 3D 打印觸覺覆蓋層。

盲人拍攝操作界面照片時，照片中需要包含絕對尺寸的標記（fiducial marker），比如錢幣或者信用卡。拍攝以后，F(xiàn)acade 可通過照片來恢復按鈕標簽尺寸信息。

接著，F(xiàn)acade 會用類似 VizLens 的眾包方法對圖像作出標記。這時，盲人可以使用 Facade 應用程序，來自定義觸覺覆蓋層，隨后 Facade 可據(jù)此生成 3D 模型，這時使用家用 3D 打印機，即可制造出觸覺覆蓋層。

研究中，郭安鴻經(jīng)歷幾次設(shè)計迭代，最終確定了最有效的覆層設(shè)計、材料配置和打印機設(shè)置，以使 3D 打印的覆層易于附著、讀取和按壓。

概括來說，VizLens 和 Facade 使盲人用戶可以訪問許多靜態(tài)界面。郭安鴻又在此基礎(chǔ)上，開發(fā)了StateLens，這是一種用于公眾信息顯示屏和支付終端等動態(tài)觸摸屏。

StateLens：解決誤觸難題

盲人一旦觸碰屏幕，就很容易帶來誤操作，為解決此類觸摸難題，針對使用過程中的意外觸發(fā)因素，郭安鴻又設(shè)計出一套 3D 打印附件，即指帽和手寫筆。

使用中，盲人通過手勢激活所需的觸摸位置，無需直接觸摸屏幕即可瀏覽。據(jù)悉，StateLens 可在不修改觸摸屏基礎(chǔ)硬件或軟件的情況下，為公共觸摸屏帶來 “無風險使用”，這也是可訪問觸摸屏交互的核心。

圖 | 觸摸交互設(shè)計（來源：受訪者）

在對 StateLens 進行評估的過程中，他們首先通過 12 個觸摸屏設(shè)備和 70K 多幀的實驗視頻，證明出 StateLens 可從固定視頻、手持視頻和網(wǎng)絡(luò)視頻中準確地重建界面。隨后，再對 14 位盲人參與者做用戶研究。這時，他們發(fā)現(xiàn)這款人機交互系統(tǒng)，可使盲人訪問此前無法訪問的動態(tài)觸摸屏。

“你是我的眼”：盲人自己也可使用微波爐

談及研發(fā)過程，郭安鴻表示：“我剛到匹茲堡時，不太熟悉當?shù)赜脩艉徒M織，但我做的是和盲人有關(guān)的項目，想要接觸他們就更難。后來參加了一些當?shù)氐?meet up 活動，得知在一些圖書館里，有一些盲人在那里工作。通過這樣一個滾雪球的方式，我一點點地找到了一系列用戶。后面很多類似項目，我都可以去聯(lián)系他們，看他們是否有時間給到一些反饋意見、試用一下我們做的產(chǎn)品等等?！?/p>

他說：“除了和 IBM 盲人教授相處的經(jīng)歷之外，通過觀察圖書館盲人工作人員，也讓我更加關(guān)心盲人的生活，比如說他們在使用微波爐這種物理操作界面或觸屏設(shè)備的時候，有很多不方便的地方。然后我就想到可以通過計算機視覺、眾包以及可穿戴設(shè)備等技術(shù)，設(shè)計一個系統(tǒng)，來幫助盲人用這種物理操作界面?！?/p>

系統(tǒng)初步完成后，郭安鴻在用戶給產(chǎn)品做測試的過程中，非常有個人成就感。一方面系統(tǒng)可給盲人生活提供實質(zhì)性幫助，另一方面他自己對人機交互領(lǐng)域的興趣和熱愛，也帶來了一定的現(xiàn)實影響。

而在做每個項目之前，郭安鴻都會邀請盲人用戶到實驗室里，或去他們家里進行訪談，收集他們的痛點后、再和團隊進行頭腦風暴。研究過程中，也會得到盲人用戶的持續(xù)反饋，獲得新數(shù)據(jù)后再進行迭代，最終完成系統(tǒng)設(shè)計。

比如 Facade，其過程涉及到 3D 打印。那么，它到底該怎么打盲文？怎么讓盲人摸到后就能識別？需不需要考慮多種顏色？如何讓有一點點視力的盲人得到更好的幫助？針對這些問題，郭安鴻在收集用戶反饋后，最終找到了最佳 3D 打印設(shè)置。

目前他正計劃把該成果放在網(wǎng)上，作為免費應用供盲人使用。另一方面，微軟、蘋果、谷歌也在做殘疾人相關(guān)的技術(shù)研究，郭安鴻之前曾和他們有過具體的合作，以后他想在這方面做更多拓展。

“畢業(yè)即教授”：28 歲拿到博士學位、并成為助理教授

郭安鴻是遼寧沈陽人，1992 年生人，小學畢業(yè)后就讀于東北育才少兒班，16 歲高中畢業(yè)，隨后北上并來到北京郵電大學讀書，20 歲時本科畢業(yè)。

本科畢業(yè)后，他來到佐治亞理工學院讀碩士，畢業(yè)后到卡內(nèi)基梅隆大學讀博，28 歲時博士畢業(yè)，2020 年是他博士畢業(yè)的年份，也是他在密西根大學獲得助理教授教職的年份。來密西根大學教學之前，他還在微軟、谷歌等公司參與過項目。

談及過往，他表示：“我在這個過程中遇到了很多非常好的導師，參與到一些非常開眼界的項目，然后才讓我一點點接觸到科研，并可以獨立開展這些有意思的研究?！?/p>

由于他本科是電子信息工程專業(yè)，期間曾參與一個用計算機視覺、來進行手勢識別和臉部識別的控制游戲項目。后來他逐漸了解到人機交互，并且對此十分感興趣，于是申請了一些相關(guān)項目，并一步步走上研究軌跡。

當問到是否初心不改、延續(xù)著一直以來的研究路線時，郭安鴻說：“我覺得研究路線其實一直都在變，因為時間也都在變，并且這些研究的學科也都在發(fā)展。不變的是我想要讓世界變得更好，希望做的項目實際上可以幫助到殘疾人，讓他們的生活變得更便利。”

原文標題：90后北郵畢業(yè)生開發(fā)交互式屏幕閱讀器，盲人可獨立操作觸摸屏，甚至能在無人陪護下使用微波爐 | 專訪

文章出處：【微信公眾號：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責任編輯：haq