有了隔空手勢識別,移動AR也能變得更好玩?

青亭網( ID:qingtinwang )--鏈接科技前沿,服務商業創新

《精靈寶可夢Go》、《我的世界:地球》等LBS AR游戲看起來很好玩,尤其是將游戲中的小精靈或者沙盒方塊以AR的形式疊加在真實環境中的玩法足夠有趣。不過并不是每一款LBS AR游戲都能持續抓住玩家的胃口,玩家們渴望更多創新,更多有趣的交互方式,這也是為什么Niantic新推出的《哈利波特:巫師聯盟》反響遠低于《精靈寶可夢Go》的原因之一。

Portal-bleCapture_0

當然,就目前技術來講,即使是在游戲中加入更多手勢戰斗玩法、加入建造功能,它們也只能局限于手機屏幕這個界面中,某種程度上反而會破壞AR的沉浸感。打個比方,目前3D渲染技術已經足夠好,疊加在真實環境中的3D AR圖形可以做到相當逼真的效果,這時候如果還能用手直接拿起它,是不是會比在屏幕上碰它感覺更像真的?

布朗大學計算機科學的助理教授Jeff Huang表示:互動手勢并不是一種令人滿意的交互方式,因為在真實環境中,不管是扭門把手還是撿東西,用手去觸碰是最直接和自然的交互方式,因此我們想到或許在移動AR應用中加入手勢識別會比在手機屏幕上滑動效果更好。

maxresdefault

為了探索這個問題的答案,Huang領導布朗大學人機接口小組的12名科研人員研發了一種移動AR手勢交互方案:Portal-ble,這是一個可以讓手機用戶用手去觸碰AR物體的方案,將智能手機屏幕變得仿佛是AR世界的入口,讓你可以用手進行堆積木、擺放和旋轉家具,甚至在空中繪畫等操作。

Portal-ble

其硬件方案包含一個Leap Motion手勢識別模塊、一個Intel計算模塊(電腦棒)、一臺智能手機、一個5V 4A移動電源以及便攜包和安裝架。

而其原理并不難,其實就是用戶一只手拿著手機來查看AR,而連接在手機上的Leap Motion紅外光傳感器會追蹤另一只手,從而實現手勢與AR交互。其優勢在于不需要AR頭顯、追蹤手套、搖桿、AR標記,用手和手機就能進行交互。

1573204066769

不過,將物理原理應用在手勢交互上并不容易,有時候用戶容易將手放錯位置,甚至直接將手指插入AR物體中。為了達到最自然、逼真的體驗感,科研人員嘗試從交互感知(手觸碰AR物體的自然感)、手勢操作(成功抓取和旋轉AR物體)、行為理解(適應將智能手機作為“窗口”來看AR這件事)這三方面來優化Portal-ble的交互和界面。

他們開發了一系列任務來測試和了解用戶的感知和行為規律,接著在方案中加入感知反饋和調節適應機制。Huang表示:Portal-ble的交互體驗感有點像是在Photoshop中畫直線,盡管你很難畫出完美的直線,但是程序會通過自動平滑讓你畫出完美的直線,這也是我們希望在Portal-ble中實現的效果。

除了調節適應手勢操作外,布朗大學的科研人員還加入了感知反饋機制,比如用點亮AR物體、手機振動等方式來提示手勢的交互。

關于優化實驗

usage

接下來,就一起來看看布朗大學科研人員的整個實驗過程吧。

為了解Portal-ble方案的可行度,科研人員設計了一些體驗原型,并記錄了體驗者對一些問題的反饋,比如:拾取遠處物體的時候是否有困難,能否準確、舒適地與移動中的物體交互等,這些問題如果沒有得到實際測試,是很難想象出答案。

每位科研人員被要求設計內容操控和內容創作兩種任務,前者指的是:選擇、轉化、直接控制,比如扔飛鏢、玩保齡球、堆方塊、搬東西等。而后者指的是一系列自由的手勢,包括在空中畫方塊、畫直線、寫名字等。此外,每位科研人員需要分別招募兩名參與者。

在全部24名(12x2)參與者完成實驗后,科研人員發現了三類問題:感知問題、操作問題和行為問題。

比如,其中有一多半人無法理解自己的手與AR物體相對的空間位置。這主要體現在兩個方面:1,難以估計自己與AR物體之間的距離,甚至夠不到遠處的物體;2,不確定手該伸到多遠能碰到AR物體,因此在畫畫的時候筆觸容易接不上。

1573204092615

而操作上的問題則包括:撿不起東西、AR物體不小心掉下去,相當影響體驗感。另外,手勢跟蹤的噪波會影響手勢識別的準確性,而且自然的抓取手勢效果并不太好。產生這些問題的原因可能有三個:手指不小心離開可識別區域、遮擋問題、周圍環境光影響紅外光識別。

行為問題方面,指的是參與者缺少對徒手直接交互的操作方式的心智模型。為了熟悉AR物體的深度,一些參與者會通過移動智能手機,一只手固定手機,一只手移動,或者同時配合手機和手的方式來測量。但是這些動作通常會造成參與者的手移動到無法追蹤的區域,讓任務更加難以完成。

此外,參與者們也難以區分交互過程中的狀態,有時候已經抓到了AR物體,卻會再一次做出抓取手勢,有的人甚至不確定手中到底有沒有抓到東西。

為了優化這些問題,科研人員在Portal-ble中加入了三種適應機制:1,用線索去提示空間距離之間的關系;2,提示物體在附近;3,用體感反饋來表現默認、懸停和抓取狀態。

1573204106780

他們使用的線索包括視覺和聲音兩種,視覺指的是手在AR物體附近的時候,物體周圍會顯示綠色的輪廓線,抓取到物體之后,輪廓會變成藍色,以此來顯示交互的狀態。而聲音則指的是,你的手在與AR物體不同距離時,Portal-ble會發出不同音調的聲音。科研人員還是用了一種光線投影的方法,避免了多個物體同時發出聲音的狀況。

furniture

體感反饋方面,科研人員采用了一種延遲在25ms內的體感反饋方案,并將它用于兩種不同的情況:展示交互狀態的改變和虛擬物體之間的碰撞。這種體感反饋通過智能手機的震動來實現,它會提醒你的另一只手是否已經碰到AR物體,或者兩個物體之間進入相撞范圍(比如將AR杯子放到桌面上會產生震動)。

1573204143148

為了降低用戶完成任務的難度,科研人員還加入了適應機制,重新設計了碰撞識別結構,提高了系統的容錯率,讓你可以自然、快速完成任務。

而為了讓用戶適應與AR的交互,Portal-ble會通過測試了解用戶的臂長,并且在用戶手掌到達追蹤極限時用視覺反饋來提示。

1573204122633

Portal-ble方案誕生

1573204156914

完成優化后,受調查者在隨后的研究中反饋,Portal-ble的交互體驗感和感官反饋大幅降低了任務的難度,并且加快和提高了交互的準確性,用戶體驗感也比之前更好。

研發人員希望Portal-ble能夠成為藝術家、設計師、游戲開發者們用于測試AR的工具。Huang表示:AR將成為一種優秀的新交互模式,我們希望通過這種便攜式手勢交互方案,讓用戶不需要厚重的AR頭顯,就能隨時隨地體驗優質的AR,同時也希望為他們提供一種與AR世界交互的自然方式。

不過目前Portal-ble還是一個比較復雜的方案,對于普通手機用戶來講使用起來比較復雜。未來,科研人員計劃增加Portal-ble系統中支持交互的AR物體,優化交互,并開發全新的任務和內容,甚至希望簡化整個方案,將它集成在手機中。

其實,谷歌Pixel 4、華為P30系列手機已經開始支持隔空手勢功能,未來手勢識別也有望成為智能手機的一種趨勢。因此從Portal-ble實驗中,我們也可以看到未來AR游戲、應用與手勢識別結合的潛力,或許也能為《哈利波特:巫師聯盟》中的Portal功能帶來更有趣的玩法。本文系青亭網翻譯自:布朗大學

更多精彩內容,關注青亭網微信號(ID:qingtinwang),或者來微博@青亭網與我們互動!轉載請注明版權和原文鏈接!
青亭網

微信掃碼關注青亭網

青亭網

青亭 | 前沿科技交流群01

責任編輯:hi188
分享到QQ 分享到微信
切換注冊

登錄

忘記密碼 ?

您也可以使用第三方帳號快捷登錄

Q Q 登 錄
微 博 登 錄
切換登錄

注冊

河内一分彩app