微軟新XR研究成果(二):除了注視點渲染,眼球追蹤還能做什么

青亭網( ID:qingtinwang )--鏈接科技前沿,服務商業創新

近年來,將VR與眼球追蹤技術結合逐漸成為一種趨勢,眼球追蹤技術不僅可以作為VR的一種交互/輸入方式,也可以與注視點渲染相結合,從而降低頭顯的功耗,提高渲染效率。或者,眼球追蹤也可以用于優化自適應游戲AI、游戲新玩法、預測用戶行為等。

eye tracking tobii

除此之外眼球追蹤還有其他用途嗎?近期,在微軟向ACM用戶界面軟件與技術研討會提交的三篇論文中,就曾有一篇展示了眼球追蹤在多種場景中偷換余光畫面的能力,為該技術指明了新的應用方向。(上一篇參考:《不用透視功能,戴VR頭顯上街是什么感受》)

1572011298048

7種應用場景

據了解,微軟在論文中指出了一種名為Mise-Unseen(向法語Mise en scène致敬,指的是場面調度,戲劇或電影制作的一種表現手法)的系統,主要用來改變你眼前的VR場景,比如利用注意力轉移,將你在遠處看到的物品悄悄轉移到跟前,或者根據你的喜好來改變場景中的布局等等。

在電影中,場面調度指的是導演通過引導觀眾注意力的方式,讓他們看不到場景中的鏡頭或照明裝置,或者在觀眾視場角外改變場景。而在VR中,用戶的視角由自己控制,是不可控的。而且隨著VR頭顯視場角逐漸增大,可隱藏場景變化的區域就會更小,因此場景的改變只能在用戶余光視覺悄悄進行。(視網膜中央凹視場角為5°,中央視場角約為30°)

微軟研究院高級研究員Mar Gonzalez Franco表示:Mise-Unseen的概念來源于注視點與注意力之間的聯系,因為通常你看哪里,你的注意力就在哪,同時也不會注意到其他地方。

因此,Mise-Unseen系統利用眼球追蹤來識別用戶的注視點,并結合顯著度/視覺干擾等掩碼技術,然后通過感知模型來建議場景中作出何種改變不會引起用戶注意。比如,在虛擬畫廊場景中,Mise-Unseen會通過注視點來分析你的喜好,并改變你余光部分其他油畫的風格。

除此之外,Mise-Unseen甚至可以用來強化用戶在VR中測試的準確性。比如說,在VR游戲中,你需要解開一個謎題來計算出密碼,當然通常你可以通過不斷試錯來蒙對答案,甚至都不需要看謎題是什么。而加上Mise-Unseen技術后,如果你從來沒有仔細看題,那么即使你蒙對了答案,謎題也會趁你不注意的時候悄悄實時改變,讓你不得不根據題目來計算出答案。

當然Mise-Unseen也可以用于實現被動體感反饋、自適應難度,甚至優化過場動畫來降低暈動癥,以及降低優化成本、優化渲染效率等。

關于原理

1572011316639

不同應用使用不同模型

為了進一步演示Mise-Unseen的作用,科研人員開發了多種不同的應用,我們過一會詳細講解。這些應用會對場景進行多種不同的改變,而改變產生的時間則由Mise-Unseen系統來決定。

那么Mise-Unseen具體是怎樣決策的呢?Mise-Unseen利用眼球追蹤,將用戶的注意力、意圖/空間記憶等感知理論的不同領域制作成5個注意力模型,并通過這些模型來確定畫面修改掩碼的決策和時間,以此來減少用戶預期、察覺或回想起來的情況。

它會根據注意力模型計算出應用中的變化引起用戶注意的可能性。比如,Mise-Unseen會計算出每個應用中,每一幀中每個注意力模型的值,其中最高值作為被發現的可能性,當可能性低于預定閾值時,Mise-Unseen才會將變化注入場景中。

1)防止用戶發現

那又是如何避免用戶發現到改變呢?Mise-Unseen利用了4個模型搭配視覺掩碼,其中第一個模型(測量當前注意力)基于一個簡單的原理,即:注視點意外的虛擬目標不容易被察覺,然后再加上視覺干擾等掩碼技術,進一步降低穿幫的可能性。不過當用戶已經忙于另一件事的時候,也可以省去干擾。

而第二個和第三個模型分別通過瞳孔測量法和眼跳來測量認知負荷,這是實現非注意盲視(一種心理現象,指的是對于你不注意的事情,即使近在眼前也看不到)的一個必要條件。

第四個模型測量潛在的注意力,負責處理當人眼沒有看某樣東西卻注意到改變的情況,這時候如果注視點即將靠近,可能會根據所剩時間選擇終止或加速改變。

最終,科研人員實現場景改變的方式有四種:一種是在用戶注視點以外悄悄變化;第二種是用更突出的干擾物去吸引用戶注意力;第三種是通過漸進淡出和低對比度等視覺技術降低視覺信號強度;第四種是為用戶提供干擾性任務,通過增加注意力負載來避免他們注意到周圍的改變。

同時,用于干擾的掩碼技術也可以替代注意力模型二或三。另外你可能會說,其實不需要注視點信息也能吸引用戶注意力,但Mise-Unseen的作用是能夠通過注視點信息來驗證用戶沒有注意到改變,這樣即使是更自然、更休閑的干擾動作也可以達到效果,而且更容易集成,甚至可能在場景中就已經存在。

2)避免用戶回憶起

為了避免用戶事后依靠回憶識別出場景改變,Mise-Unseen采用了第五個模型搭配場景建議的方式。據悉,第五個模型通過測量停留時間來計算空間記憶,旨在防止用戶通過視覺記憶在事后對比時發現改變。

為了看起來更直觀,科研人員使用了加權定向圖來代表用戶的空間記憶,其中包含的信息包括相關目標之間的空間和角距離。

而Mise-Unseen避免用戶回憶起的具體方法是,通過為與改變無關的目標推薦新的定位和旋轉。比如,無關目標與得到改變的目標一起移動,從而降低前后差異,以及對空間記憶的破壞,進而降低用戶察覺的可能性。

3)避免用戶預料到

為了避免用戶預料到本該不易察覺的改變,Mise-Unseen會采用隨機的形式觸發變化,或者通過眼球追蹤推斷出用戶對場景的理解和意圖,進而在用戶行動之前就做出改變。

那么用戶意圖又是如何推斷的呢?Mise-Unseen會通過測量注視點在目標上的停留時間并設定閾值,而且除了推斷意圖外,也可以通過將用戶呈現的注視點規律與預定義的掃視軌跡進行對比,來驗證用戶對于某項內容的理解。

7種應用場景

據了解,微軟這篇論文的主要目標是展示在用戶眼前、注視點外圍做改變而不被發現是可行的,并且列舉了7種可應用的不同場景,包括:

  • 1,識別用戶選項,在缺少實體道具時,實現被動體感;
  • 2,在空間有限時維護持續的移動;
  • 3,降低在VR中移動產生的暈動癥;
  • 4,隱藏根據用戶而改變的自適應任務難度;
  • 5,自適應用戶偏好;
  • 6,在情節進展中驗證用戶是否理解;
  • 7,控制低保真特效出現時間。

為了展示上述7個場景,科研人員分別開發了相應的7個應用:

錘子

1,鐵匠鋪——展現被動體感:在這個應用中,Mise-Unseen會根據用戶注視點來推斷接下來想要選擇的武器,并且當桌子上這個武器處于注視點外圍時,將它移動到真實環境中對應道具的位置,這樣即使你只有一個體感道具,也可以讓用戶在VR中不管選哪個武器都能抓到它。

1572011454214

2,貨廂——展現自由行走:這個應用的作用與鐵匠鋪相似,但它不是將武器與道具重疊,而是將兩個軌跡中的一個與真實環境重疊。當然,靠空間壓縮技術就已經可以讓VR空間適應物理空間,甚至改變注視點以外的盲區,而且預測用戶行走方向也不是新的概念。而這個應用的不同之處在于,其展示了眼球追蹤可以讓自由行走的體驗感更自然,甚至減少對于VR畫面的利用率。除了眼球追蹤外,電話鈴等干擾也是必須要的。

1572011472159

3,城市飛行穿梭——展現過場動畫、360°視頻、虛擬移動:這個應用展現了從高樓飛下來的過場動畫,與通常用來遮擋余光視覺的黑色掩碼不同,這里通過將余光視覺刷新率降低至1Hz來減少余光看到的動作,并且將注視點和余光的渲染畫面融合。而這一效果是通過插幀、注視點邊緣羽化加上動態模糊來實現的。

效果類似于注視點渲染,區別在于它并沒有降低像素分辨率而是降低了時間分辨率,并且采用插幀而不是插像素的原理。

1572011348288

4,拼圖——展現自適應難度:這個應用旨在幫助用戶完成任務,通過使用視覺干擾,加上余光視覺變化,將正確的拼圖移動到用戶眼前,同時確保用戶完成任務的滿足感不會減少。

1572011496165

5,畫廊——展現自適應內容:這個應用會通過眼球追蹤信息來猜測用戶的喜好,比如你第一眼將目光停留在現代藝術品上,那么Mise-Unseen便會悄悄將余光部分的印象派藝術品變成現代風格。

1572011382834

6,謎題破譯——驗證用戶真實選擇/情節進度:這個應用旨在防止用戶通過反復試錯來作弊,當Mise-Unseen通過注視點識別推斷出你沒有審題而是直接輸入答案的時候,便會在題目位于你余光的時候悄悄改變。這可以用于冒險游戲中,促進你去理解故事進度和敘事,也可以用于培訓或教育。

1572011506466

7,汽車爆炸——展現對開發成本的優化:注視點渲染可以節省計算成本,而這個應用甚至可以降低開發成本,好讓開發者將更多資源用于優化其他更重要的內容。為了避免用戶注意到低保真渲染的汽車爆炸效果,Mise-Unseen會通過敘事等方法來引導用戶注意力。

驗證實驗

1572011523470

為了驗證Mise-Unseen系統的效果,微軟科研人員找來15個人進行體驗,其中有12人曾體驗過VR,5人曾體驗過眼球追蹤,還有8人曾觀看過魔術。此外,實驗中使用的設備包括:HTC Vive Pro頭顯、基站、追蹤器以及PupilLabs的眼球追蹤模塊(刷新率200Hz,延時4.5ms)。

1572011551981

實驗結果發現,注視點數據確實有助于掩蓋視場角內畫面的改變,當畫面涉及任務和移動的干擾時,識別率(正確識別畫面改變的比例)會大幅降低,總之將注視點數據與越復雜的掩碼技術結合,變化越難以識別。

另外,還調查了參與者對于每個應用的趣味性(按照利開特式量表從1到7打分)的看法,認為其中拼圖、謎題破譯、畫廊、鐵匠鋪和城市飛行比較有趣。

總之,Mise-Unseen啟發了眼球追蹤的更多場景。當然除了眼球追蹤,Mise-Unseen也可以結合其他數據來分析用戶注意力,比如視頻處理過程中提供的顯著圖、腦機接口信號(EEG等)等。也可以增強視覺掩碼技術,比如在技術層面上,可通過誘導用戶眨眼來觸發不易察覺的快速變化。本文系青亭網翻譯自:微軟

更多精彩內容,關注青亭網微信號(ID:qingtinwang),或者來微博@青亭網與我們互動!轉載請注明版權和原文鏈接!
青亭網

微信掃碼關注青亭網

青亭網

青亭 | 前沿科技交流群01

責任編輯:小新
分享到QQ 分享到微信
切換注冊

登錄

忘記密碼 ?

您也可以使用第三方帳號快捷登錄

Q Q 登 錄
微 博 登 錄
切換登錄

注冊

河内一分彩app