CES 2020:索尼發布的光場技術大解密

青亭網( ID:qingtinwang )--鏈接科技前沿,服務商業創新

剛剛結束的CES2020上,最吸引眼球之一的莫過于索尼的展臺啦!

01

除了已經被各路新聞搶先報道的電動車VISION-S的亮相:

02

索尼這次還專門用了兩大展區專門發布了光場相關的兩項黑科技:3D Spatial Reality Display Technology 和?Virtual?Production Technology using 3D Volumetric?Capture

是不是不明覺厲呢!那趕快一起來看看吧!

亮點一

Virtual?Production Technology using 3D Volumetric?Capture

使用3D體積化采集的虛擬制作技術

03

通過圖片可以看到,展臺背景是一整塊屏幕,屏幕前的地上有真實的布景,包括冒煙的下水井蓋和一輛真實的汽車,還有一條弧形攝影機軌道從展臺后側靠近屏幕的位置延伸到觀眾側,攝影機的畫面所拍攝到的畫面被實時傳送到旁邊的小屏幕上。

隨著拍攝開始,可以看到背景大屏上出現一段街景,隨著鏡頭移動,大屏內容也跟著鏡頭變化,神奇的是,攝影機拍攝出的畫面,前景的汽車和背后屏幕上的街景融合在一起,毫無違和感!無論鏡頭怎么拉近拉遠或是自由移動,始終感覺前景的地面和汽車就好像是真的在這條街一樣。

04

我們可以看到,隨著鏡頭移動,背景的大屏上,街景上建筑物的門廳與光的變化都是和現場拍攝完美匹配的。甚至前景汽車表面和地面水坑上反射的街景,都是完美如真的。

這么完美的效果是如何實現的呢?那是因為背景的街景是提前通過volumetric capturing的方式采集制作好的,相當于采集到了這條街的光場信息,即空間中所有的光,然后根據鏡頭位置的變化,即角度、距離和景深的變化,背景大屏會繪制出這個角度正確的光的信息。所以不論鏡頭怎樣變換,真實的前景和屏幕上的背景都能很好地融為一體。

那有同學可能會問啦,這和普通的綠幕技術有什么區別呢?

區別很大。首先,在原理層面,綠幕拍攝是將綠幕置于真實場景后方,以其為背景進行拍攝,并通過后期摳像等技術將綠色背景替換成新的場景。而索尼在CES 2020展示的體驗,基于Atom View技術方案,實時獲取攝像機在滑軌上的位置,基于這個位置實時渲染出被背景場景在該角度下的正確圖像,

因此,相機在滑軌上移動拍攝的過程中,看到的內容正是被攝物體與環境任意相對位置的正確呈現。簡單來說可以理解為,無論從哪個方向看被攝物體,其與環境的景深和遮擋關系都像真實環境一樣合理且自然。

05

在實際應用層面,通過Atom View拍攝呈現的畫面,虛擬場景和真實場景的光線是可以發生交互的。如下圖,地面水坑中映出的燈光倒影,是會隨著相機角度的移動而發生變化的。這種光線的交互,將令虛實之間的融合更加自然。而通過綠幕拍攝呈現的虛擬場景和真實場景中的光線則是無法發生交互的,呈現效果將遠不如Atom View。

06

那更懂一點的同學就會問啦,那我把街景的三維采集下來不就可以了嘛?為什么一定要把光場采集下來呢?動態三維重建技術的原理是重建場景的幾何,并基于某種著色模型計算場景的材質,這種重建方式無法表現復雜的光影效果,是不能滿足電影制作需求的。但光場采集可以完美呈現復雜的場景和光影的變化,采集內容更是具有“照片級”的真實感。因此,以光場采集的街景作為背景,將更能達到“真假難辨”的效果。

那這個技術在實際應用中有什么好處呢?正如上面所說,電影拍攝時,有一些稍縱即逝的背景總是需要非常耐心的等待,比如完美的夕陽、山間的濃霧。據說侯孝賢在拍《聶隱娘》的時候,為了等一個云開的鏡頭,就足足等了一周!

07

而好不容易云來了,夕陽出現了,演員們又壓力山大了,因為再資深的戲骨也很難保證一條過。這樣反復折騰兩次,劇組分分鐘要破產啦!

08

而如果有了光場采集技術,我們就可以把大自然稍縱即逝的美完美捕捉下來!然后演員們就可以自由地發揮啦,想來幾條來幾條,當然,需要導演同意啦。

09

比如說,一些花費巨大的背景鏡頭,比如真實的爆破,如果我們可以把它捕捉下來,導演后期就可以想從什么鏡頭拍就從什么鏡頭拍,演員也可以更自由地發揮,而不用擔心成本啦!

10

再比如說,一些不能實景拍攝的場地,比如受保護的遺址和非常危險的場地,以前可能需要花費巨資去實景搭建。那有了這項技術,我們就可以把場景捕捉下來,后期在索尼的影棚里,想怎么拍怎么拍,再也不用擔心,踩破一塊地磚就全組傾家蕩產啦!

11

聽起來是不是很激動人心呢!實際上,Unreal Engine的virtual production使用的也是這項技術。但二者在拍攝時真實場景后方大屏幕里的顯示內容上有所不同,Unreal Engine的屏幕內顯示的是虛擬內容,Sony顯示的則是光場采集的場景。

12

那國內有沒有做類似技術的公司呢?奧本未來就是一家專注于光場采集與渲染技術的公司,其光場內容,已經服務了國內眾多平臺和品牌,也是第一個可以在手機上體驗的光場內容!

13

有了光場采集來的三維內容,那要在什么樣的硬件上體驗才是最棒的呢?那當然就是索尼的另一項黑科技——“眼球追蹤光場顯示器”啦!

亮點二

3D Spatial Reality Display?Technology

3D光場顯示技術

14

展臺排隊n久之后,會被領到一個如圖所示的小盒子前面。小盒子沒有頂面和正面,有一個斜拉的屏幕。屏幕上方有Sony自研的眼球追蹤器。由于可以追蹤眼球,所以可以根據眼睛觀察的方向和距離,來繪制正確三維內容,所以從各個角度都可以觀察到正確的三維內容,從而達到自然觀察一個三維物體的體驗。

15

因現場拍攝角度限制未能呈現最佳效果,隨人眼視角觀看體驗更佳哦~

實際體驗的時候會發現,Sony眼球追蹤器的體驗相當不錯。追蹤速度快,幾乎人剛坐在體驗區就可以追蹤到眼球的動向;同時追蹤穩定,即使頭部快速晃動也不會追蹤丟。

總體感覺,像素還是比較高,因為周圍幾面是黑的,對比度和亮度都不錯,方便創作者將各種引擎制作或采集的三維內容用這個顯示器查看。這樣一來,所有三維的游戲和娛樂內容都可以在這樣一個“真-三維顯示器”上體驗,是不是想想就很開心呀!然后默念三遍“索尼大法好”~~~

其實縱觀整個CES,與光場相關的技術和公司真是不少呢!荷蘭公司Dimenco也發布了眼球追蹤的光場顯示器;另一家公司Looking Glass更是發布了裸眼光場顯示器!

2020年被稱為光場技術的“元年”,光場顯示技術和硬件在不斷進步,光場采集建模繪制技術也有了新的升級。高質量的光場數字內容與顯示技術相結合,無疑將把AR/VR的沉浸感推上一個新高度,亦將推動光場技術應用真正進入每個人的生活。

更多精彩內容,關注青亭網微信號(ID:qingtinwang),或者來微博@青亭網與我們互動!轉載請注明版權和原文鏈接!
青亭網

微信掃碼關注青亭網

青亭網

青亭 | 前沿科技交流群01

責任編輯:小新
分享到QQ 分享到微信
切換注冊

登錄

忘記密碼 ?

您也可以使用第三方帳號快捷登錄

Q Q 登 錄
微 博 登 錄
切換登錄

注冊

河内一分彩app