降低眩暈感 VR延遲20毫秒以內(nèi) 電子實驗?zāi)K
如果你佩戴過VR頭盔設(shè)備，可能會發(fā)生一些眩暈感。延遲率是造成這種效果最重要的一個因素。VR延遲率指VR頭盔顯示設(shè)備的視覺觀測與頭部運動的匹配程度。研究表明，頭動和視野的延遲不能超過20ms，否則造成視覺上的眩暈，不適感。
目前，三星GEAR VR、剛發(fā)布的大朋VR一體機延遲都可以控制在19.3ms。如何控制延遲，主要取決于VR系統(tǒng)中數(shù)據(jù)從傳感器到CPU，再到GPU最后到顯示屏的整個過程的優(yōu)化，尤其是ATW技術(shù)。
在最近由網(wǎng)易科技舉辦的開物沙龍VR論壇上，Nibiru CTO曹峻瑋分享了移動端VR技術(shù)的關(guān)鍵點。通過底層系統(tǒng)優(yōu)化、ATW算法達到延遲控制在20毫秒以內(nèi)的目標，Nibiru已經(jīng)對整個系統(tǒng)優(yōu)化完成，可提供VR SDK。
曹峻瑋介紹說，首先是陀螺儀的應(yīng)用，陀螺儀刷新頻率越高，延遲越低，1K刷新的陀螺儀延時就是1ms。例如三星Gear VR的方案是1K刷新率的陀螺儀。
“對于移動VR的陀螺儀現(xiàn)在業(yè)界有兩種方案，一種方案是比較便宜的，直接用手機里的陀螺儀，這個陀螺儀如果使用I2C總線，速率不是很快，現(xiàn)在也有些方案使用SPI總線，它的傳輸速率會高一些。另外一種就是現(xiàn)在以三星Gear VR為主導的，用的是外接MCU陀螺儀模塊，通過USB傳遞數(shù)據(jù)。對于第一種方案如果陀螺儀刷新率過高， I2C協(xié)議帶來的系統(tǒng)中斷對于CPU的損耗過高，手機CPU會發(fā)燙特別嚴重。USB方案相對好一些。”曹峻瑋解析道。
在陀螺儀技術(shù)里面融合算法非常重要。所謂的融合算法就是將陀螺儀，加速度和地磁進行有效的融合矯正，使得用戶在調(diào)用陀螺儀時候保持數(shù)據(jù)穩(wěn)定性和準確性。
融合算法集成在硬件底層驅(qū)動是一個趨勢?？梢越档虲PU的損耗，增加陀螺儀的效率。“高通發(fā)布了VR SDK，我們認為比較好的做法就是把陀螺儀融合算法放到硬件DSP里面去做。”
圖形圖像部分，需要與芯片原廠配合做底層優(yōu)化。包括：第一就是Front buffer Rendering，為什么Latency會較高，原因是Android架構(gòu)的整個系統(tǒng)本身就是非實時性系統(tǒng)，需要做很多同步驗證，導致延遲高。Front buffer Rendering是所有的移動VR優(yōu)化必須做的。
第二是ATW，借此保證刷新率保持在穩(wěn)定的幀數(shù)并降低延時。 第三是Multi-View Rendering，左右眼的圖兩次渲染，實現(xiàn)一次代碼調(diào)用，提高GPU的性能?，F(xiàn)在ARM已經(jīng)提供這樣的擴展。
最后是Multi-Resolution Rendering，由于圖像本身需要做反畸變，四周邊緣不需要太多分辨率渲染，可節(jié)省GPU資源。目前已經(jīng)有GPU廠家支持這樣的擴展，Nibiru正在測試效果。
從采集陀螺儀數(shù)據(jù)到CPU計算邏輯，再到GPU計算繪制，最后顯示器顯示。這四個步驟所需要的時間就是Latency的時間。
由于Android是非實時性系統(tǒng)，從圖形繪制完成到送顯有三級buffer緩存，會帶來50ms的延時，就需要采取圖形圖像優(yōu)化FBR的模式，讓圖像繪制之后直接送顯。但是FBR模式會帶來畫面的撕裂，這也是為什么Android會采用3級buffer緩存的原因。
第二是屏幕的反應(yīng)延時，比如TFT屏幕延時大概有20ms，而OLED屏只有5ms，這些延時是不可更改的。目前移動VR基本跑在60Hz。60幀的GPU繪制速率16毫秒加上5毫秒，達到21毫秒了。但為什么三星能做到20毫秒以內(nèi)，這里需要ATW技術(shù)，簡單的說就是中間幀生成技術(shù)，中文叫異步時間扭曲。
通過使用ATW技術(shù)使得GPU繪制的圖像進行一次變換，從而使得顯示的圖像是以最新的陀螺儀數(shù)據(jù)為基礎(chǔ)，這個算法需要3ms左右，加上反畸變和反色散的算法2ms，而陀螺儀刷新延時在1ms，那么從陀螺儀采集到GPU圖像繪制送顯的延時在6ms左右。
接下來就是顯示屏刷新延時，由于是左右camera交替刷新，所以這里一幅圖的延時就是8.3ms，8.3ms加上6ms，再加上Oled屏的5ms左右，總共加起來19.3ms，這就是三星的20毫秒以內(nèi)的由來，目前來看，Nibiru VR系統(tǒng)已經(jīng)基本實現(xiàn)了這個邏輯優(yōu)化。
Nibiru為手機廠商、一體機廠商進行系統(tǒng)優(yōu)化。“系統(tǒng)優(yōu)化之后，在游戲CP調(diào)用我們的VR SDK時才能達到這種低延遲效果。CP使用我們配合引擎的plug－in就行，我們會跟引擎公司合作，推出相應(yīng)的plug－in，支持Cocos3x，Unity和Unreal等通用的游戲引擎。”
從芯片廠商來看，ARM已經(jīng)在底層做優(yōu)化支持VR，ARM全球執(zhí)行副總裁兼大中華區(qū)總裁吳雄昂表示，我們下一代芯片會專門為VR做優(yōu)化，時間在一年半以后。此外，高通也發(fā)布了全新的VR SDK。
享受沉浸感 裸手是VR/AR未來
Leap Motion中國區(qū)總經(jīng)理陳佳敬認為從VR到AR是一個有線到無線，然后最終只有AR設(shè)備的過程。有線VR階段，我們用遙控器、手持設(shè)備進行操作，無線VR階段去掉了線，還可以直接用手來操作。AR階段，用手指可以直接在投射的畫面上操控，是人手與電腦的直接互動。陳佳敬表示，AR時代，裸手輸入法是最主流的，Leap Motion就是一直研究人的手指與電腦互動的技術(shù)，這項技術(shù)的重要性將越來越重要。
如何實現(xiàn)人手與電腦的互動，陳佳敬做了現(xiàn)場演試。他們的技術(shù)偏向于軟件端，在頭盔上最前面有一個很小的四方條，上面就是兩個VGA攝像頭，30萬像素，通過捕捉影像再用軟件來解析。偵測角度為150度，上下135度，客戶可以直接購買這個小硬件，下載SDK。
“我們這個硬件2013年的時候就開始賣了，這是我們的第一代產(chǎn)品，這個產(chǎn)品它的成本很低，我們是走全軟件的公司，對硬件的要求非常低。這個硬件經(jīng)過3年之后還可以用我們最新的軟件。”
uSens 首席運營官及聯(lián)合創(chuàng)始人時馳也認為，裸手的交互方式是VR技術(shù)的未來。“移動VR上面實現(xiàn)游戲變現(xiàn)，首先要做提供保持整體移動性的感知和交互。盡量少穿點，少拿點，經(jīng)濟實惠的感知世界，讓VR像觸屏手機一樣簡單直觀，老少皆宜的內(nèi)容就能出現(xiàn)和變現(xiàn)，實際上就是交互。通過三維手勢、頭部轉(zhuǎn)動，位置跟蹤，最后實現(xiàn)超級現(xiàn)實，AR+VR super Reality。”
在真實的VR當中可以用手在空中做一些自然的交互，人還可以在真實和虛擬中自由穿梭，穿梭的時候核心交互保持不變。如下圖，空中手寫和擦掉文字。
眼球追蹤技術(shù)目前在全球應(yīng)用的領(lǐng)域有兩個，一個是醫(yī)療，如漸凍人；另一個領(lǐng)域是廣告設(shè)計的焦點測試，測試廣告設(shè)計是否合理。
七鑫易維聯(lián)合創(chuàng)始人彭凡解析，對于VR來說，眼球追蹤與頭動一起實現(xiàn)交互，但目前并不成熟。現(xiàn)有的交互，手持控制器始終不是沉浸感，眼控能夠讓交互更人性化，更真實?，F(xiàn)在的VR交互方式看任何一個點都要動頭，最舒服的方式是眼動加頭動的配合使用。另外，我們只需要渲染出用戶注視的那一個核心區(qū)域，即注視點渲染技術(shù)，它需要PC能夠非常高速的指導用戶在每一個時刻看到的那一個點，所以需要高速的眼神追蹤傳感器來配合。
移動設(shè)備訪問
