對半導體供貨商來說,Google新發(fā)表的虛擬現實(VR)平臺Daydream,是與它的名稱(白日夢)正好相反、具備實際商機潛力的產物;高通(Qualcomm)虛擬處理技術部門主管Tim Leland,就是眾多與Google合作了好一段時間的廠商代表之一,協助催生了可支持移動虛擬現實功能的新一代升級版Android手機,如三星(Samsung)以GearVR產品所展現的實例。
Leland的團隊協助開發(fā)了一個針對單緩沖渲染(single-buffer rendering)優(yōu)化的Android架構,該整合于高通最新Snapdragon 820單芯片(SoC)的繪圖處理核心經過調整,可提供精細紋理的搶占技術(fine grained pre-emption),以降低移動延遲(motion-to-photon latency);移動延遲是確保VR頭戴顯示器畫面變換速度與用戶頭部移動速度一樣快的關鍵指針。
Leland表示,藉由深入SoC設計讓Android平臺的應用達到20毫秒(millisecond)的延遲目標是個大工程,Snapdragon芯片需要改變與各個傳感器之間的交握(handshake)方式才能降低延遲;而傳感器本身則需要支持更快速的、從100MHz到1GHz等級的采樣。
為此高通開發(fā)了一種稱為“視覺慣性測程(visual inertial odometry)”的算法,以追蹤六個自由度的頭部運動;該算法會在Snapdragon內建的Hexagon數字信號處理器(DSP)中執(zhí)行,將來自頭戴設備的加速度計、陀螺儀、磁力計、攝影機的數據相互關聯。
開發(fā)工程師能透過高通即將上市的軟件開發(fā)工具包(SDK)取得上述技術,而Google也打算在Android N操作系統(tǒng)加入能處理傳感器融合(sensor fusion)任務的功能,應該是為了那些采用未具備傳感器融合功能之SoC的廠商。
高通在一篇技術白皮書中聲稱,Snapdragon 820的移動延遲低于18毫秒;該白皮書寫道:“以實際的角度來看這個挑戰(zhàn),60Hz顯示器每17毫秒會更新一次畫面,而90Hz顯示器則是每11毫秒更新一次。”
結合頭戴式設備使用的手機通常會需要采用AMOLED顯示器,因為能比傳統(tǒng)液晶顯示器支持更快的切換時間,否則容易出現所謂的‘鬼影’;而繪圖處理核心則會采用一系列的渲染影像技巧,提供用戶運動時的流暢感、同時最小化耗電量。
舉例來說,該類組件會盡可能時常重復使用宏區(qū)塊(macro-blocks;或譯“宏區(qū)塊”、“宏塊”),以減少渲染影像的需要。一個簡單的技巧是先在顯示器的中央渲染影像,假設用戶的目光聚焦于此;而更先進的解決方案是使用智能手機攝影機來追蹤使用者的眼球運動,來判定哪個角度的影像該優(yōu)先渲染。
繪圖數據的壓縮已經成為在提升處理速率同時降低耗電的關鍵;另一個技巧是改變影像的色調,讓它看起來似乎更亮,因此不需要調高耗電量大的背光。這確實是個挑戰(zhàn),因為目前的手機只是在車上開個導航功能就會開始發(fā)燙,而今年秋天上市的手機則是要能貼近使用者的臉。無論如何,VR功能期望能為成長趨緩的手機市場注入新動力。
對首批與未來VR手機產品的期望
大多數供貨商預期會推出類似三星 GearVR設備的Daydream平臺產品,也就是需要搭配智能手機使用的被動型VR頭戴式設備;不過Leland表示,該類產品是Daydream平臺的典型頭戴式設備,也會有廠商推出特殊應用移動VR頭戴式設備,甚至也有廠商在開發(fā)擴增實境(AR)產品,但那會較晚問世。
特殊應用移動VR頭戴式設備可能包括一系列高價位產品,配備更昂貴的顯示器、更大儲存容量以及先進的空間音頻(spatial audio);該類頭戴式顯示器預期價格范圍也會更廣。
Daydream平臺的最后一個部分硬件,就是內建軌跡板的雙按鍵控制手把,類似第一代任天堂(Nintendo)游戲機Wii的手把;其中一個應用程序按鍵是為開發(fā)廠商留的,另一個回到主頁(Home)按鍵則是保留給Android。根據曾經開發(fā)電玩、對游戲互動十分熟習的Google VR部門主管Clay Bavor表示,該控制手把的精確度媲美雷射筆。
將在今年秋天陸續(xù)問世的Daydream平臺產品只是個開始,Leland 表示:“產業(yè)界將持續(xù)努力降低移動延遲──這也會是接下來幾年大家會常聽到的話題,因為雖然20毫秒的延遲性已經很好了,15毫秒、甚至低于10毫秒當然更好,這能讓VR畫面看起來更真實,不會讓使用者感覺好像是畫面很努力要趕上自己。”
Leland指出,這類需求將影響傳感器處理是如何完成,以及攝影機子系統(tǒng)如何開發(fā)、繪圖渲染如何與顯示器接口協作,擴及所有的處理器。為此高通正在尋求新的SoC功能區(qū)塊,以說服原廠愿意多花點錢取得差異化;而現在Daydream則是已經準備好進駐預計年底圣誕節(jié)/新年假期上市的產品。
至于Google本身則是積極為Daydream提供所需的內容,其地圖應用程序的街景服務(Street View)以及在線視頻平臺YouTube,都已經準備好提供360度照片以及視頻,YouTube也能支持空間音頻以及運動強度評分(motion- intensity ratings)。
此外Google也與好萊塢(Hollywood)與各家媒體商接觸,除了與Imax等廠商開發(fā)配備16臺攝影機的360度影像拍攝設備,派拉蒙(Paramount)、發(fā)現頻道(Discovery)以及紐約時報(The New York Times)等都是其VR內容合作伙伴。
Daydream平臺開發(fā)工具已經開始提供,能讓使用C++語言的程序設計師取得底層應用程序編程接口(API)與硬件;Google總部的Daydream實驗室一直試圖一天快速開發(fā)兩個VR實驗性應用程序原型,將透過發(fā)表博客文章的方式分享其學習經驗。
Leland 結論指出,Android平臺上的VR體驗,將會讓那些認為VR頭戴式設備都需要跟一臺PC綁在一起的人驚艷。而使用者只要耐心等待幾個月,就可以看到是否蘋果(Apple)也會加入這個趨勢,讓iPhone 7也有自己的VR方案…或者該公司看到的是另一種“現實”。