1. 首頁 > 科技 > >

蘋果|索尼3D顯示技術路徑：升級8K，探索變焦全息、實時光場渲染( 二 )

蘋果芯片iPhoneSEiMac


人在移動時 ， 觀看3D物體的視角也會變化 ， 為了渲染動態視角的圖像 ， ELF顯示屏采用了索尼研發的高速視覺傳感器 ， 以及支持高準確性人臉識別算法的眼球追蹤系統 ， 實時追蹤用戶眼球位置 ， 同時動態捕捉用戶的運動 。



據悉 ， 索尼高速視覺傳感器每幾秒捕捉一次圖像 ， 用于檢測面部位置、眼睛和面部輪廓等特征 ， 然后通過這些特征信息來預測人臉的3D形態、人臉的距離和方向、運動變化 。
ELF配備的攝像頭采用優化的成像鏡頭 ， 可捕捉到水平50°、垂直60°范圍內的視角變化 ， 用于渲染自然、流暢的運動視差 。 同時 ， ELF顯示方案從成像到渲染的整個過程的延遲足夠低 ， 從而緩解視角變化產生的重影 ， 或是可能導致暈動癥的圖像延遲等問題 。
人臉檢測算法則基于深度神經網絡（DNN）開發 ， 經過優化后 ， 人臉檢測算法更加適應高速視覺傳感器 ， 為用戶帶來舒適和穩定的視覺體驗 ， 降低成像噪音和環境光造成的模糊 。 即使用戶戴著口罩 ， 也能檢測到面部 。
2 ， 實時光場渲染
ELF顯示屏根據用戶的視角變化而動態渲染3D場景 ， 不過其輸出的投影圖像是扭曲的 。 因此 ， 通過調整3D投影圖像的呈現方式 ， 給觀看者一種圖像沒有扭曲的錯覺 ， 甚至看起來足夠逼真 ， 不像是顯示器而更像是真實存在的場景 。



考慮到近年來游戲引擎的渲染效果得到明顯提升 ， 尤其是在3D渲染場景 ， 因此索尼認為 ， 未來開發者們也許能通過游戲引擎 ， 來為ELF顯示屏開發裸眼3D應用和內容 。
3 ， 微型光學透鏡
ELF采用微型光學透鏡 ， 負責將實時生成的3D圖像傳送到雙眼 。 據了解 ， 傳統裸眼3D顯示屏采用雙凸透鏡或視差光柵來覆蓋多個不同的視角 ， 這些透鏡的缺點容易產生視角重疊 ， 導致分辨率和圖像質量下降 。



為了改變這一問題 ， 索尼的微型光學透鏡結合注視點傳感和實時光線重建算法 ， 來實現一種為左右眼獨立生成不同動態視角的光學設計 。 接著 ， ELF還通過生成足夠多的合成視角 ， 以及控制人眼能看到的圖像 ， 來緩解視角重疊、分辨率降低的問題 。
索尼表示：如果微型光學透鏡與3D顯示屏沒有對準 ， 那么將難以實現優質的動態視角變化 ， 因此設備的精確校準相當重要 。 于是 ， 索尼研發了一種精準的制造技術 ， 可以將元器件位置誤差降低至幾十微米 ， 此外還有一個檢測成品元器件位置的調整系統 。 根據調整系統設置的數據 ， ELF在實時圖像處理過程中可同步校正元件錯位問題 ， 進一步提升3D圖像質量 。
前所未有的3D觀感
除了上述三項核心技術外 ， ELF顯示屏還采用了相機技術、顯示技術 ， 以及基于注視點的精準校正系統 ， 并通過處理校正信號來進一步減少視角重疊現象 。



索尼還表示：ELF的軟件和算法基于微VR頭顯開發的技術 ， 此外還優化了人體工學設計 。 比如 ， ELF顯示屏以傾斜角度放置 ， 更容易營造一種3D空間感 。
應用場景
這種裸眼3D顯示系統不僅可以用于娛樂場景 ， 也將適用于教育、企業解決方案、醫療保健等領域 。 目前 ， 隨著容積捕捉等技術發展 ， 3D內容的應用場景越來越廣泛 ， 而理想的觀看方式不只有AR/VR ， 用裸眼3D顯示屏查看也同樣沉浸 。



不過 ， 該方案目前僅限個人使用 ， 因為眼球追蹤系統只能追蹤一個人的注視點 。 它可以用來向客戶展示3D設計和模型 。 索尼認為 ， 未來該技術有望與實時3D視頻捕捉和傳輸技術結合 ， 帶來具有臨場感的裸眼3D視頻通話體驗 。

相關經驗推薦