Facebook采用神经网络技术开发VR系统

Facebook Reality Labs(FRL)致力于构建一个现实世界和虚拟世界能够自由混合,同时提升我们日常生活体验,增加效率和加强彼此之间联结的未来。续航是迈向所述愿景的挑战之一。为了能够实现能够长时间(包括一整天)舒适穿戴的虚拟现实头显和增强现实眼镜,我们必须优化设备的功耗。作为朝构建下一阶段AR/VR系统的一步,这家实验室正努力开发不影响图像质量的情况下显著降低功耗的图形系统。

Facebook采用神经网络技术开发VR系统

  DeepFovea是FRL为应对这一挑战而开发的数种基于神经网络的方法之一。DeepFovea这个渲染系统利用了最近发明的生成对抗网络(Generative Adversarial Network;GAN)人工智能概念来模拟人类在日常生活中的外围视觉,利用这种感知匹配架构来提供前所未有的图形效率。在测试中,DeepFovea可以将渲染所需的计算资源量减少多达10-14倍,而人眼依然无法注意到任何图像差异。DeepFovea的神经渲染远远超出了目前Oculus产品中的传统注视点渲染系统,能够生成感知上与全分辨率图像别无二致的图像,而需要渲染的像素不到10%。现有的注视点渲染方法需要渲染全分辨率图像一半的像素,所以DeepFovea在渲染需求的数量级进步代表了感知渲染的一个全新里程碑。