Facebook公开自家VR渲染器算法

DeepFocus是Facebook人工智能驱动的渲染器,它可以实时生成看起来很自然的模糊效果,这与未来的可变焦距显示是同步的。今天,Facebook宣布DeepFocus将开源;虽然该公司的“宽视野”(FOV)原型“半圆顶”是他们独家的,但他们的深度学习工具是和“硬件无关的”。

 

当你把你的手举在你面前时,你的眼睛自然会聚在一起并适应,使你的手进入焦点。这种体验在今天的VR头显上是不一样的,因为光线来自于一个固定的光源,让你的眼睛进入超光速来解析近场图像。这就是可变焦距显示器和眼球追踪的需要之处,因为一度固定的焦距会根据你在任何给定时刻注视的位置而变化,以匹配你的眼睛。

从本质上说,它会让你专注于物体,而不管它们离你有多远,让整体体验更加舒适和身临其境。但这里缺少的是头显也能复制看起来很自然的散焦模糊效果,当你把注意力集中在手上,背景变得模糊时,就会出现这种情况。输入DeepFocus可以解决这些问题。

 

在2018年SIGGRAPH Asia发布的一份研究报告中,该公司表示,DeepFocus的灵感来自“越来越多的证据表明,视网膜失焦模糊在驱动适应性反应、深度感知和物理真实感方面发挥着重要作用”。

 

与用于基于深度学习的图像分析的传统AI系统不同,DeepFocus可以处理视觉效果,同时保持高质量VR所需的超清晰图像分辨率。

 

也就是说,变焦VR头显,或者是带有光场显示的AR头显,不仅看起来更逼真,而且还能缓解与vergenc -accommodation冲突相关的眼睛疲劳。

 

Facebook的研究人员说:“这个神经网络被证明可以精确地合成出离焦模糊、焦堆栈、多层分解和多视图图像,只使用常用的RGB-D图像,从而能够实时、近乎正确地描述视网膜模糊,同时还具有广泛的支持调节的hmd。”

 

Facebook公司在一篇博客文章中称,今天将面向开发新VR系统的工程师、视觉科学家和其他研究人员开展源码和神经网络培训数据。

 

Facebook现实首席科学家迈克尔·阿布拉什(Michael Abrash)在Oculus Connect 5上推出DeepFocus,虽然Half Dome和DeepFocus基本上“只是光学和显示器的开端,但它是进步加速的典范。”

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址