为MR视频更逼真,谷歌去掉了MR视频中的头显

外媒报道,今日谷歌在一篇博客文章中透露,他们正在研究一个奇怪的小项目,通过将用户的脸显示在MR视频中以使这些MR视频更加逼真,现在这一项目已进入了最后的阶段。

通过面部捕捉程序、眼部追踪及一些计算机视觉技巧,谷歌的机器感知团队设计了一个系统以获得逼真的面部反应,而这些面部表情可以通过改良版的透明头显展现出来。

根据官方博客表示,这一研究的原理为:

技术核心是使用用户的脸部3D建模作为被遮挡面部的代替。这一代替物用来在MR(混合现实)视频中来同步人脸,从而打造出被头盔遮住的面部表情。

首先,我们会使用我们称之为“注视点动态外观(gaze-dependent dynamic appearance)”来捕捉用户的个性化3D脸模。首先是校准步骤,需要用户站在一个颜色+深度摄像机,还有一台显示器前面,然后用眼镜在显示器上去追看一个标记。

我们用这种一次性的校准(时间花费不到一分钟)来获得用户的3D脸模,然后获得不同的凝视方向、眨眼所映射的图像(或材质)的数据库。这一“注视数据库”(也就是通过眼睛注视来对应不同的脸模材质)让我们能够在同步中动态更换脸的形象,并且生成想要的凝视视线,让同步的脸部表情看上去自然、生动。

很显然,这个“头显移除”方案并不是困扰VR内容创作者/分享者最大的问题,有些消费者甚至都不认为这是个问题,但是看到谷歌这么用心去解决还是很欣慰。这种简单的将用户的眼睛带回到VR中做法,使得科技对于消费观察者来说不再那么高深莫测。