谷歌AR新研究:只需陀螺仪的即时运动追踪

谷歌于2017年夏天推出了安卓版Motion Stills,为一大批安卓手机带来了优秀的视频捕捉与观影体验。谷歌随后进一步优化了Motion Stills,使其能够支持Pixel 2中最新的运动图片功能。

今天,谷歌正式为安卓版Motion Stills带来了AR模式。借助这一最新的AR模式,用户只需轻触取景器即可在静态或移动水平表面(例如桌子和地板等等)上放置有趣的虚拟3D对象放置有趣的虚拟3D对象,使其能够与动态的真实世界环境无缝对接。你同时可以录制并分享为GIF和视频格式。

陀螺仪 谷歌 AR

AR模式由即时运动追踪,一个基于驱动Motion Stills iOS中Motion Text的技术的6自由度追踪系统,以及YouTube上的隐私模糊提供支持,可以精确追踪静态对象和移动对象。谷歌已经对这项技术进行了优化与增强,从而帮助任何搭载陀螺仪的安卓设备运行有趣的AR体验。

当你轻触取景器时,Motion Stills AR会把3D虚拟物体“粘到”相应位置,使其看起来像是真实世界场景的一部分。通过假定追踪表面平行于地平面,并且通过设备的加速度计传感器来提供智能手机相对于地平面的初始定向,系统可以追踪相机的6个自由度。这可以帮助我们准确地变换和渲染场景中的虚拟对象。

陀螺仪 谷歌 AR

当智能手机大致平稳时,加速度计传感器会提供因地球重力而产生的加速度。对于水平面来说,重力矢量平行于追踪平面的法线,并且可以精确地提供智能手机的初始定向。

谷歌表示:“即时运动追踪的核心理念是分离相机的平移估计和旋转估计,并将两者视为独立的优化问题。首先,我们只根据相机的视觉信号来确定3D相机的平移。为此,我们观察目标区域的明显2D平移和跨帧的相对比例。一个简单的针孔摄像头模型可以把图像平面中方框的平移和缩放与相机的最终3D平移相关联。

陀螺仪 谷歌 AR

谷歌表示,系统可以通过图像平面中方框的平移和大小(相对比例)变化来确定两个相机位置(C1和C2)之间的3D平移。但由于相机模型并不假定相机透镜的焦距,我们无法知晓追踪平面的真实距离/深度。

为了解决这个问题,谷歌为现有的追踪器(用于Motion Text的追踪器)增加了比例估计,并在相机的视场之外追加了区域追踪。当靠近追踪表面时,虚拟内容可以精确地缩放,而这与真实世界对象的感知一致。当你在目标区域的视场之外平移时,虚拟对象将重新出现在大致相同的位置。

陀螺仪 谷歌 AR

在这之后,系统将通过智能手机的内置陀螺仪来获取设备的3D旋转(纵摇,横摇和艏摇)。结合估计的3D平移与3D旋转使得系统能够在取景器中正确渲染虚拟内容。由于系统单独处理旋转和平台,谷歌的即时运动追踪方法不需要校准,可以支持任何搭配陀螺仪的安卓设备。

陀螺仪 谷歌 AR

谷歌表示,他们十分兴奋为安卓设备上的Motion Stills带来这一最新的模式,并且希望用户会喜欢。