Facebook与腾讯各自的VR社交探索

Facebook在今年Oculus开发者大会着力演示了VR社交的魅力,甚至小扎不惜让自己的妻子出现在视频中。他们正在利用VR技术革新人们相互交往的方式。据媒体Road to VR透露,Facebook推出VR社交的时间比我们预期的更早。

回到2014年3月,Facebook以20亿美金并购VR创业公司Oculus,让绝大多数人感到困惑不解,随时更多的信息释放出来,扎克伯格表示,他们将VR视为下一代计算平台,作为一家以社交基础的互联网公司,依然将“连接”当作公司的使命,而VR可以让人们以更自然地方式联系在一起。未来10-20年,人们不会使用鼠标、键盘和显示器来相互交流,这就是Facebook在VR下注的主要原因。

Facebook内部一直在研发如何让用户在令人信服的虚拟环境感到舒服。今年4月份跟踪报道Facebook F8开发者大会,扎克伯格演示了一个VR社交Demo,用户访问一个photospheres (照片球),进入一个全景照片的环境,用户可以拿出虚拟自拍杆拍摄VR自拍照,还能为avatars添加一些配饰。他们在10月份Oculus大会的VR社交Demo进步很快,还给扎克伯格做了一个可爱的虚拟化身形象,多人在线的背景环境换做了在线360°视频(是扎克伯格的办公室全景视频),更神奇的是VR用户可以与非VR用户通过Facebook Messenger相互联系。

随后Facebook VR设计产品经理Mike Booth接受了记者采访,当被问道什么时候会推出这个应用时,他表示,会尽可能快,目前Facebook还在接受早期用户的反馈调试。当被问及是否在今年年底能推出时,他并没有否认,也没有肯定,只是说“When it’s done”(完成后即推出)。Mike Booth还介绍他们的VR社交应用还包括朋友一起聚会玩小游戏的场景,比如桌球什么的,核心是社交体验和分享,而不是游戏玩法。

Facebook在VR上面的投入从Oculus开发者大会可见一斑,扎克伯格占据了演示的主要环节,只留给Oculus CEO Brendan Iribe很少的演讲时间。Oculus 的slogan已经突出“From Facebook”,也即是说Facebook已经倾向于把Facebook品牌投入到原Oculus主导的VR业务体系。

国内读者不仅要问,国内VR社交谁在做?腾讯团队如何看VR社交?腾讯VR社区的论坛在今年8月份曾经发布过腾讯公司 互动娱乐研发部 引擎技术中心负责人顾煜的署名文章《【VR Tech Tour系列之一】—— Reality Capture》,是截至目前腾讯内部人员透露出最直接关于VR社交的信息,据悉腾讯内部有些关于VR社交的内部交流文章仅供内网访问,没有公开发表,比如《多远都要在一起-VR社交初探》、《美妙的谎言:我在现场 —— 临场感,VR媒介的新维度》。

顾煜在文章表示,有了QQ微信,我为什么还要在VR世界里面社交。QQ微信既可以碎片化社交,又可以做群体社交,应用场景多元化,群众喜闻乐见,而VR社交,难以回避的问题有装机量小,头盔闷热不舒适,体验过于重度,无法碎片化使用等等。但是VR社交的沉浸性和临场感,是传统社交无法比拟的,我们总期望在某些时间能有比传统线上社交更高阶更多元化的体验,VR可以在这个维度上很好的满足大家。

这个终极问题引发了进一步的思考,VR本身有很好的沉浸性,但离开了VR给我们的第一印象的冲击,还有什么可以持续吸引我们投入呢?对社交本身来说,如果能有更好的Avatar呈现,就能带来身临其境的社交感。该文综合分析了以下VR公司的产品:

1) AltSpace的虚拟avatar, 做成简单的机器人样子,会有一些转头和手部动画来进行互动。当看见avatar转过身和你互动的时候,心里的确会有一点小感动。

2) vTime的avatar,卡通化的人形avatar,可以有更亲切、更自然的交互。(备注:Facebook的VR社交Demo虚拟化身就是卡通风格)

3) HighFidelity走了另外一条路线,它的avatar更像真人。真人类型的Avatar,如果做得不够好,就有可能引入恐怖谷效应。事实上,在体验版本的时候,由于IK的问题,avatar很难做出良好的肢体动画。但综合效果还可以,的确可以比卡通avatar更让人投入。

4)CapturingReality公司开发的技术RealityCapture,开发了一整套捕捉和还原3D模型的技术。他们多角度多镜头来拍照,利用计算机视觉算法,合成出3D的模型。就可以快速进行建模工作,帮助美术降低工作量。当美术有了这类工具,就可以把大量建模流程加速,先用拍摄方法对真实生活中存在的物体进行初步的建模,然后在DCC类型的工具里面进行精细的修正。老牌DCC厂商Autodesk也做了类似的工作,他们的产品叫Autodesk Remake,思路和Capture Reality很相似。但是这类技术也是有很强的局限性:需要有足够多的照片覆盖模型的每一个细节;其次是技术本身无法捕捉动态物体,只能捕捉静态物体,动画就无法捕捉。最后是技术工作在image space,所以对半透明或者透明物体,就没有办法建模了。这类技术可以在1小时内完成一个常见模型的初步建模,对于美术效率提高不言而喻。

5)动态物件捕捉:8i建立了绿幕摄影棚和服务器集群,通过多个摄像头来拍摄中心的人,然后再进行进一步的处理,生成基于voxel(体素)的角色。与之类似的公司还有Uncorporeal和4DViews。

UnCorporeal的思路和8i类似,也是用多个摄像头来拍摄人物或者场景,通过多角度的拍摄后,产生了大量视频,然后通过后期计算处理,来重建3D的人物或者世界环境。重建后,生成了3D的模型,这样在3d渲染世界里面,我们都可以看见更真实的人物和场景,和基于美术3d建模的内容相比,观感上会非常不同,更真实。

这个技术和8i的区别,主要在于8i最终的输出,是体素的模型,比较简单,但缺点也很明显,由于没有使用多边形,多数成熟的实时渲染技术无法使用,很难处理阴影和光照等信息,导致渲染的人物画面很难和其他部分融合。4DViews也是和Uncorporeal类似的技术,把多角度的视频流转成了3D模型。但4DViews在人物边缘处理、容量上做了更多的改善,在可用性和可靠性上也走出了坚实的一步。

6)光场捕捉一切。对于一些对画面质量有极高要求的场合,比如电影制作,Lytro的光场摄像机技术带来了另一个思路。
Lytro的光场相机带来了很多不一样的技术,所以我们对他们光场摄像机也抱有很高的期望。但光场摄像机,和光场相机并不是一回事。光场摄像机,使用了相机阵列,比如两百个摄像头放在一起,然后一起拍摄视频后,产生两百段视频,然后通过软件合成,做成了一个完整的视频。这个技术的局限性也非常大:数据极其巨大,相当于普通视频上百倍,虽然可以有很大的帧间压缩,但依然是一个很大的问题,完全无法做到可以streaming的级别。

7)微软Holoportation:用社交场景的视频通话案例来看,消费者需要用合理的计算量来生成数据,需要足够小的带宽来传输数据,需要足够高的精度来沉浸在VR中。这个要求并不容易满足,但是微软HoLoLnes集实时捕捉、环境感知、高效串流于一身的Holoportation,包括捕捉模型后映射回模型以及衍生出来的相关应用,表情捕捉和重新映射以及3D Avatar重建等等。Holoportation也许是VR社交的一个终极形态。

8)技术总结

对真实静态物件的建模,Autodesk Remake和RealityCapture都是很不错的技术。

对于动态人物的捕捉,8i、Uncorporeal、4DViews可以通过多摄像头拍摄,合成带有动画的人物数据。

场景和电影方面,Lytro的光场摄像机有一定的应用前景。

由于我们并没有取得腾讯该文的授权转载,只能简单摘录一些技术要点,但是我们从字里行间可以看出,腾讯技术团队对目前简单卡通虚拟化身所代表的VR社交并不满意,而更逼真的3D建模或光场现实捕捉在技术上还有诸多局限性,最理想的微软Holoportation也仅仅是一个Demo阶段,所需的硬件和网络条件一般用户无法承载。

总之,Facebook的卡通化、游戏化的VR社交是先行者,最晚明年一季度会有相关应用发布,腾讯的VR社交还处于技术论证阶段,推出时间还无法预计。

更多VR资讯,请关注好色VR