微软亚洲研究院谈合作是VR解决问题的关键

微软亚洲研究院的项目经理表示,与不同机构的合作对微软VR事业的发展帮助很大。

微软亚洲研究院谈合作是VR解决问题的关键

编者按:虚拟现实(VR)作为新兴产业,具有十分广阔的发展前景,与合作伙伴的合作帮助微软解决了发展过程中的很多挑战。微软亚洲研究院的项目经理Noboru Sean Kuno近日发文,介绍了微软VR的相关研究进展。以下是正文。

虚拟现实(VR)颠覆工业设计、医学和其他专业领域的潜力是巨大的,VR不再仅涉及新兴领域,而被纳入了国家工程院的“21世纪的14个巨大挑战”名单中,这个名单中的“挑战”涵盖了从防止核恐怖到保护网络空间等多个问题。

改善VR和3D沉浸式通讯的重要性一直是微软在这一科技领域长期投资的基石,成果也非常显著,包括Kinect Xbox 360传感器、Surface Hub和HoloLens等设备的创新。

与合作伙伴合作

通过3D应用实现更加沉浸式的通信,这需要在3D几何的捕获和交换方面获取巨大飞跃,只能通过对信号处理研究的持续努力来实现。这项工作的核心是我们与学术合作伙伴的合作研究(CORE)项目,而日本国家信息学研究所副教授Gene Cheung博士多年来一致致力于解决这个问题。

突破

使用如Kinect传感器等深度感测设备,研究人员开发了一种算法,以便更好地降低噪声并恢复图像中缺失的细节。至关重要的是,他们发现了一种在增强自然图像和深度图像之前利用图形信号平滑的方法。

与Microsoft Research合作

微软研究部(Microsoft Research)高级研究员Dinei Florencio一直与张教授一起合作研究“速率限制3D表面估计(rate-constrained 3D surface estimation)”和“3D地图的多深度精确增强(precision enhancement of multiple 3D depth maps)”。

“这两条研究线是我们最近合作中最活跃的,”Florenicio说:“我相信我们在沉浸式沟通中取得的进展,是离不开Gene的研究所带来的贡献的。”

该项目的其他主要成员包括微软研究部的Cha Zhang以及香港科技大学毕业生Pengfei Wan。

继续向前

Florencio和Chueng正在研究主动光传感是否可以准确检测信息性生物信号,例如面部的脉搏/呼吸频率和温度变化,以显示应激和情绪或指示受试者是否在撒谎。该研究的关键问题是是否可以扩展主动光感以显示人类的阴影部分或较远的人像的细节。

微软研究部高级研究员Tao Mei说:“该项目非常有趣,因为它尝试通过测量生物信号以实现更有效的面对面交流。主要研究者(PI)建议使用完全非接触和非侵入性的主动成像,通过分析室内主动图像传感系统中构造的热图像和深度图像这种新颖的想法来解决这个问题。”

全部完成后,张教授会开源研究工具。我期待这次合作的不断进展和成就。我们希望更多的研究人员来一起探索这一领域,推动虚拟现实技术的前进,并在未来实现Princess Leia的全息影像。