AR应用程序HoloLens助视觉障碍人士识别方向和物体

AR应用程序HoloLens助视觉障碍人士识别方向和物体。现在的计算机一般都带有摄像头,仿佛人类的眼睛一样。而一些视觉障碍人士去没有视觉,所以加州理工学院研究人员就想到为什么不让前者帮助后者呢?这是Caltech(加州理工学院)开发的新型HoloLens应用程序Cognitive Augmented Reality Assistant(CARA)背后的要点。无论用户面对哪个目标,用户所关注的不同物体都会被激活并告诉用户它的名字。

好色VR VR行业资讯 VR行业 VR

在HoloLens的深度感知功能的帮助下,该软件使用计算机视觉算法扫描环境并识别物理对象。然后,应用程序向视力受损的用户提示物体的存在,并通过立体声来让用户了解物体在空间中的相对位置。

好色VR VR行业资讯 VR行业 VR

“想象一下,你处在一个世界上,你周围的所有物体都会发出声音,可以和你说话”,Mark P. Meister博士说,他是加州理工学院生物科学教授和Benjamin F. Biaggini神经生物学主任。“无论你面对哪个目标,你所关注的不同物体都会被激活并告诉你它的名字。你能想象在这样一个世界中出行,执行我们通常使用视觉系统的许多任务吗?那就是我们做的事情——让物体发声。”

好色VR VR行业资讯 VR行业 VR

CARA由Meister实验室研究生Yang Liu领导的科学家团队开发,提供了几种帮助用户的模式。系统的Spotlight模式根据用户的注视报告已识别的对象,而扫描模式则在HoloLens扫描环境时从左到右提示物体的存在。

该团队通过设计一条穿过加州理工学院Beckman Behavioral Biology大楼的路线,志愿者测试了该应用程序。每个测试对象在使用基于HoloLens的系统时成功在楼内进行了导航。此外,该团队还为其他研究人员设计了虚拟现实环境标准化测试,以评估他们自己的辅助设备。

该应用程序仍处于开发阶段,目前的工作包括改进和增强计算机视觉算法。该团队设想在银行,酒店和零售中心最终部署该软件,以帮助客户浏览周围环境。

与此同时,Meister和Yang Liu以及南加州大学博士后学者Noelle Stiles共同撰写了一篇题为“增强现实为盲人提供认知助理” 的研究论文,其中详述了该团队的研究结果。

其实早在去年就有游戏开发商Javier Davalos与HoloLens一起创建了类似的概念证明。他们开发的应用同样使用环境扫描来识别物体表面和空间音频为用户提供相对位置的提示,但是该应用程序发出的警报会随着用户接近障碍而增加音量。

AR应用程序HoloLens助视觉障碍人士识别方向和物体。VR/AR技术的普及不仅对正常人起到了很好的消费和使用作用,现在更能应用该技术来帮助残疾人,这让从事AR和视觉辅助工具的公司更加具有荣誉感和责任感。最近,纽约大学的一个学生团队开发了一个可以实时翻译手语的应用程序,甚至Magic Leap也获得了类似技术的专利。同样,Starks AR头显可以为听障人士提供字幕。

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址