MIT研发新AI技术,让流媒体视频不卡顿,支持VR

卡顿和低清晰度无疑是流媒体视频的祸害。他们大大损害了观众的观看体验,同时也损害了广告主们的利益,还让工程师们不得不一直研究解决方案。近日,MIT计算机科学与人工智能实验室(CSAIL)的一个研究团队给出了新的解决方案:他们开发出一个名叫“Pensieve”的AI,它可以挑选最佳算法,确保流媒体视频播放时顺畅无阻不中断,回放时让质量达到最佳。

目前,视频的卡顿和低清晰度都是由于一些特殊的算法造成的,它们将视频分解成小块,然后你一边看的同时它们就一边在加载。如果你的网络速度很慢,播放器可能会在接下来的几秒钟里播放低分辨率的视频,以确保你仍然可以不间断地观看——因此,就出现了视频画面变得模糊的情况。如果你尝试跳过尚未加载的视频的部分,这样的话,画面就必须停止,以缓冲那些还没有加载的部分。

与传统方法相比,CSAIL的方法有一个明显的不同点:它使用神经网络而不是严格的算法式技术。通过反馈系统神经网络可以持续学习,寻找优化方法,反馈系统的目标是让视频回放变得更流畅,如果是传统方法,就会设定一套明确规则,缓冲视频时算法技术会按规则行事。

Pensieve以现有技术作为基础进行改进,比如ABR技术。YouTube就使用了该技术,简单来讲就是降低视频质量,确保视频流畅播放。AI可以根据设备的网络条件选择选择不同的算法,尽可能弥补某一种方法的缺陷。在实验过程中,CSAIL研究团队发现视频以流形式播放时再缓冲减少10-30%,也就是播放时速度比传统算法快10-30%,画质提高10-25%。

目前团队正在测试,看看如何将系统应用于VR视频,如果想获得高质量VR体验需要很高的比特率,Pesieve刚好可以派上用场,改进体验。