现实是我们大脑重建的信息,我们对这个世界的体验就来源于这些信息。VR技术的原理就是要侵入或屏蔽人们的感官,将VR的数字信息传入大脑,重建那个逼真的虚拟世界。为了创建这个虚拟世界,佐逻云就给你们提供了一个平台,今天我们需要从最具体、最技术的问题开始。
全景拍摄是VR内容采集的基础
与费时耗力的三维图形制作相比,全景拍摄是获得VR视频内容的主要手段,具有快速便捷的优势。全景摄像机是VR全景视频的采集设备,目前用到的全景摄像机有很多种。一种是业余便携设备,例如:使用2个鱼眼镜头的完美幻境Eyesir、insta等。另一种是用4-10个运动摄像头组装成的360度2D全景拍摄机,例如:泰科易、强氧科技、极图、Ladybug、360Heros等,比鱼眼镜头更大的CMOS组合,具有更清晰、更小畸变的画质,但也带来多画面的拼接融合和穿越多镜头时重影的挑战。
传输编码是VR视频流畅性的挑战
VR视频在内容制作完成后,需要通过媒体平台的网络分发给用户,压缩码率和网络传输依然是最大的挑战。目前,互联网的1080P全高清视频能够流畅播放,压缩码率大概是3.5M左右,这是一个基础上限。2K/4K的全景视频需要4M以上的码率,在互联网上在线观看时会发生卡顿,影响流畅性的体验。在视频压缩编码方面,全景图像通常默认为rectangular球面全景图格式,横轴为theta角[0-360度],纵轴为phi角[-90,90度],图像长宽比为2:1。对于3D360度全景,通常采用左右眼全景图的上下拼接方式,长宽比为1:1;3D180度全景采用左右眼全景图的左右拼接方式,长宽比为2:1。有望进一步提高网络传输全景视频数据的速度和流畅性。
显示技术影响用户的沉浸体验
全景视频需要逼真、舒适的显示技术呈现给用户,包括头盔显示器、3D立体眼镜、真三维显示、全息和环幕、球幕等显示方式。头盔显示器(headmounteddisplay,HMD)是VR中最典型的显示设备。HMD显示技术主要解决沉浸感和无眩晕的问题,这和视场角、分辨率、画面刷新率、声音等因素紧密相关。例如:2015年暴风魔镜的第一代产品,视场角只有60度,用户观看起来就像戴了一个望远镜,看到的画面位于一个有限区域内,周边都是黑的,这样就破坏了沉浸感。人眼的视场角大概是120度,2016年市场上的大多数头盔都做到了110度视场角,戴上可基本覆盖人眼的视野。
自然交互让VR更加有趣
人机交互是人与计算机之间信息交流的简称。传统的人机交互主要通过键盘、鼠标、手柄和图形显示器、音响等设备实现信息的输入、输出。在虚拟现实系统中,则需要采用视觉、听觉、触觉、姿态、表情、手势等多通道感知交互技术。VR交互可以利用数字头显自带的摄像头进行视觉识别、通过麦克风识别语音,语音合成技术进行说话沟通,陀螺仪、数字手套、动捕等复杂的传感器估计姿态,操控虚拟物体并感受到反作用力。这些全方位、多通道的自然交互方式让用户不再是旁观者,而是融入到虚拟世界中感受身在其中的互动乐趣。
VR交互感知中,头部、眼睛、手势、四肢动作等的姿态定位是最基本的功能,可以用来选择操作界面,观看不同方位和视角的场景,甚至驱动虚拟人物的动作与虚拟景物交互。
内容制作是VR发展的血肉
再好的VR设备,也要依托精彩的内容为用户提供丰富的VR体验和服务。除了3DVR游戏,VR全景视频内容制作是VR内容的重要组成部分。影视特效创作者、电影学院和很多互联网视频公司已经开始探索,并取得了很多宝贵的经验。VR视频是没有边框的,眼眶代替了画框。VR影视更像是戏剧,观众可以摇头走动、自由观看想要的视角内容,这也为VR影视拍摄提出了崭新挑战。
VR已经从技术研究热点的沉寂期逐渐过渡到各行各业的产品开发期,对VR拍摄、拼接编辑、传输编码、显示等技术都提出了更高的挑战。如何制作出优质的VR内容,清晰流畅地呈现给用户,让用户在虚拟世界中体验到接近真实世界甚至超越真实世界的奇观感受,是佐逻云以及所有VR同仁们共同的努力目标。