VR

浅谈虚拟现实

我最近对VR很感兴趣所以我看了很多这方面的资料,虽然我不是这方面的专家,只是一个爱好者,但我谈谈虚拟现实。

首先,什么是VR?

虚拟现实(Virtual Reality,简称VR),是由美国VPL公司创建人拉尼尔(Jaron Lanier)在20世纪80年代初提出的。其具体内涵是:总合利用计算机图形系统和各种现实及控制等接口设备,在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。其中,计算机生成的、可交互的三维环境成为虚拟环境(即Virtual Environment,简称VE)。

发展VR的必然性

随着社会经济的发展,计算机已经成为社会生活中不可缺少的重要组成部分,友好的人机接口技术很早已成为人们关心的一个重要课题,因为一个比较差的人机交互接口很可能将使一个功能很强的产品变得不可接受。计算机刚出现时的巨无霸机器到现在的书本一样的大小,从计算机的外设到计算机的触屏这些无一不说明了人们对人机交互的注重。而VR的人机交互性远超现在的产品的人机交互性。随着人们的生活水平的提高,人们将不断追求物质的极致享受,而VR是的出现和发展是必然的和必须的。

VR中的“寻路(wayfinding)”

虚拟现实(VR)中很重要的一个问题就是Locomotion(用户在VR中的移动)。这个Locomotion分为两种,一种是点对点的,如传送门的方式,一种是包含了可以操控的中间过程的,这种被称为“导航(navigation)”。导航这个行为不止存在于VR中,现实生活中我们随时都有进行“导航”:从卧室走到客厅、从家去上班等等。学者们将这个导航的行为分成两个部分,一个是认知的部分,即我们在脑子里进行的活动,这个被成为“寻路(wayfinding)”;另一个部分就是真正地进行运动(motion/traveling),在现实生活中,就是如提脚走路,或者开车,控制速度和转向等等具体行为,放在VR里则可能是用手柄进行操作来进行虚拟环境(VE)中的移动等等。开发者在创作VR应用的时候,其实可以完全控制的只有第二个部分:如何设计接口(interface)让用户来进行运动的控制,关于这些locomotion的VR技术我在另一篇文章中有详细介绍。但是无可否认我们也很有必要了解寻路的部分,因为它可以帮助我们认识到用户是如何感知环境,并且进行分析和判断的,让我们更好的进行VE和交互的设计。

如何增强VR的vection/self-motion?

Vection是VR领域的一个专有名词,其义指“在虚拟现实中给人带来‘移动’(self-motion)感觉的认知因素”。也就是说,vection就是指那些给玩家带来“我正在这个虚拟环境中移动”这种感觉的因素,比如“身边的景物正在往后移动”,“水声越来越大”等等。我们通过视觉、听觉、前庭系统(vestibular system)和体感(somatosensory,皮肤和皮下感知,提供“接触”、“受力”的感觉)来判断我们的空间位置变化。VR中也是利用了这些方面,提供相应的cue(相应方面的暗示、提示)来使得玩家有移动的感觉。

Vection对于VR来说基本是必须的,只要玩家可以在虚拟环境中移动,即是是只移动视角,都一定会涉及到vection。所以与其说是vection给VR带来沉浸感(immersion),不如说缺乏vection会破坏VR体验。

vection是给玩家带来“移动感”的因素,它提供良好VR体验的关键之一。那么VR中我们一般用哪些方式来提供vection呢?

首先来简单了解一下人体和空间相关的感知机制。

• 视觉线索 visual cues:

空间感知最关键的因素。通过周围环境的变化来判断自己的变化。主要有:

VR中为什么需要把游戏音频放在聚光灯里?

存在感

人们挂在嘴边来描述VR(虚拟现实)的单词是“沉浸感”。的确是很酷的一个词。然而为实现这终极目标,开发者需要在虚拟现实的环境中模拟身体的知觉,我们称着为存在感。存在是一种心理状态或主观感知,其中,部分或整体个人体验感受是/或是通过人造的科技过滤产生的,部分或整体体验是/或是由在体验中对角色的精确认知导致人为认知衰退造成的。

创造这个级别的真实体验确实是一个挑战。当前的图形比之前几年有了巨大的进步,音频仍然有很长的路要走,以达到其在这个新的和仍在发展的VR领域中发挥主要作用的真正潜力。

在VR游戏中空间包围和多感官应用

在独立和PC游戏中,沉浸感被分为三项:叙事性沉浸(玩家投入到故事中去),战术沉浸(玩家执行涉及到技能的操作)和策略沉浸(更专注,与精力挑战)。然而在VR中,又添加了第四项:空间沉浸,也就是说玩家在人造的世界中对他们来说是真实的。在包括前三项的沉浸感中,当涉及到存在感和提供可信性和沉浸的环境中,空间沉浸变的非常重要。

VR虚拟现实的工作原理,你知道多少?

VR虚拟现实经过几年的预热,已经开始呈现爆发式增长,要了解VR虚拟现实,就需要了解其工作原理,了解工作原理之前,我们就需要弄清楚眼睛是如何看清事物的。

眼睛瞳孔后有晶状体,也就是眼珠子。眼睛的背面有感官器,可以将入射光转换成有用的可视的信息。

晶状体将光折射到感官器。晶状体弯曲率取决于眼睛与物体的间距。如果物体距离近,晶状体就需要大幅弯曲,呈现清晰的图像。如果物体距离较远,晶状体只需稍微弯曲就可以。

这就是为什么当你在电脑前长时间工作时,应该每间隔一小时就需要朝远方看看。这有效防止视觉疲劳,放松晶状体。

随着年纪增长,晶状体失去弹性,折射光的能力就会变差。这就是为什么青少年能看清7cm近的物体,而老年人却做不到。

所以,想要看清距离我们眼睛3-7cm的头显内的事物,事实上是不容易的。这就是虚拟现实透镜的作用,它可以折射光,方便人眼看清事物。

医学镜片便是基于这样的工作原理纠正散光、近视、远视等问题的。镜片修正入射光,使眼睛可读取信息。

理解菲涅尔透镜

VR和AR可以怎样干掉智能手机

你可能已经看过很多有关VR和AR会干掉智能手机的讨论了,但是他们从来没有解释过如何VR和AR是怎么做到的。

智能手机是虚拟现实(VR)和增强现实(AR)的最大敌人。

它把所有东西都放在我们指尖的尖端。我们看新闻,我们和朋友聊天,我们拍照,我们发电子邮件,我们使用GPS,我们买东西,我们玩游戏。我们通过我们的智能手机做了几乎所有的事情,让你觉得方便又舒服。

而且,我们中的一些人 - 可能是我们中的大多数人 - 看不起VR和AR。

我们可能会听到他们说...

为什么我们甚至需要穿VR或AR耳机,如果我们可以通过智能手机做所有事情?

VR和AR如何做到比智能手机更便捷?

为什么它们这么重要?因为我现在还没有发现使用它的强烈冲动。

我们相信,VR和AR将是下一个重要的事情,但是我今天看到的是,我们在VR和AR中创造了乐趣(这真的是不错的)。不过,我们忘记列出人们对智能手机的爱恨情仇了。通过了解人们对智能手机的喜欢和不喜欢的地方,就可以干掉智能手机。

1.在虚拟大屏幕中观看YouTube

Unity5中优化VR 应用的12个技巧

VR应用比非VR应用需要更强的计算,性能优化是一个很重要的任务。若目标平台是像GearVR这样的手机设备,优化就更重要了。

以下是一些应该试着了解的性能指标:

每只眼睛50次绘制调用。unity5更精确地将其称为SetPass Calls。
场景中顶点数少于50K~100K 且面数少于50~100K 。

下面是一些简单的技巧,用于满足上述要求:

静态批处理

场景中可能存在大量的静态几何体,例如墙体,椅子,灯光和从不移动的网格。在编辑器中将它们标记为静态对象。为烘焙光照贴图,请确保将其标记为静态贴图。不要让每个对象都会导致一次绘制调用,而是把对象标记为可被组合成一个网格的静态对象。

静态批处理有个关键要求:所有对象必须使用相同的材质。若静态墙带有木头材质,静态椅子带有铁材质,所有墙会被批量处理为一次绘制调用,椅子作为单独网格进行另外的绘制调用。

纹理集

如之前所说,每个材质引发一次绘制调用。直觉可能是木门和铁椅子需要使用不同的材质,由于它们的纹理不同。然而,若使用相同的着色器,就可以用纹理集为它们创建共用的材质。纹理集就是一个包含所有小纹理的大纹理。我们可以使用一个材质加载一个纹理,而非使用多个材质加载多次。每个对象可以对应到纹理集中不同坐标的一个纹理。

Facebook 2017年F8大会:AR、VR、AI一个不落

美国太平洋时间周二上午10点(北京时间凌晨1点),Facebook年度开发者盛会F8正式在圣何塞召开。按照Facebook此前发布的议程,在为期两天的议程里,一共安排了50多场研讨会,涉及了Instagram、Messenger、Oculus、WhatsApp,以及人工智能等,而在首日的keynote上,重点则放在了AR、VR和AI上。

整体来说,在AR方面,Facebook推出了一款AR平台、两款AR工具;而VR方面则推出了VR社交平台——Facebook Spaces,目前还是Beta版;此外,Messenger平台也升级到了2.0版本。

话不多说,一起来看看这次的keynote具体讲了啥!

AR:一款平台、两个工具

在总共一小时20分钟的演讲中,关于AR的内容就占据了40分钟的时间,这也似乎是在给业界释放一个信号:Facebook不仅在VR上做出了大量的投入,在AR领域也没闲着。

大会伊始,扎克伯格就发布了AR平台——Camera Effects,他还直言,AR将成为下一代计算平台。

通过使用单buffer strip渲染来减少移动VR中的延迟

虚拟现实需要现代手机中的许多组件的支持。从用于记录头部移动的传感器、CPU运行VR应用(并在后台运行其他程序)、然后GPU开始工作并计算创建为VR图像修正后的图像,最终呈现到屏幕上。

所有这些组件需要紧密合作来创造出大家所说的身临其境的体验。实现这些功能所需的时间一般叫做motion to photon latency(从用户运动开始到相应画面显示到屏幕上所花的时间)。尽管这是一个很普通的术语,但是它很好地描述了这个问题:当我头部运动时所产生的场景变化,需要多久才能被我的眼睛所接收,并最终被我的大脑所理解。

在现实生活中这会实时发生,否则你将会一直撞到墙上去。然而,用手机绑到头戴显示器来创造出类似的效果却是非常困难的。这有很多原因:电脑运行在固定的时钟、流水线序列化数据处理的时间以及渲染最终图像的时间。

作为一个GPU IP公司,我们关注优化我们的Graphic Pipline,以此减少用PowerVR处理器来渲染内容直至它们展现到屏幕的时间。

安卓系统的图像合成要求

安卓的最终屏幕上的输出是使用composition 来渲染。通常各个图像有各自的组件负责,例如SystemUI负责导航栏和状态栏,然后前端应用将内容渲染到缓冲。

近日,ESMC在三月份的杂志上发表了关于VR的封面故事,Imagination Technologies PowerVR 业务拓展高级总监Kristof Beets 接受采访时称 Imagination 涉足视频和移动VR市场。支持使用现有芯片产品的低成本视频VR头盔,同时还即将为谷歌DayDream推出高端移动VR头盔。

详阅请点击下载《ESMC杂志VR封面故事:走过元年,VR产业离市场爆发还有多远? 》

同步内容
--电子创新网--
粤ICP备12070055号