vr系统的输出设备(中国VR团队YVR竟抢先交出产品答卷)

首页教程更新时间:2023-05-19 04:00:30

萧箫 发自 凹非寺
量子位 | 公众号 QbitAI

你听说过Pancake吗?

不是最新的蛋糕品类,而是时下VR行业最受关注和期待的光学技术,甚至被称为“划时代的方案”。

据了解,Pancake光学方案的应用,能够给VR带来画面清晰度和产品纤薄度上“质”的飞跃,极大提升了传统VR设备的易用性和体验性,推动VR设备向消费端普及迈出了一大步。

有消息指出,VR领域巨头Meta对于Pancake光学方案兴趣浓厚,将在今年下半年的最新款VR产品上搭载使用;

苹果也一连申请了好几个专利,其中XR系列产品就与Pancake光学方案有关;谷歌虽未宣传,却与斯坦福悄悄发了篇Pancake光学论文……

vr系统的输出设备,中国VR团队YVR竟抢先交出产品答卷(1)

毕竟,随着元宇宙概念的持续火热,VR设备凭借其交互性被誉为元宇宙的“门钥匙”,早已吸引各大企业纷纷加码,不仅微软等互联网巨头拼命收购各种VR初创企业,英伟达等AI公司也开始研发全息VR眼镜。

现在,这些公司将目光放在了最新的光学技术上。

就在全球都竞速落地这个Pancake光学方案时,国内一家公司YVR率先宣布,成为全球首个正式发售“Pancake超短焦光学一体机”的企业,而这款颠覆性的产品就是YVR 2眼镜

这么说,终于能揭开Pancake光学技术的“真面目”了?

我们赶紧搞来了一台样机,看看Pancake光学技术究竟长啥样。

Pancake光学方案究竟是什么

首先,需要知道对于VR设备来说,为什么光学方案这么重要。

在VR设备中,用于显示的硬件分为两部分,屏幕和光机(光学镜头组成)。

受限于重量,屏幕无法做得太大,必须依靠光机进一步放大渲染画面,模拟出“另一个世界”的视觉效果。

因此,如何设计光机,便成为了降低VR眼镜厚度、改善视觉体验的关键一环。

此前,大部分VR眼镜采用的都是菲涅尔光学方案,原理是将一块凸透镜多余的部分“挖掉”,看起来就像一圈圈螺纹一样,以此削减透镜的重量。

vr系统的输出设备,中国VR团队YVR竟抢先交出产品答卷(2)

△图源维基百科

然而菲涅尔方案做出来的VR眼镜仍然较厚、体积较大,原因是镜片焦距无法被进一步压缩。

在这种情况下,Pancake方案应运而生。

这一方案基于折叠光路的原理,能极大地压缩VR眼镜的体积、镜片厚度也降低了不少。

之所以能实现折叠光路,依靠的是偏振光和偏振分光膜的原理。

Pancake光学方案利用两个¼波片延迟一束偏振光的相位,制造出两种不同的线偏振光P和S,其中线偏振光P能被偏振分光膜透过,S则会被偏振分光膜反射。

vr系统的输出设备,中国VR团队YVR竟抢先交出产品答卷(3)

△自然光经过偏振片后会变成偏振光

具体来说,一束光经过偏振片后先射出线偏振光P,随后经过两次¼波片变成线偏振光S,再经过两次¼波片又变回线偏振光P,最终被我们看见。因此,这一折叠光路并未改变光线的偏振方向。

与菲涅尔光学相比,Pancake光学方案带来的体积改善究竟有多大?

以YVR 2眼镜为例,整个光机的厚度仅有20mm,相对传统菲涅尔镜片的光机厚度,减少了50%左右,整机厚度则压缩至42mm。

vr系统的输出设备,中国VR团队YVR竟抢先交出产品答卷(4)

vr系统的输出设备,中国VR团队YVR竟抢先交出产品答卷(5)

△菲涅尔与Pancake方案镜片对比(后者更薄)

此外,Pancake光学方案在清晰度上带来的“质变“更加惊艳。其光学解析能力相对于菲涅尔光学提升了50%,同时克服了菲涅尔光学固有的视野边缘模糊与畸变现象,有效减少边缘眩光,带来了视野全域范围的清晰体验。

值得一提的是,YVR 2光学镜组透过率达到了19%,高透光性能下,清晰度达到了全新水平。据悉,目前业内平均水平约为13-16%。

然而,Pancake方案并没有听起来那么容易实现。

例如,目前VR/AR产品中普遍存在渲染GPU算力不足的问题。

此前,业界普遍使用基于眼动的注视点渲染技术(眼动追踪光学方案)来解决这一问题。

然而传统的眼动追踪通常被用于菲涅尔光学方案VR产品中,无法应用到Pancake方案上。

这是因为传统的方案往往需要额外的半透半反镜,放在眼睛和物体图像中间用于反射一部分光线给摄像头,以计算瞳孔距离和运动方向等。但随着Pancake光机设计空间被压缩,不再有位置留给传统的半透半反镜。

因此,为了解决这一问题,YVR在屏下眼动追踪系统也进行了探索,除了解决GPU渲染算力不足的问题,也方便未来实现自动瞳距调节、身份识别等功能。

根据已经公开的专利,这一设计采用了屏下红外摄像头(1)和红外LED(5)两部分硬件,在不改变光机体积的情况下,实现红外眼动图像获取,结合屏幕背光时序避免干扰,获取更清晰的眼部图像。

vr系统的输出设备,中国VR团队YVR竟抢先交出产品答卷(6)

如果采用这一技术,Pancake方案VR眼镜的画质也能做到“看向哪儿,哪儿就更清晰”了。

当然,Pancake光学方案也还只是VR一体机的输出“骨架”,也就是实现了“VR眼镜”的功能。

实际很大一部分体验感,仍旧与VR一体机上的其他自研算法有关。

自研VR算法是关键

对于VR一体机而言,要做的绝不仅仅是一个外接“显示器”。

在YVR首席技术官费越博士看来,VR是手机等二维计算平台进化而来的三维计算平台,两者之间一个重要的差异点就是,VR拥有独特的空间感知和空间计算能力,而正是算法赋予了VR这样的能力。

毕竟除了视觉效果以外,VR设备还需要在尽可能降低延迟感的情况下,准确识别身体动作,确保尽可能精准地定位、进一步提升安全性等。

这样一来,VR需要的自研算法就被分成了两大类:视觉动作识别和定位。这一阶段,YVR自研的算法包括VST渲染追踪等。

首先是视觉算法,根据不同的用途,又被分成VST和渲染技术两大类。

其中VST,也就是视频透视(Video See-Through)技术,有点像是AR眼镜的增强功能,在基于外界真实图像的画面基础上,叠加虚拟的画面效果。

vr系统的输出设备,中国VR团队YVR竟抢先交出产品答卷(7)

它会通过VR眼镜外界的摄像头传感器返回真实世界的图像,相当于给VR眼镜配备了两只“眼睛”,最常见的场景是使用VR时和外界的交互上。

但VST技术自带的一些问题,如延迟和画面畸变等,则需要通过渲染技术来解决。

目前YVR 2已经自研了带有3D识别和画面矫正功能的VST技术。

他们设计了一个能自动识别和精准定位安全边界、平面和障碍物的框架,分为稀疏平面模块、后端主模块和回环检测模块,会根据平面识别和输入的环境点云数据,来确定用户使用的安全边界,同时利用AI算法进行障碍物识别。

这样一来,即使用户脱离安全边界,VR设备也能及时察觉到周围环境中的障碍物并发出提醒,提升用户安全感。

vr系统的输出设备,中国VR团队YVR竟抢先交出产品答卷(8)

除了画面矫正需要用到反畸变渲染以外,在降低延迟上,YVR2则采用了ATW(异步时间扭曲,Asynchronous Timewarp)技术,并在自研开发ASW(异步空间扭曲,Asynchronous Spacewarp)。

其中,ATW就是利用时间相干性,尽可能重用前一帧计算样本;ASW技术则是对图像的每个像素点进行矢量运动估计,用户移动时通过两帧差异预测下一帧图像。

这样一来,VR设备就无需在实时投影的情况下处理大量图像数据,而是能确保在尽可能降低延迟的情况下,让用户看得清外界的物体。

此外,YVR还自行研发了动作识别和定位算法,这里面又包含6DoF、SLAM等各种算法。

具体来说,YVR 2能够通过vSLAM算法来判断“认清”用户所处的位置、确保用户安全,同时通过6DoF、SLAM等技术精准识别动作、判断用户意图。

先来看看SLAM算法,简单来说就是同时进行定位与地图构建,其中YVR 2以采用视觉传感器的vSLAM为主。

此前,SLAM在VR产品中的应用,主要是单人人体定位和位姿定位中,然而还无法解决多人交互的情况。我们都知道,VR设备当然不是只给一个人玩的,经常面临几个人玩一个VR、或是几个VR同时交互的情况。

例如当一家人买了VR一起玩、或是要将VR拿到不同的地方去玩时,反复定位和构建地图就显得非常麻烦。

从专利中来看,YVR已经研发了一种多人交互的人体定位和位姿定位系统,不仅一个VR能记忆多个地图系统,而且多个VR也能在同一场景下实现交互。

据悉,YVR 2将于近期搭载国内首个多地图智能记忆功能,支持单一VR眼镜不同空间的多防护边界记忆,在一次设定后,再次登陆即可轻松唤醒边界记忆。

vr系统的输出设备,中国VR团队YVR竟抢先交出产品答卷(9)

除此之外,就是进一步负责定位和预测姿势的6DoF技术了,它可以检测到物体在6个方向上的移动:3个方向上的旋转,以及3个方向上的移动。

vr系统的输出设备,中国VR团队YVR竟抢先交出产品答卷(10)

△图源维基百科

不过即使有6DoF技术,部分VR头显定位还是容易出现不准确的情况,尤其是摄像头对着天空或地板等情况下,往往无法通过视觉算法进行精准定位。

因此,YVR自研了一种将RoNIN(基于残差网络的IMU传感器数据用于运动估计&定位)和6DoF结合的系统框架。

这一算法会通过VR设备上自带的摄像头提取数据,在非静止的情况下进行6DoF估算,并结合IMU传感器输出数据,进行位姿预测

vr系统的输出设备,中国VR团队YVR竟抢先交出产品答卷(11)

通过这一方法,即使手柄不在视觉范围内、或双手柄发生折叠时,VR头显也能对手柄进行准确定位。

事实上,无论是视觉算法、还是定位或识别算法,都是VR设备中不可或缺的核心算法,如果缺少它们,必然会导致VR设备功能不齐全、甚至无法使用。

正是因为在算法侧的不断加持,YVR 2新品上市后,凭借着革命性的体验感优化得到了众多消费者的肯定。据YVR介绍,公司做产品的核心理念就是“站在科技和人文的十字路口,即为用户带来美好的体验,做一款好看、好用、好玩的VR眼镜”,背后深层的含义即给用户和开发者带来极致不妥协的产品,提供最优的性能、功能和体验。传递到产品的研发和工程端,YVR工程师们的自身要求也是研发和创新最合理最先进的算法、软件、硬件,对技术方案不妥协,对能力不妥协。

但其实,可能会有人问,国外如Oculus等厂商已经实现过一些类似的VR算法,为什么国内如YVR等VR厂商,还要在这种情况下进行算法自研?

为何国内要加码自研VR算法?

这里面有几个方面的原因。

一方面,从技术应用角度来看,当前行业对VR的需求正在不断提升。

对于VR而言,元宇宙的到来无疑加速了它的验证落地期。

无论是再次爆火的虚拟人、类脑算法技术,还是这段时间被热议的马斯克将大脑上传至云端等行业热点,都在说明下一个人机交互的时代正在来临。

自2016年VR大火以来,伴随着软硬件技术不断成熟,用户需求逐渐从看电影、玩游戏提升到VR设备之间的交互上,一系列VR技术和方案自然也面临着推陈出新。

在这种情况下,YVR公司在vSLAM、6DoF追踪、VST等算法领域均布局有自研的算法。此外,在光学、硬件、软件、工业设计等方面也组建了专业团队。据悉,YVR 2获得了德国红点奖、德国iF奖两大国际权威工业设计奖项,成为国内唯一同时获得这两项荣誉的VR一体机,也证明了YVR 在多领域具有优秀的研发能力。

YVR不局限于影音、游戏或是娱乐社交,也在探索更多应用场景,希望赋能教育、医疗、旅游、影视、游戏和社交等行业。

实际上,这也是整个VR产业的发展趋势。VR被称为下一代计算平台,虚拟现实产业产业更是数字经济时代的关键重点产业。越来越多的人认为,VR将会改变人类交互方式,带来全新的生产生活方式。

当下,包括医学、工业等更多场景已经应用VR设备,包括3D复杂结构的实时演示、甚至是临床医学上。

例如,据英国媒体PA Media介绍,就在这两天,外科医生基于医学影像构造了一个数字大脑模型,并基于VR技术,成功完成了有史以来最复杂的连体双胞胎分离手术。

又例如,利用VR完成复杂硬件装置的设计和构造、甚至在3D空间中模拟设备的运行,同样对于工业有着实用价值。

在这种情况下,自研VR算法已经不仅是行业需求,而是更深一步地成为科技进展的需求。

vr系统的输出设备,中国VR团队YVR竟抢先交出产品答卷(12)

另一方面,从VR自身发展的长远视角来看,也会涉及到生态构建和技术话语权。

从行业角度来说,作为多技术交叉领域,VR涉及的技术同样可以被用到其他许多行业中去。

无论是SLAM、VST还是6DoF跟踪等技术,放到自动驾驶和AR等场景中一样适用。而最近大火的Pancake光学方案,同样能被应用于工业机器人等场景中。

但与之相对的,是这些技术都还处在快速成长期,换而言之,当前业内玩家大部分还处于同一起跑线上,方方面面没有现成“轮子”可用,唯有自己“造”才能跑得够快。

在这种产业大背景下,自研算法的价值被无限提升,这也是打破技术垄断,实现“弯道超车”的绝佳机会。因此,只有像YVR等公司一样,抓住这个时机自研算法,才可能在VR以外的场景中制造更多的话语权,并将类似的技术应用到更多前沿场景中去。

从生态角度来说,这是一个难得的创新机遇,企业只有从一开始就掌握软硬件方面的自研能力,才能在VR行业中拥有更大的自由度和自主权。

毕竟,此前中国在数次技术创新浪潮中都是跟随者,现在有机会能够处在同一起跑线,甚至可以领先,作为国内VR领域的重要力量,YVR也自然不应当放过这一机会。

与Meta、苹果、谷歌等公司一样,YVR正在通过自研算法和技术,“让更多人玩出梦想”。

据YVR公司介绍,他们的研发团队涵盖了算法、光学、硬件、软件、工业设计等领域,拥有全栈式自主研发能力,希望真正做出划时代的、能够带来交互革命的VR产品。此次全球首发的Pancake VR一体机就是YVR交出的答卷,站在科技和人文的十字路口,YVR已经先行一步。

面对新一轮VR技术热潮,YVR 2会有怎样的市场表现?

我们拭目以待。

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

,
图文教程
相关文章
热门专题
推荐软件
奇热小说
奇热小说
下载
QQ2019手机版
QQ2019手机版
下载
王者荣耀
王者荣耀
下载
百度浏览器迷你版
百度浏览器迷你版
下载
2345浏览器手机版
2345浏览器手机版
下载
网易邮箱
网易邮箱
下载
爱奇艺
爱奇艺
下载
网易云音乐
网易云音乐
下载
WPSOffice
WPSOffice
下载
优酷
优酷
下载
谷歌浏览器(Chrome)
谷歌浏览器(Chrome)
下载
迅雷看看播放器
迅雷看看播放器
下载
UC浏览器
UC浏览器
下载
QQ音乐
QQ音乐
下载
阿里旺旺买家版v9.12.10C官方版
阿里旺旺买家版v9.12.10C官方版
下载
360安全卫士v12.1官方版
360安全卫士v12.1官方版
下载
猜你喜欢
文字三国BT版
文字三国BT版
下载
领主之战2
领主之战2
下载
随跑
随跑
下载
大熊商城
大熊商城
下载
掌上掼蛋电脑版
掌上掼蛋电脑版
下载
狂点魏蜀吴
狂点魏蜀吴
下载
我们之间来踢球
我们之间来踢球
下载
琥珀CRM
琥珀CRM
下载
管家金服app
管家金服app
下载
CarX漂移模拟器
CarX漂移模拟器
下载
恋姬记
恋姬记
下载
银河攻击希肯瓢虫
银河攻击希肯瓢虫
下载
请勿撞车
请勿撞车
下载
那一剑江湖
那一剑江湖
下载
八爪余
八爪余
下载
勇者在求职中
勇者在求职中
下载