索尼专利显示,未来PSVR或可以通过多个MEMS(微电子机械系统)投影器来实现追踪功能。这个专利对PSVR的追踪性能无疑是一个提升,但索尼目前暂时没有披露相关的计划。本文是MEMS在眼动追踪方面的相关知识,希望让帮助用户对MEMS在VR领域的应用有所了解。
眼动追踪(Eye Tracking),是指通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。眼动仪是一种能够跟踪测量眼球位置及眼球运动信息的一种设备,在视觉系统、心理学、认知语言学的研究中有广泛的应用。
一种比较常用的无创方式为视频/图像捕捉。摄像头拍摄得到眼部图片,具有一些可以提取的特征,经过某些图像处理的算法提取出这些特征参数,从而确定眼球位置,用于判定人眼注视的方向和目标,计算结果由处理器CPU反应于你所使用的VR/AR设备上。根据7invensun的介绍,眼图录像法和角膜反射法都属于该类方法。
以下为来自7invensun对此的介绍
眼图录像法主要是通过辨认眼球的特征如瞳孔外形、异色边缘(虹膜、虹膜边界)、近距指向光源的角膜反射来实现眼动跟踪。根据云视频的宣传,其所提到的能够读懂人“眼神意识”的视频技术,就是基于此项技术。然而虹膜识别+瞳孔运动识别虽然可以捕捉人眼的动作但是却无法检测到人眼的注视点,这才是最硬的伤!
首先虹膜识别和瞳孔识别都是基于一个平面的,要测量注视点就必须保证头部是固定的,让眼睛同头和注视点的相对位置一致才可以。人眼作为人体最精细的器官之一,注视点转移仅需要一个微小的动作,而人类仅仅因为呼吸而造成的头部动作就足以让测量误差造成定位偏移。然后我们再退一万步讲,即使的头部是固定的,对于虹膜的识别也没那么容易,欧洲人的人眼特征较为明显,识别相对容易,但也不是一个家用普通摄像头就可以判断眼球特征的,而亚洲人瞳孔多为深褐色,人眼特征较弱,普通摄像头几乎无法捕捉。因此从云视链的眼球追踪技术的出发点来说,通过眼神就能推送出你想要的信息是不可能的了!
角膜反射法是目前眼球追踪领域广泛认可并应用的方法,主要通过摄像头捕捉人眼特征,通过算法建立人眼二维或者三维注视点估计模型,通过算法判断人眼动作和注视点。眼球的特殊构造会形成一到多个浦肯野像,基于这种方法的眼球追踪一般定位第一浦肯野像,通过定标步骤,可以测量出处在垂直平面现实定标点表面上人眼的注视点。
有创的手段包括在眼睛中埋置眼动测定线圈或者使用微电极描记眼动电图。眼电图(electrooculography)检测方式通过电极测量当眼球移动时的电位变化,其原理是眼球可以被考虑为偶极子。其优点是成本低,但普及型差。
MEMS同样可以实现眼球追踪功能,下面介绍的一项MEMS eye tracking技术来自加拿大滑铁卢大学的N. Sarkar等人。
眼睛与眼角膜具有不同的直径,这是该设计的原理基础。该方案通过采用下图所示的简单设计从而实现在尺寸、价格、功率、带宽、准确性的改进。该设计使用一束低辐射(1-10μW/cm2),红外(850nm)、发散(~ 50mrad)的光束。光束从激光源发出后射向扫描仪scanner,扫描仪scanner具有一个平面,功能类似于镜子,将入射光束反射。再由扫描仪scanner操控该光束射向眼角膜,然后从角膜表面反射(掠射角从60度到90度)到一个光电二极管。光电二极管的作用为接受光信号,产生电信号。输出电信号随输入光强增大而增大。随着眼睛的转动,扫描仪scanner控制光束追踪眼角膜上能够使光电二极管接受到最大信号的点。
值得注意的是,其光电二极管的表面可作为一个空间滤波器,使其不需要大面积平坦的微镜。相应地,该设计使用了一个300微米大小的扫描仪(Fresnel zone plate scanner)。其支撑anchor可以实现扫描仪scanner两个自由度(蓝色支撑以及红色支撑均可旋转)的偏转,可以完成光束的较大范围操纵。
下图为另一种同样具有两个自由度的扫描仪scanner,其工作原理与上图类似,通过支撑anchor的旋转对扫描仪进行旋转,从而操纵光束的角度。其中间载荷为垂直排列的两个cylindrical lens patterns用以投射十字准线(crosshair)。
(进行色彩描绘后的扫描仪scanner的扫描电镜图)