最近,大导演史蒂芬·史匹柏的新片《一级玩家》热映,男主角能透过触感手套、X1 体感套装与虚拟世界互动。电影之外,如何在虚拟实境获得触感,如何更自然地互动是目前研究者最关切的问题。微软研究团队公开了 4 个最新虚拟实境研究成果:CLAW、Haptic Wheel、Haptic Links、Canetroller,能帮助用户 “触摸”虚拟场景中的物体,尽情感受虚拟世界的奇妙。
原文为“Touching the Virtual: How Microsoft Research is Making Virtual Reality Tangible”,编译如下。
虽然 VR 和 AR 在过去 30 年取得巨大的进步──已能为用户提供梦幻般的视觉和 3D 语音世界,但当我们伸手触摸那些虚拟物体时,幻想就会瞬时破灭,用户摸到的只有空气。
虚拟触觉难以实现有很多原因。看过电影的人都明白,眼睛和耳朵可被每秒 24 帧的电影欺骗,但触觉却很不同,更复杂。达成虚拟触感的一部分挑战来自硬件。实验室中,设计一个适合个人用户穿戴的手持式装置往往很困难,目前许多原型装置仅能模拟特定感觉,例如质地、温度或重量,这种装置往往缺乏吸引力。而更复杂的机械技术则导致装置太昂贵、太大或太脆弱而无法推至消费市场。
微软研究团队一直在探索如何利用现有技术在手持式 VR 控制器模拟产生多种触觉感受,使用户能触摸和抓住虚拟物体,感受指尖在物体表面的滑动。他们的梦想是让用户能与虚拟数位世界进行更自然、更多元的互动。
CLAW
CLAW 是微软研究团队开发的第一款新型多功能触觉控制器,透过使用单电机,CLAW 将 VR 控制器的概念延伸至一款多功能触觉回馈工具。CLAW 有一个独特的机械臂,当用户手握摇杆、手指转动时(下图),这个机械臂能模拟力回馈。
▲ CLAW 的规格和套件(左);CLAW 模拟用户抓取物体并触摸虚拟物体表面(右)。
身为一个多功能控制器,CLAW 包含普通 VR 控制器的所有功能(拇指按钮和操纵杆、6DOF[Degree of Freedom]控制、食指正反器),以及最常见的手部互动时启用的各种触觉渲染:抓取物体,触摸虚拟表面,以及接收力回馈。
CLAW 的独特之处还在能透过感知用户的抓握情况和虚拟情境环境之间的差异来调整触觉渲染。当用户尝试握住虚拟物体时(下图),该装置会在食指和拇指之间产生阻力,模拟物体被握住的感觉。嵌在食指支架中的力感测器透过改变电机的回馈,让用户“感受”物体的不同材料。
如果用户握住摇杆并做出指向手势(下图),那么 CLAW 会提供触摸感觉。手指尖朝向虚拟物体表面行动时,CLAW 会产生阻力,将手指推回并阻止手指穿透虚拟表面。此外,当食指沿着虚拟表面滑动时,装在食指尖端下方的音圈会产生小振动,模仿物体的表面结构触感。
感知用户施加的力量也可以帮助用户与虚拟物体互动。例如在虚拟绘画程式,程式可透过感知用户的手力度来调整画笔力度。
Haptic Wheel
为了进一步模拟食指对虚拟物体的材料和表面摩擦的触觉体验,微软还开发了另一种新的触觉控制器──Haptic Wheel。Haptic Wheel 使用的驱动转轮透过上下行动来模拟手指与虚拟物体表面的触碰,并且旋转来模拟用户沿着虚拟表面滑动时产生的剪应力(shear forces)和滑动感。
当用户触摸虚拟物体表面时,转轮会上升并接触到指尖,然后开始旋转来模拟指尖与虚拟物体表面的摩擦。
▲ (左)当用户将手指悬停在转轮的蓝色区域表面上方时,渲染引擎将合适的转轮表面移到手指下方;(中)当用户在虚拟环境中接近黑色区域边缘时,渲染引擎会转动转轮以使跟黑色边缘一样的材质接近手指;(右)在手指悬停在较小的黑色表面上时,渲染引擎会调整转轮的增益,以便正确模拟出手指接触两个边缘的感觉。
该装置的转轮是可替换,包含各种物理触觉元素,以便在用户探索虚拟环境时提供不同的感受。当用户探索虚拟环境时,渲染引擎会根据环境为手指传递适当的触觉感受。例如虚拟纸牌游戏,当用户触摸卡片、扑克筹码或桌子时,该装置就会旋转转轮以在指尖呈现适当的材质感受。当用户沿着表面滑动时,转轮会在手指下面旋转以产生剪应力和滑动感。
▲ 在不同虚拟环境,Haptic Wheel 自订包含不同触觉感受的转轮。
Haptic Links
触觉探索中,另一个难以解决的问题是如何模拟在 VR 或 AR 应用程序中使用双手的情况。 比如说双手拿着一个盒子感觉它的大小,或者使用双手拉弓感受拉力。
▲ 模拟用户在虚拟环境中双手使用的工具。
Haptic Links 由几类连线器组成,这些连线器能在两个手持式 VR 控制器之间提供不同的刚度感受。Haptic Links 可动态改变用户双手之间感受到的力量,以支援渲染各种双手使用的物体以及与人的互动,使控制器表现得就像双手使用的工具。它们可以约束控制器之间的特定自由度或运动方向,也可以设定一定范围内的刚度,以模拟不同的摩擦、黏着度或张力。透过这些方式,Haptic Links 使 VR 场景的互动更真实,给人身临其境之感。
微软做了 3 个 Haptic Links 的原型装置。每种设计都各有折衷和优势,使其最适合某种特定应用。Chain 原型装置(下图中)采用由球窝元件组成的高度铰接式链条。一根强力电缆穿过整个链条并连线到每端的推杆电机(linear actuators)。透过推杆电机的运动来控制链条的松紧,进一步控制用户的作业空间。
▲ Haptic Links 的 3 个不同原型装置。
Layer-Hinge(上图左)使用球形接头来调节控制器旋转,使用铰链来控制之间的距离。优点是能选择性锁定控制器运动时的自由度。此外,它可以相对精确地控制每个关节的摩擦力,使该装置在铰链和球窝关节模拟出一定连续范围内的刚度值。
Ratchet-Hinge(上图右)在控制器底部使用类似的球形接头,但用双棘轮架构取代铰链,能独立制动向内或向外的运动。当两个棘轮啮合时,齿轮是固定的;两个棘轮都脱开时,齿轮可以自由旋转。当一个棘轮脱开时,齿轮可以在一个方向上自由行动,但无法沿相反方向行动。定向选择性功能可以实现独特的力回馈互动。
Haptic Links 可以改善虚拟环境需要双手作业的物体感知真实性,而不会过于影响两个控制器的正常互动。
Canetroller
“传统” 的虚拟实境体验本质上是强烈视觉化,因此视觉受损者通常无法使用。微软研究院开发的 Canetroller 原型装置,希望让视力受损人士在虚拟环境也能使用手杖导盲。
Canetroller 提供三类别回馈:1. 由可穿戴式、程式化制动器产生物理阻力──模拟虚拟手杖碰到虚拟物体;2. 振动触觉回馈──模拟手杖撞击物体或滑过各种表面时产生的振动;3. 3D 听觉回馈──模拟真实世界手杖发出的声音。
▲ 一位盲人正在使用 Canetroller。
Canetroller 可让弱视者和盲人在不同的虚拟空间进行模拟导盲训练,减少他们在日常环境的危险。微软希望这项工作能激励研究人员和设计人员设计更有效的工具,使 VR 更具包容性,考虑到世界各地各种不同的群体。
微软研究团队在虚拟触觉方面的这些创新,一方面希望激发其他研究者的想像,另一方面也希望能为视障等特殊人群带来新的应用和希望,帮助他们改善生活品质。此外,研究人员还希望这些创新鼓励更多消费产品使用触觉渲染技术。相信触觉产品很快就会让 VR 和 AR 产品更逼真和身临其境。
(本文由 雷锋网 授权转载;首图来源:Flickr/Colin and Sarah Northway CC BY 2.0)