欢迎光临KOTOO财情




指尖 VR!新型手环精准辨识手指动作,隔空也能打字弹琴

2024-11-26 226


一年一度 IEEE VR 大会将于 3 月 27 日至 4 月 1 日线上举行,为展示虚拟、增强和混合实境(VR / AR / XR)领域最新研究成果的重要国际性会议,IEEE VR 2021 自然将出现不少创意作品。

如瑞士苏黎世联邦理工学院电脑科学系就研发一种手环,戴上这手环,就可以弹空气钢琴。

(Source:影片截图)

左右手比一下,即可调整图片位置和尺寸。

“虚拟键盘”也出现了。

研究成果以预印本公开,将在 IEEE VR 2021 发表,题目为〈TapID: Rapid Touch Interaction in Virtual Reality using Wearable Sensing〉(TapID:虚拟实境使用可穿戴感测的快速触摸互动)。

快速触摸互动内建 2 颗惯性感测器

众所周知,随着硬件和算力提升,VR 可产生更逼真有吸引力的场景。

VR 越来越流行,传统产品透过控制器或镜头追踪四肢互动。然而研究团队看来,空中互动是阻碍 VR 场景生产力的关键因素,因 VR 场景需长时间持续互动,而传统方式无法满足需求。

VR 系统触控互动的核心挑战就在精确侦测触控事件。头戴式系统可追踪手部动作,单一优势会导致深度感测不准确,使触摸/非触摸辨识和接触定位产生挑战性。

研究员已提出许多方法,透过整合可靠的触摸检测和抑制滤波器,尝试用深度镜头精确检测。当然不论滤波器还是相机帧率,都会限制系统精确检测的互动速度。

为了满足互动需求、保证用户得到片刻休息,研究团队设计快速触摸互动,即名叫 TapID 的手环──其实最新 MR 系统已结合输入检测的手势辨识,AR 设备(如微软 Hololens 2)和 VR 设备(Oculus Quest 2)都是。

TapID 外表小巧,两侧嵌有 2 颗惯性感测器。

(Source:SIPLab,下同)

论文称 TapID 手环是“基于手腕动作的惯性感测系统”。透过感测器,TapID 提供粒度和细微运动检测。不仅可检测到某表面(如桌面)的触摸事件,还可额外辨识手指,二者结合即在 VR 触发输入事件。平板和手机应用程序与互动模式可无缝又可靠转移到 VR 场景。也就是说,用户使用 VR 设备就像操作常见生产力工具如手机和平板电脑。

用户使用 TapID 时需两手各戴一个,这样 TapID 就能检测到用户的手指轻叩等动作。原理在机器学习算法,可分析人体骨骼系统的独特振动──这在 VR 环境颇有效。

透过检测手势可确定哪只手指敲击“键盘”,并不需精确的位置讯息。用户可像现实世界用键盘打字,或于某物品表面与虚拟物品互动。

TapID 达成精确检测

为检测 TapID 性能,研究团队设计一系列测试。团队招募 18 名参与者(14 名男性、4 名女性;年龄为 19~57 岁,平均 28.4 岁),平均手腕长为 16.8 公分(最短 14.6 公分,最长 18.5 公分)。

每轮测试参与者戴上 TaplD,按照指示重复用每根手指展示敲击动作(敲 30 下),短暂休息后,继续重复 2 次。每位参与者都在 20 分钟内完成测试。

团队测得:

  • TapID 事件检测精度 F1 = 0.997。
  • 手指辨识精度单用户 F1 = 0.93,多用户改进后 F1 = 0.91,多用户改进前 F1 = 0.87。

论文显示,TapID 的检测准确度明显超过不少头显感测器和摄影镜头系统等。

研究团队总结 TapID 的一系列用途,包括 UI 控制、敲键盘、钢琴演奏、在桌上做手势等。

讲到悬空打字,也许有人会觉得不可靠,如开源社群 Hackaday 所说:

在虚拟环境用虚拟键盘打字,我们不敢保证效果如何,毕竟真正键盘更容易摸到,当然可能也更便宜。

不过 Hackaday 表示,设计能准确判断用户手指姿态、即时互动的设备,为 VR 领域应用提供新思路。也就是说,不论研究团队的悬空打字是否有可行性,这项技术确实有效。

或许未来我们可顺着这思路,提升与智慧手表的互动方式。

  • TapID: Rapid Touch Interaction in Virtual Reality using Wearable Sensing
  • BONE VIBRATION BRINGS TYPING INTO VR
  • Virtual reality at your fingertips

(本文由 雷锋网 授权转载;首图来源:影片截图)

2021-03-28 00:03:00

标签:   资讯头条 kotoo科技资讯 kotoo科技 kotoo科技资讯头条 科技资讯头条 KOTOO商业产经 新闻网 科技新闻网 科技新闻 Kotoo科技新闻网 Kotoo Kotoo科技新闻网 科技新闻网 新闻网 KOTOO商业产经 科技资讯头条 kotoo科技资讯头条 kotoo科技 kotoo科技资讯 资讯头条 Kotoo Kotoo科技新闻网 科技新闻 科技新闻网 新闻网 科技资讯头条 kotoo科技资讯头条 kotoo科技 kotoo科技资讯 资讯头条
0