Facebook研发虚拟键盘 Reality Labs

据外媒报道,Facebook Reality Labs的研究人员研发了一种虚拟键盘,称为PinchType,用于在VR或AR中进行无控制器手部跟踪。

虚拟现实中的文本输入目前被认为是一个尚未解决的问题。当坐下时,PC VR用户将无法看到其PC键盘,并且在房间规模的体验中,使用起来很不方便。VR一体机用户可能根本没有物理键盘。

  在去年12月,Facebook的Oculus Quest独立头戴式头显获得了对“无控制器手部追踪”的“实验性”支持。过去几个月中的系统更新在某种程度上提高了此跟踪的质量。

但是,由于该技术依赖于头显上没有深度传感器的摄像头,因此目前对于在虚拟键盘上进行高速打字还不够强大。

Facebook现实实验室的三名研究人员正在展示PinchType——解决文本输入问题的进展。。通过从标准QWERTY键盘为每个手指分配一组字母来工作。当您用手指捏住拇指时,将输入该字母组。

在输入单词时,语言算法根据每个字母组和前面的上下文来确定要键入的单词。研究人员没有提及这是一种传统算法还是使用机器学习。Facebook被认为是自然语言处理的领导者。

研究人员说,PinchType的平均打字速度仅为每分钟12个单词(WPM)以上。为了进行比较,据说QWERTY键盘的平均值约为40 WPM,对于现代智能手机,平均值为35 WPM。

目前,Quest上的文本输入是通过从虚拟浮动QWERTY键盘中一次选择单个字母来实现的。在手动跟踪模式下,这会使打字速度非常慢。

目前还没有迹象表明PinchType计划用于Oculus当前的软件中。 Facebook Reality Labs经常会展示一些不打算供消费者使用的研究。也就是说,这看起来确实是对当前软件的一个改进。