Facebook研发虚拟键盘 Reality Labs
2020年4月28日
据外媒报道,Facebook Reality Labs的研究人员研发了一种虚拟键盘,称为PinchType,用于在VR或AR中进行无控制器手部跟踪。
虚拟现实中的文本输入目前被认为是一个尚未解决的问题。当坐下时,PC VR用户将无法看到其PC键盘,并且在房间规模的体验中,使用起来很不方便。VR一体机用户可能根本没有物理键盘。
但是,由于该技术依赖于头显上没有深度传感器的摄像头,因此目前对于在虚拟键盘上进行高速打字还不够强大。
Facebook现实实验室的三名研究人员正在展示PinchType——解决文本输入问题的进展。。通过从标准QWERTY键盘为每个手指分配一组字母来工作。当您用手指捏住拇指时,将输入该字母组。
在输入单词时,语言算法根据每个字母组和前面的上下文来确定要键入的单词。研究人员没有提及这是一种传统算法还是使用机器学习。Facebook被认为是自然语言处理的领导者。
研究人员说,PinchType的平均打字速度仅为每分钟12个单词(WPM)以上。为了进行比较,据说QWERTY键盘的平均值约为40 WPM,对于现代智能手机,平均值为35 WPM。
目前,Quest上的文本输入是通过从虚拟浮动QWERTY键盘中一次选择单个字母来实现的。在手动跟踪模式下,这会使打字速度非常慢。
目前还没有迹象表明PinchType计划用于Oculus当前的软件中。 Facebook Reality Labs经常会展示一些不打算供消费者使用的研究。也就是说,这看起来确实是对当前软件的一个改进。