Meta为MR虚拟键盘打字输入提出TouchInsight神经网络

文章预览

可以检测所有十个手指在任何物理表面的触碰输入 （ 映维网Nweon 2024年10月16日 ）尽管被动表面为混合现实中的交互提供了诸多好处，但仅通过头戴式摄像头检测触碰输入一直是一个长期的挑战。摄像头的特殊性，手部的自遮挡，以及头部和手指的快速运动都导致了触碰事件的确切位置的不确定性。所以，现有的方法无法实现稳健交互所需的性能。 在一项研究中，Meta和苏黎世联邦理工学院提出了一个可以检测所有十个手指在任何物理表面的触碰输入的实时管道，而且它完全是基于自中心的手部追踪。 所述方法TouchInsight包括一个神经网络来预测触碰事件的时刻，手指进行接触和触碰位置。TouchInsight通过二元高斯分布表示位置，以解释由于传感不准确性而产生的不确定性。研究人员首先进行了离线评估，并发现它定位输入事件的平均误差为6.3 mm，能 ………………………………