为了让你更自然地操控AR眼镜，Facebook从各个方向探索了AR交互方式，比如使用摄像头和体感手套来追踪手势，或者使用EMG肌电技术追踪五个手指的运动神经信号，等等。

其实除了自然的交互，手指的触觉反馈也有助于增加AR的沉浸感.那么，如何将触觉和手势交互自然地结合起来呢？为了探索这个问题，Facebook 研究人员开发了一种体感增强系统，可以改变视觉、声音和触觉：触觉回声。

Tactile Echoes 联合设计师 Anzu Kawazoe（加州大学博士生）表示：Tactile Echoes 可能是第一个结合 AR 投影和手势识别等多种模拟反馈的体感解决方案。具有10个可调参数，支持模拟多样化的多感官反馈。

据悉，Tactile Echoes也被科研人员称为“基于手势的多感官增强系统”。它的特点是可穿戴设计与基于投影的 AR 界面相结合。 Echoes 基于 AR 投影和手势。跟踪是通过摄像头进行的，体感反馈是通过手指上方的压电传感器和执行器实现的。

使用AR投影界面的好处是体验者的手可以直接触摸桌面获得反馈，不需要控制按钮或触摸屏输入，体验更自然，可以整合视觉和体感、听觉等多种感官反馈。在应用场景方面，可用于游戏、娱乐、科研等。

在详细信息，整个系统包括：压电传感器、执行器、声卡、PC、扬声器和音频放大器。压电传感器识别出手指振动信号后，将其传送到PC进行处理，并输出到执行器产生振动反馈给手指。同时，扬声器也会发出声音反馈。而 AR 投影提供了可视化 UI。

其实，在日常生活中，当你用手指轻敲桌面时，通常都能听到咔嗒声。 Tactile Echoes 解决方案想知道的是您是否可以使用空回声或哄雷声代替咔嗒声。

也就是说，相机识别出手指与平面接触时产生的振动强度，会影响你与AR界面的交互体验。 Tactile Echoes 产生的体感和音频反馈与手指接触表面的力度有关。力越大，反馈越强。当您轻敲某物时，您可能会听到柔和的回声。当您用力戳东西时，您可能会听到流行回声。而当你的手指触摸不同的界面时，你得到的反馈也是不同的。

比如用手轻点AR界面，会得到不连续的回声。如果您在 AR 界面上滑动手指，则会产生连续的回声。此外，根据触摸屏的表面或位置呈现不同的体感反馈。

Kawazoe 说：我们的灵感是使用 Tactile Echoes 来增强木桌等普通表面的触感并添加动态 体感反馈和声音效果响应触摸。

Facebook 表示：Tactile Echoes 是一种可穿戴的触觉反馈系统，其特点是捕捉手指触摸桌子等表面产生的振动，并实时处理振动数据，将其转化为“回声反馈”，就像是将触觉振动转化为声音振动，从而产生回声的连续反馈过程。

在实验中，研究人员创建了一个 2D AR 音乐合成界面，看起来交互性足够强。虽然只是一个虚拟的AR界面，但它也能同时提供触摸、振动、音频的自然反馈。

研究人员使用 VR/AR 耳机和交互式 AR 投影来展示视觉效果。实验分为两种。一是调查体验者对不同音效和体感反馈的认知。在第二个实验中，体验者需要完成一个结合 Tactile Echoes 解决方案的交互式 AR 游戏。体验者表示：音频和体感反馈有效提升了游戏交互的响应性，沉浸感和临场感也得到了加强。

在第一个实验中，体验者总共进行了 35 次测试，每次都使用动词或形容词。描述你的感受。研究人员调查了体验者对回声反馈和触觉结合的看法，并通过一些触觉游戏，让体验者比较了触觉回声的体验与传统体感游戏的区别。

科学家们还发现了一些与知觉有关的有趣现象，例如延迟体感反馈和知觉掩蔽，这意味着某种刺激会影响人们对另一种刺激强度的感知。未来，研究人员将继续在相关方向进行实验，并利用结果优化整个 Tactile Echoes 系统。

此外，Facebook 计划与公司合作，将 Tactile Echoes 商业化，用于桌面游戏、音乐表演、教育等场景。参考资料：IEEE