智能皮肤喷雾 实现远程阅读打字和手势操控

KYUN KYU “RICHARD” KIM/STANFORD UNIVERSITY

一种新的人工智能学习方案与智能皮肤喷雾相结合，可以破译人手的动作，识别打字、手语，甚至是简单熟悉物体的形状。该技术的开发人员表示，这种技术可以通过有限的数据和最少的训练快速识别和解释手部运动，并适用于所有用户。

除了在游戏和虚拟现实中找到用途外，新的手部任务认知技术还可以让人们使用手势与他人和机器进行交流。技术专家设想的其他应用包括外科医生远程控制医疗设备，以及机器人和假肢实现物体和运动识别的新模式。

到目前为止开发的手势识别技术依赖于测量肌肉产生的电信号的笨重腕带，或者依赖于每个关节都带有应变传感器的可穿戴手套。其他方法还包括跟踪人类运动并使用机器学习解释的摄像机。这些运动捕捉相机系统需要从多个周围角度拍摄图像，这意味着单个手势识别系统需要多个相机。韩国高级科学技术研究院（Korea Advanced Institute of Science and Technology）计算学院教授Sungho Jo表示，这些多播系统（multicam system）还受到基于视觉的传感器的固有限制。这样的限制包括工作空间中未被多个相机覆盖的区域，以及当手或其他对象被遮挡而无法查看时不可避免地发生的错误。

迄今为止使用的软件也很麻烦。研究人员通常依赖于基于监督学习算法的机器学习模型，这些算法计算量很大。他们要求为每个新用户和任务收集大量数据，所有这些都需要人工标记。

为了制造一个更精简的运动识别系统，Jo和首尔国立大学和斯坦福大学的同事们致力于使传感器和算法更高效。他说：“我们试图创建一种手势识别系统，该系统在形式上足够精简，而且适应性也足够强，基本上可以用于任何用户和数据有限的任务。”

该团队在《自然电子》杂志上报道了新系统的两个关键部分。其中一种是由数百万条涂有金的银纳米线制成的网状物，这些纳米线嵌入聚氨酯塑料涂层中。他说，这种网布既耐用又有弹性，有助于传感器贴在皮肤上。Jo说：“它与佩戴它的每个人手指的纹路和褶皱非常吻合。”

他说，这种网状物可以用便携式机器直接打印在皮肤上，而且非常轻薄，几乎无法察觉。他补充道，这种材料还具有生物相容性和透气性，除非用肥皂和水擦掉，否则可以每天使用的话仍旧可以保持几天，包括洗手等也不受影响。

该团队直接将网格打印到用户的手背上，顺着食指向下。纳米线网络在皮肤下方拉伸时感知电阻的微小变化。当手移动时，纳米网会产生独特的信号模式，并通过一个轻量级的蓝牙单元无线发送到计算机进行处理。

KYUN KYU “RICHARD” KIM/STANFORD UNIVERSITY

这就是人工智能发挥作用的地方。机器学习系统将电导率的变化模式映射到特定的物理任务和手势。研究人员首先使用来自三个不同用户随机的手和手指运动来帮助AI学习运动之间的一般相关性。

然后，基于这一先验知识，研究人员训练该系统区分特定任务产生的信号模式，例如在手机上打字、在键盘上双手打字、握住六个不同形状的物体并与之交互。每个用户执行五次与任务相关的单独手势，以生成一个小数据集，研究人员使用该数据集训练模型。例如，当用户在键盘上键入一个特定的字母或跟踪金字塔的倾斜表面时，该算法学会识别。在测试中，该系统随后能够识别新用户在虚拟键盘上输入的对象和句子。

Jo说：“我们的学习方案不仅在计算上效率更高，而且功能更广泛，因为它可以快速适应不同的用户和任务，而无需进行演示。”

Jo补充道，他们现在计划尝试在多个手指上放置纳米网格设备，以捕捉更大范围的手部运动。他表示，更多的传感器将导致更多的数据被分析，因此研究人员需要仔细考虑AI系统的准确性和合理计算工作量之间的平衡。