机器人假肢的使用在社会中越来越普遍。即使是相对简单的肢体置换也能带来生活质量的提升，我们可以想象，通过引入高精度、智能抓取和手势预测技术，生活质量将如何提升。这是最近在 arXiv.org 上发表的科学研究的主要目标。

这项研究是关于什么的?

这项工作背后的一组研究人员发表了一篇论文，其中他们设计了一种多模态数据融合方法，致力于更好地预测想要正确控制机械手假肢的用户的意图。这项工作包括数据集收集和结合两种不同喘息检测模式的新方法的开发。数据集由第一人称视频图像、凝视和动态EMG数据组成。后来，根据独立的模态(动态 EMG 和视觉抓取检测)对这些数据进行分类和分割，然后与这些模式的多模态融合进行比较，以实现更好的鲁棒性和准确性。

为什么进行这项研究?

这项研究的目的是帮助截肢者，尤其是下臂截肢者。根据所提供的统计数据，2005 年约有 160 万人失去了肢体，其中大多数人更喜欢假肢作为替代品。毫无疑问，仿生假肢具有改善用户生活质量的巨大潜力。

现有仿生模型有哪些局限性?

通常，机器人假肢或仿生手臂附在患者身上，有望在日常活动中进行物体操作。但是目前的方法有一个局限性。仿生假肢目前基于生理学方法，如 EEG(脑电图)和 EMG(肌电图)。这些信号是生理信号，因此取决于许多限制因素，例如肌肉疲劳、电磁干扰、电极的意外移动、运动伪影以及皮肤-电极结阻抗随时间的变化。视觉证据还受到光照、遮挡以及基于观察角度的物体形状变化等因素的影响。基本上，当前的模型容易受到一定的误差范围的影响，因为它会受到许多内在和外在因素的影响。

实验是如何进行的?

实验数据是从五名完全健康的受试者——四名男性和一名女性，在他们完全同意的情况下收集的。所有被试均为右撇子，本实验仅研究惯用手。

在测试开始时，对所有涉及的肌肉进行了 MVC 测试(最大自愿收缩)。在此之后，受试者接受一系列预先设计的动作，以使用 EMG 电极和眼动追踪设备收集数据。

多模式融合方法如何升级现有模式?

这种新方法旨在通过减少低效率因素来统一 EEG、EMG 和视觉证据的阳性结果。科学家们提出了一个使用神经网络模型的“贝叶斯证据融合”框架。然后，他们分析了作为用户手接近和抓住它面前的物体所花费的时间的函数的各种表现。

从该实验收集的数据和开发的数据处理模型表明，多模式融合系统比单独分离的两种抓取分类模式更有效。

这种方法有什么局限性?

如上所述，该方法依赖于生理模式的最佳和最有效部分以及视觉证据的融合，并依赖于它们的互补性以获得最佳性能。

当假肢机械臂处于静止状态时，相机可以非常清楚地注意到感兴趣的物体，这表明视觉证据对应物的准确性更高。另一方面，当手臂处于活动状态时，主体向物体伸出手时，EMG 特征比视觉分类器更活跃。基于融合的方法在所有场景中都优于单个分类器，实现了 95.3% 的总抓取分类准确率。

显然，与现有方法相比，这种技术没有任何限制，只是需要更多的计算能力来处理所有数据。尽管从实践的角度来看，这实际上并不是以当前的计算技术状态无法解决的限制。

这项研究的未来范围是什么?

这项研究可能会激发下一代生物假肢。通过神经网络、编程和生物力学的全面多学科整合，这可能是帮助世界各地截肢者的关键。佩戴新一代智能假肢实际上会感觉像是截肢者身体的一部分，同时还提供无缝运动和有用的现实生活功能。