来自世界卫生组织（WHO）的数据显示，如今全球范围内有超过四千万的截肢患者。虽然随着科技的发展，假肢技术虽然在一定程度上改善了上肢被截肢者的生活品质，但在假肢控制方面仍然存在许多不足，如动作延迟高、需依靠不便携带的附加设备等。近日，来自明尼苏达大学的研究团队及其合作者，共同开发出了一种基于深度学习的便携式独立神经假肢。研究人员通过验证 NVIDIA Jetson Nano 等边缘计算平台在神经假体应用中部署深度学习的可行性，研发了一个便携式的、独立的假肢系统。实验结果表明，在各种实验室和真实环境中，该系统能够提供强大的、高精度（95-99%）和低延迟（50-120 ms）的手指运动控制能力。图｜截肢者通过神经记录实时控制单个手指的运动（动图制作素材来源：YouTube）临床试验证明，该系统在不同的手臂、身体姿势，以及在不同的实验室和真实环境中都可以连续稳定运行几个小时。研究人员表示，该假肢系统是第一个在便携式临床神经假体应用平台上实现深度学习神经解码器的系统，同时多项创新系统设计也为未来的假肢研究提供了极高的参考价值。图 | 便携式神经假肢（来源：Anh Tuan Nguyen）
近年来，深度学习在分析和解码生物医学数据方面的应用一直在稳步发展。在快速发展的神经假体领域，基于深度学习的神经解码器已经成为推动下一代灵巧和直观的神经假体研究的主要工具，这种基于深度学习的 AI 系统可以帮助用户利用灵巧的假肢系统进行全方位运动。在此次研究中，研究团队通过比较基于 CNN 和递归神经网络的深度学习解码器与经典机器学习技术的性能发现，深度学习方法使用从截肢者获得的外周神经数据后，在解码灵巧手指运动的所有性能指标上优于其他技术。尽管这些研究显示了有应用前景的结果，但在便携式设备上进行深度学习以用于长期临床应用仍然具有挑战性。深度学习的效率是以计算复杂性为代价的。众所周知，在大多数低功耗平台上的传统中央处理器上运行深度学习模型时，效率非常低。在实践中，绝大多数深度学习模型必须使用图形处理单元（GPU）来训练和部署。边缘计算设备的最新进展，为解决这一问题提供了新的可能。早期的边缘计算设备侧重于通用应用，但最近，用于深度学习的紧凑硬件的开发有所增加。但是不幸的是，目前的软件支持仅限于高度定制的神经网络，这阻碍了人们基于 RNN 的神经解码器实现的全部潜力。另一类用于深度学习的边缘计算设备包括带有集成 GPU 的独立计算机。最著名的例子是 NVIDIA Jetson Family，它包括具有 CPU、GPU、RAM、闪存等，专为在自主应用程序中部署人工智能而设计。同时它允许直接使用最流行的深度学习库，如 TensorFlow、PyTorch 和 Caffe。这为研究团队的神经解码器实现提供了尺寸、功率和性能之间最合适的折衷。这也为本研究提供了可靠的硬件支撑。
通过基于 NVIDIA Jetson Nano 系列的硬件平台，研究人员成功创建了便携式神经假肢系统。如图 A，该系统的组成部分包括 Scorpius 神经接口、带有定制载板的 Jetson Nano、定制的假肢控制器和可充电锂离子电池；而便携式神经假肢则作为一个独立的便携式单元，整个系统可以集成到内部，取代假体现有的肌电图传感器和电子设备，从而对假肢的重量和美观影响最小。图 | 便携式神经假肢系统的各部分细节（来源：该论文）神经数据通过 Scorpius 神经接口（图 A）获得，Scorpius 系统的小型化外形使其可以部署在各种可穿戴和可植入的应用中。设备由承载板通过隔离的 USB 链路供电，所获得的数据直接传输到 Jetson Nano 进行进一步处理。为了能使 Jetson Nano 更好的发挥作用，研究团队为它专门设计了一个定制的载板（C 图），为 Nano 模块提供电源管理和输入与输出连接。经过全面训练的深度学习模型被用来将神经信号实时转换成受试者个人手指运动的真实意图。最终的预测被发送到手控制器来驱动假肢。假肢拥有五个独立驱动的手指，搭配研究团队定制的控制器（B 图），实现对手指的控制。在软件方面，该系统采用 Python 实现它的硬件功能，由数据采集、数据预处理和电机解码三个独立的线程组成。图 | Jetson Nano 中的数据处理流程（来源：该论文）数据的主要处理是在 Jetson Nano 中实现的。首先，来自截肢者手臂的外围神经信号形式的数据被发送到平台，然后进行预处理；同时，预处理也是至关重要的，这一步是将原始神经数据输入到试验中，并提取他们的主要特征。预处理数据与主要特征相对应，清除所有噪声源后被发送到深度学习模型中，以具有控制每个手指运动的最终输出，因此，五根手指可以分别对应不同的输出从而产生不同的动作。
在之后的临床应用中，研究团队选择了一个失去手 14 年的截肢者进行。所有的数据采集和处理都是由 Jetson Nano 实时完成的，没有与任何远程计算机进行有线或无线通信。截肢者用他灵巧的假肢向外界观察者展示他移动手指进行比较的意图。结果表明，机械手准确地模拟了操作者的运动意图。截肢者还测试了假手在各种姿势下的鲁棒性，因为伸直手臂可能会产生相当大的肌电图噪声。受试者报告系统响应性略有变化，但没有明显的电机解码精度下降。最终结果表明，该系统几乎可以像正常人的手一样移动它的机器人手指。图 | 截肢者正在连接主机接受测试（动图制作素材来源：YouTube）在这个测试中的截肢者表示：我觉得使用这个假肢，更像是一种生活功能，不用考虑假肢在什么位置或者假肢在什么模式就能完成日常任务。就好像我想拿起某样东西，就伸手去拿一样东西。我知道它就像我的手一样，可以完成日常的功能，我想我可以做到。虽然这项研究实现了诸多的功能，但是该假肢系统在实现方式上仍有改进的空间。同时，Jetson Nano 的 GPU 是基于 NVIDIA 的 Maxwell（2014）架构，这可能不如最近的 GPU 架构如 Turing（2018）和安培（2020）那样高效。一旦软件支持变得更加强大，Jetson Nano 也有可能与英特尔计算棒和谷歌 Coral 等 usb 连接设备相结合，以扩展深度学习推理能力。这项研究实现了多个方面的创新，第一点创新在于束内微电极阵列的开发；第二点创新在于设计了 Neuronix 神经接口微芯片；第三点创新在于深度学习运动解码范式的优化；第四点创新在于基于最先进的边缘计算平台的软件和硬件的实现。研究人员表示，预计这项工作将成为未来开发基于 AI 的便携式生物医学设备方面的垫脚石，并为更多的被截肢者带来生活上的便利。https://arxiv.org/pdf/2103.13452.pdf
https://www.youtube.com/watch?v=wNBrCRzlbVw
https://sites.google.com/view/jules-anhtuannguyen/gallery
