脑机接口如何将思想转化为文本?

Facebook（现在称Meta）决定资助脑机接口 (BCI) 技术一度成为了头条新闻，它试图找到一种能让用户仅仅通过思考来创建文本的方法，希望能创造一种新的与技术交互的模式——一种用户可以简单地通过“想象”来“说话”的系统，其系统会将这些“想象”转化为文本。

Facebook 曾经计划创造一种可以捕捉语言的头戴式设备，在设想中，这种设备将来自大脑的电信号转换为数字信息。这本可能成为第一个用于实现语言功能的消费者 BCI，但Facebook去年退出了这个项目，将它们已经拥有的关于语言的研究全部开源，并且转而开始关注用于捕获关于神经信号运动的 BCI 。

不过，在 Facebook 退后一步的同时，一些实验室正在向前迈进，在将语言转化为文本或口语方面取得突破。这些项目通过使用直接与大脑表面接触的电极直接从源头收集数据。这个方案的原因是，与依赖可穿戴设备的系统不同，使用植入电极的 BCI 可提供更好的信噪比，对大脑活动进行更详细和具体的记录。

Facebook 的研究合作伙伴 UCSF（加州大学旧金山分校）去年宣布，其 Chang 实验室以负责该设施的神经外科医生 Edward Chang 的名字命名。作为研究试验的一部分，该实验室已经创建了一个工作思想到文本的 BCI 。

该系统使用电极传感器，放置在大脑表面时，电极传感器可以接收用户的神经信号。然后，机器学习系统会对这些信息进行解码，试图创建用户想说的单词。

该系统的第一个用户是一名脑干中风的患者，他的头部、颈部和四肢活动极为有限，并且无法说话。自中风以来，他不得不通过移动头部进行交流，方法是使用附在棒球帽上的指针来触摸屏幕上的字母。

通常，信号通过神经从大脑传送到言语肌肉——我们可以将神经想象成大脑的电线。实验参与者的情况则是，大脑和声带肌肉之间的线路已经被切断。当他试图说话时，信号已经形成，但无法到达目的地。

BCI 的作用是直接从大脑的语音皮层获取这些信号，对其进行分析，找出参与者试图移动哪些与语音相关的肌肉，然后计算出他想说的话，最终将肌肉运动意图转化为电子语音。中风后 15 年以来，参与者首次可以更快、更自然地进行交流。

试验参与者可以说出系统能够识别的 50 个词中的任何一个——这些词是由 UCSF 研究人员选择的，因为它们要么很常见，与护理有关，要么只是参与者想要说的词——比如如“家人”、“好”或“水”。

为了创建一个有效的 BCI，系统必须接受训练，提高识别哪些信号与哪些单词相关的能力。为此，参与者必须练习说每个单词近 200 次，创建合适大小的数据集供 BCI 软件学习。信号从他大脑上的 128 通道阵列中采样，并由人工神经网络解释，该网络使用非线性模型，可以学习大脑活动中的复杂模式并将它们与预期的语音相关联。

当用户试图逐字说出一个句子时，语言模型会预测他试图说出的这 50 个单词中的任意一个的可能性，以及这些单词如何组合成一个句子——例如，“How are you？”是一个比“How you good？”更有可能的句子，尽管这两种表达使用相当相似的语音肌肉。该系统能够以高达每分钟 18 个单词的速度解码参与者的预期语音，准确率高达 93%。

UCSF 团队现在希望将试验系统的使用范围扩大到更多参与者。Chang 实验室的博士后工程师、该研究项目的主要作者之一大卫·摩西 (David Moses) 表示，有很多人想了解这项研究的情况以及 UCSF 的思想。“这项技术确实需要合适的人，它有很多纳入标准，不仅是关于这个人有什么样的残疾，还有他们的一般健康状况和其他因素。患者理解这是一项研究也非常重要，因为我们不能保证这项技术会直接使他们受益。这需要一种特殊的人。”

大多数用于侵入性 BCI 人体试验的阵列——也就是将电极直接放置在大脑表面——是由一家叫 Blackrock Neurotech 的公司制造的。

Blackrock Neurotech 还致力于开发应用于 BCI 的语言应用程序。该公司没有像 UCSF 试验那样使用大脑发送到语音肌肉的信号，而是创建了一个基于想象笔迹的系统：你在脑海中想象写一个“A”，系统使用斯坦福大学开发的算法将其转换为书面文本。它目前的工作速度约为每分钟 90 个字符，该公司希望最终能达到 200 个字符——与普通人手写的速度大致相同。

该系统可能是最接近商业化的系统之一，可能会应用于患有肌萎缩侧索硬化症 (ALS) 等疾病的患者。这是一种绝症，也称为 Lou Gerig 病或运动神经元病。在后期阶段，ALS 会导致闭锁综合征，患者无法使用任何肌肉来移动、说话、吞咽甚至眨眼。但他们的思想仍然像往常一样活跃。某些脑机接口，例如 Blackrock Neurotech 的一些产品，创造目的正是为患有 ALS 或闭锁综合征（也可能由某些中风引起）的人提供一种继续与外界交流的方式。

“我们遇到过神经接口拼写出了一个自动拼写器不断纠正的单词的案例，参与者表示这是他们在开始约会时创造的一个单词。神经接口能够找到一个世界上只有两个人知道的词——所以 Siri，吃掉了你的心。当然，自动校正工具的会带来很多好处，机器学习可以帮助这些设备变得更好。”首席执行官兼首席执行官 Marcus Gerhardt Blackrock Neurotech 的联合创始人告诉 ZDNet。该系统目前以 94% 的准确度运行，一旦应用自动校正，准确度就会上升到 99%。

尽管这些设备都处于相对早期的发展阶段，但语言 BCI 改善目前无法说话的患者生活质量的潜力是显而易见的。支持 BCI 的技术近年来取得了长足的进步，如今 BCL 在将预期的语音转换为屏幕上的单词方面已经变得越来越快，但在将系统部署到广大患者群体之前，我们还需要做更多的工作。

由于 BCI 系统的新颖性，在广泛商业化之前需要解决数据隐私和所有权问题。对于那些担心人们的思想会被用于违背个体意愿的人来说，这项技术并不现实。用户必须通过打算说话来积极参与这个系统，比如故意思考写作或移动肌肉，而不是简单地通过在他们的脑海中想象来实现运动。）

因为 BCI 是一项新兴的技术，我们还需要更多关于其长期使用效果的信息。比如电极在对电极不是很导电的大脑环境中能够正常地工作多久这一问题：Blackrock Neurotech 的阵列已经在人类体内原位使用了 7 年，该公司认为 10 年是可以达到的。

根据 UMC Utrecht 大脑中心助理教授 Mariska Vansteensel 的说法，关于 BCI 还有长期支持的问题。这种设备需要定期调整参数设置以优化系统，从而应对疾病变化或其他可能影响大脑活动的情况以及用户偏好。设备中的硬件也可能需要更换或更新。到目前为止，对于谁应该长期管理 BCI 提供技术支持还没有达成一致的框架。

对于 Blackrock Neurotech 和 UCSF 等组织来说，目前为止最大的挑战可能是它们的产品针对的是相对较少的患者群体。同时这些系统本身又对专业性提出了高要求，且十分昂贵，需要同样专业且昂贵的神经外科手术来安装。如果语言 BCI 确实实现了商业化，那么它们的成本可能意味着它们无法提供给最需要它们的人。

“可访问性的话题需要高度关注，”Vansteensel 告诉 ZDNet。“如何以及何时将语言 BCI 商业化，我们需要确保所有潜在的最终用户都可以使用它们，而不仅仅是特权更高的人。这要求显然也适用于与使用 BCI 相关的持续技术支持，”她补充说。

根据 Blackrock Neurotech 的 Gerhardt 的说法，尽管存在经济挑战，但政府对 ALS 等疾病的资助可能会继续促进 BCI 的开发。

“现在，我们非常希望能够将这项技术提供给患者群体，例如因 ALS 导致的闭锁综合征患者，他们的预期寿命在 2 到 5 年之间。我们认为有一种道德义务来提供这种技术，”Gerhardt说。

“我们必须采用这种研究级软件，使其成为强大的商业级和医疗级软件。我们正在努力解决这个问题。这不会需要几十年，甚至可能不需要几年。”