截瘫患者「意念打字」登 Nature 封面:速度接近常人敲键盘,准确率 99.2%

2024-11-19 02:22:46 admin

1960 年代,截瘫近常键盘英国医生 Grey Walter 为确认癫痫病人的意念脑内病灶,在其贴近大脑皮层的打字登N度接地方放了电极,清晰地获取了病人的面速神经活动。这仿佛为 Grey Walter 打开了新世界的人敲大门,突发奇想之下他把电极连接到自制的准确“电位转换器”上,竟让癫痫病人实现了「意念控制幻灯片切换」,截瘫近常键盘这便是意念脑机接口技术的第一次完整实现。

时至今日,打字登N度接脑机接口技术虽未真正大规模落地,面速但我们对其已不再陌生,人敲即便争议时常存在,准确技术突破也从未停歇——2021 年 5 月 13 日,截瘫近常键盘脑机接口领域最新突破登上了本期知名学术期刊 Nature 的意念封面。

截瘫患者「意念打字」登 Nature 封面:速度接近常人敲键盘,打字登N度接准确率 99.2%

借助斯坦福大学设计出的新型脑机接口系统,截瘫患者可以用意念打字。

截瘫患者「意念打字」登 Nature 封面:速度接近常人敲键盘,准确率 99.2%

患者打出单词 battle 的速度与常人手机打字速度相差并不多,很难想像这是通过意念控制做到的。

截瘫患者「意念打字」登 Nature 封面:速度接近常人敲键盘,准确率 99.2%

其实早在 2017 年已有通过植入式脑机接口使患者实现意念打字的先例,很明显,最新的脑机接口系统大大提升了打字速度。

截瘫患者「意念打字」登 Nature 封面:速度接近常人敲键盘,准确率 99.2%

官方给出的数据是,这一系统下,患者每分钟可输入 90 个字符,而此前「意念打字」速度最多只达到每分钟 60 个字符(注:常人打字速度为每分钟 115 个字符)。可见,这一系统在速度上有了显著提升。

除了速度,准确率也是一项关键因素——据了解,最新系统打字的原始准确率为 94.5%,经语言模型自动校正后的准确率能达到 99.2%。

截瘫患者「意念打字」登 Nature 封面:速度接近常人敲键盘,准确率 99.2%

2021 年 5 月 12 日,相关研究成果发表于 Nature,题为 High-performance brain-to-text communication via handwriting(通过手写实现的高性能大脑-文字交流)。

截瘫患者「意念打字」登 Nature 封面:速度接近常人敲键盘,准确率 99.2%

论文作者主要来自斯坦福大学(霍华德·休斯医学研究所 HHMI、医学院神经外科、电气工程系、Wu Tsai 神经科学研究所、Bio-X 研究所、生物工程系、神经生物学系)、美国退伍军人事务部神经修复和神经技术研发中心、布朗大学(工程学院、Carney 脑科学研究所)及哈佛医学院麻省总医院神经内科神经技术与神经康复中心。

实际上,这一研究是美国企业 BrainGate 临床试验的一部分,主要由布朗大学工程学院教授、重症监护神经学家 Leigh Hochberg 博士指导。

交流速度如何跟上思考?

在平时敲键盘的过程中,我们不难注意到一点,人脑思考的速度往往要比交流的速度快得多。而对于严重瘫痪的患者而言,这种问题则显得尤为突出。

针对不便交流的群体,目前已有辅助打字设备进入商用。这种设备主要基于使用者的眼球运动或语音命令。据了解,一种眼球追踪键盘可使瘫患者每分钟输入约 47.5 个字符,速度明显低于常人打字速度;不仅如此,对于那些因瘫痪影响到眼球运动或发声的患者而言,这一技术将有着很大的局限性。

相比之下,脑机接口技术则可通过解读大脑活动模式来恢复患者的特定功能。

截瘫患者「意念打字」登 Nature 封面:速度接近常人敲键盘,准确率 99.2%

【借助脑机接口,猴子也能打游戏】

具体到打字任务上,脑机接口技术可以基于神经活动,建立分类算法来预测用户想要选择的字母,解决键入任务:

  • 非侵入性脑机接口可向患者提供顺序的视觉提示,分析用户对提示的神经反应,从而确定他们想敲打的字母。

  • 侵入式脑机接口则是在大脑中植入电极,使用户控制光标、选择字母键。

基于这一点,研究团队希望通过设计一种用于打字的脑机接口系统,使得截瘫患者按其思维速度进行交流。

意念打字如何实现?

据悉,研究团队设计的新型脑机接口系统原理为:

首先,在用户想象要写的字母时,大脑电极测量神经元活动(注:下图中的线条表示神经元发射的时间点)。

接着,递归神经网络(RNN)学习每个字母产生的神经活动模式,并分析这些活动模式在多个试验中的关系,从而生成聚类图。

最后,算法基于上述信息预测用户所想象的字母,并将该预测实时输出。

截瘫患者「意念打字」登 Nature 封面:速度接近常人敲键盘,准确率 99.2%

基于上述原理,研究团队的做法是:

  1. 对一个原本为语音识别而开发的机器学习算法进行改写,

  2. 构建一个数据集(数据集中包含与每个字母相对应的神经活动模式),

  3. 使用数据集来训练分类算法。

据 Nature 介绍:

为评估手写的神经表征,受试者需要按照电脑屏幕给出的指令一次 “手写” 一个字符,每个字母重复 27 次试验。

截瘫患者「意念打字」登 Nature 封面:速度接近常人敲键盘,准确率 99.2%

研究表明:

上述算法在有限的训练数据下也能很好地运行,但随着神经活动模式的改变,可能需要做进一步的研究,以使该设备在其生命周期内保持稳定的性能。

值得一提的是,论文一作 Frank Willett 博士还通过推特表示会将整个研究的代码和神经数据开源。

下图为此次植入患者大脑的微型电极阵列,据了解,参与试验的患者为一名 65 岁男性,颈部以下因脊髓损伤而瘫痪,研究团队在患者与右臂运动相关的大脑区域内放置了两枚微型电极。

截瘫患者「意念打字」登 Nature 封面:速度接近常人敲键盘,准确率 99.2%

写在最后

这一研究无疑是一次重要突破。

Nature 表示:

这一突破拓宽了侵入式脑机接口应用落地的前景,使用了机器学习方法,为脑机接口技术的改进提供了一条乐观的思路。

加州大学伯克利分校神经工程师 Jose Carmena 表示:

尽管技术还处于起步阶段,但这仍是一大进步。

美国国立卫生研究院脑科学计划主任 John Ngai 表示:

这一研究代表了脑机接口和机器学习发展的重要里程碑,为未来改善神经损伤和瘫痪患者的生活提供了重要基础。

国内有专家表示:

相比于 Neualink 的研究成果,这一研究可以说是真正的技术创新。原因在于,Neualink 的优势在于神经界面能够高通量地无线传输神经信号,但(猴子打游戏)任务属于一维控制,其实是非常简单的。

当然,上述褒奖之外,我们也要意识到,脑机接口仍有很大的发展空间。仅针对这一研究,Nature 就提出了潜在发展路径:

在 26 个英文字母中,有这样几个字母的书写方法相似(r、v 和 u),因此较难分类。但在其他语言中,比如泰米尔语就存在有 247 个相似字母,可能比起英语很难分类。因此,该方法如何能扩展到或转换为其他语言,是科学家们后续需要思考的问题。

华盛顿大学生物工程系专家 Pavithra Rajeswaran、华盛顿大学电气和计算机工程系专家 Amy L. Orsborn 一致认为:

将电极植入大脑的费用和风险是否合理仍需论证。

众所周知,在脑机接口领域,包括 Neuralink 在内的国外企业已有了一定进展;进入 2021 年,国内多家脑机初创企业也加速融资、腾讯阿里等大厂亦有相关布局。而在学术方面,浙江大学、TCCI(陈天桥雒芊芊研究院)等科研院所近两年也做出了重要科研进展。

脑机接口技术日新月异,未来还将如何进步,我们拭目以待。

引用来源:

https://www.nature.com/articles/s41586-021-03506-2

https://www.nature.com/articles/d41586-021-00776-8

https://www.brown.edu/new网s/2021-05-12/handwriting

https://www.youtube.com/watch?v=wyFj3yl3Aik

https://mp.weixin.qq.com/s/84O4_-mKQs2ixnJghZTVgw

雷锋网雷锋网雷锋网

  • 文章

    73866

  • 浏览

    444

  • 获赞

    9465

赞一个、收藏了!

分享给朋友看看这篇文章

热门推荐