开发出将大脑活动转化为文字的 AI

加利福尼亚大学旧金山分校的研究人员 已经开发出可以将大脑活动转化为文本的人工智能（AI）。该系统基于检测到某人说话时的神经模式，而专家希望它最终可以应用于无法说话的个人，例如患有锁定综合征的人。

约瑟夫·马金（Joseph Makin）是该研究的共同作者。

“我们还没有到那一步，但我们认为这可以成为语音假肢的基础，”马金说。

该研究 发表在《自然神经科学》杂志上。

测试系统

约瑟夫·马金和他的团队使用深度学习算法来研究四名女性在说话时的大脑信号。所有这些女性都患有癫痫，脑电极被附在她们的大脑上以监测癫痫发作。

在附上电极后，每个女人都朗读了一组句子，同时测量她们的大脑活动。使用的独特词汇最多为 250 个。她们可以从 50 个不同的句子中选择，包括“蒂娜·特纳是一位流行歌手”和“那些小偷偷了 30 枚珠宝”。

然后将大脑活动数据输入神经网络算法，并训练它来识别经常出现的模式。这些模式可以与反复出现的语音方面（如元音或辅音）相关联。然后将它们输入第二个神经网络，尝试将它们转换为单词以形成句子。

每个女人至少被要求重复句子两次，最后一次重复不包括在训练数据中。这使研究人员能够测试该系统。

“记住这些句子的大脑活动是没有帮助的，所以网络必须学习它们之间的相似之处，以便它可以推广到这个最终示例，”马金说。

结果

系统的第一个结果没有产生有意义的句子，但当系统将每个单词序列与朗读的句子进行比较时，它得到了改进。

然后，团队通过仅从说话时的大脑活动生成书面文本来测试该系统。

翻译中有很多错误，但准确率仍然非常令人印象深刻，并且比以前的方法好得多。准确率因人而异，但对于一个人来说，每个句子的平均纠正率仅为 3%。

该团队还发现，在一个个体的数据上训练算法可以使最终用户提供更少的数据。

根据马斯特里赫特大学的克里斯蒂安·赫尔夫博士（他没有参与这项研究）的说法，令人印象深刻的是，该系统需要的训练数据少于每位参与者 40 分钟，并且句子集合有限，相比之下，通常需要数百万小时。

“通过这样做，他们实现了以前未曾实现的准确率，”他说。

“当然，这是一个很棒的研究，但那些人可以使用‘OK Google’，”他说。“这不是思想的翻译，而是与语音相关的大脑活动的翻译。”

另一个挑战可能是，具有语音障碍的人可能具有不同的大脑活动。

“我们想在患有实际语音障碍的患者中部署它，”马金说，“尽管他们的大脑活动可能与这项研究中的女性不同，这使得事情更加困难。”

要全面翻译大脑信号数据，还有很长的路要走。人类使用大量的词汇，而这项研究只使用了一个非常有限的语音集。