脑机接口
通过脑电信号实现思维与AI无缝对话:MindSpeech技术的突破
在人类与AI交互方面取得了革命性的进展,MindPortal的科学家们成功开发了MindSpeech,这是第一个能够将持续的想象语音解码为连贯文本的AI模型,而无需侵入性手术。这一进展标志着人类与机器之间无缝、直观通信的探索取得了重大里程碑。
开创性的研究:非侵入性思维解码
该研究由一组领先的专家团队进行,并在arXiv和ResearchGate上发表,展示了MindSpeech如何在受控测试条件下将复杂的自由形式思维解码为文本。与之前需要侵入性手术或仅限于简单、记忆的口头提示的尝试不同,该研究表明AI可以动态地从脑活动中非侵入性地解释想象的语音。
研究人员使用了一种便携式的高密度功能近红外光谱(fNIRS)系统来监测脑活动,同时参与者想象了各个主题的句子。这种新颖的方法涉及一个“词云”任务,参与者被呈现了一系列词语,并被要求想象与这些词语相关的句子。该任务涵盖了英语中90%以上最常用的词语,创建了一个丰富的数据集,每位参与者有433到827个句子,平均长度为9.34个词。
利用先进的AI:Llama2和脑信号
MindSpeech的AI组件由Llama2大型语言模型(LLM)提供支持,这是一种由脑信号生成的嵌入引导的文本生成工具。这些嵌入是通过将脑信号与上下文输入文本集成而创建的,允许AI从想象的语音中生成连贯的文本。
关键指标,如BLEU-1和BERT P评分,用于评估AI模型的准确性。结果令人印象深刻,显示出三位参与者中三分之二的解码准确性有显著提高。例如,参与者1的BLEU-1评分显著高于随机输入,达到0.265,而随机输入的评分为0.224,p值为0.004,表明在生成与想象的思维密切相关的文本方面具有强大的性能。
脑活动映射和模型训练
该研究还绘制了与想象语音相关的脑活动,重点关注侧面颞叶皮层、背外侧前额叶皮层(DLPFC)和枕叶区域的视觉处理区域。这些发现与之前关于语音编码的研究一致,并强调了使用fNIRS进行非侵入性脑监测的可行性。
训练AI模型涉及一个复杂的提示调优过程,其中脑信号被转换为嵌入,然后用于指导LLM的文本生成。这种方法使得生成的句子不仅在语言上连贯,而且在语义上也与原始的想象语音相似。
迈向无缝的人机交互
MindSpeech代表了AI研究领域的一项开创性成就,首次证明了无需侵入性手术即可从脑活动中解码持续的想象语音。这一发展为更自然、更直观的AI系统交互铺平了道路,可能会改变人类与技术的交互方式。
该研究的成功也强调了进一步发展的潜力。虽然该技术尚未准备好进行广泛的应用,但研究结果为我们展现了一个未来:与AI的脑电信号通信可能成为现实。
影响和未来研究
该研究的影响是巨大的,从增强有交流障碍的个人的辅助技术到开启人机交互的新前沿。然而,该研究也指出了前方的挑战,例如提高AI模型的敏感性和通用性,并将其适应更广泛的用户和应用。
未来的研究将集中于完善AI算法,扩大数据集以包含更多参与者,并探索该技术的实时应用。目标是创建一个真正无缝和通用的脑机接口,可以将广泛的思维和想法解码为文本或其他形式的交流。
结论
MindSpeech是人类与AI交互的开创性突破,展示了非侵入性脑机接口的不可思议的潜力。
读者若想了解更多关于MindPortal公司的信息,可以阅读我们的对MindPortal CEO和联合创始人Ekram Alam的采访,我们讨论了MindPortal如何通过脑电信号与大型语言模型进行交互。












