用AI重建脑中音乐
图片来源：Pixabay
撰文 | 露西·杜（Lucy Tu）
翻译 | 黄晨
研究人员希望，有朝一日可以通过大脑植入物帮助那些丧失语言能力的人恢复健康，或者是用唱歌的方式把句子唱出来。最近，有科学家首次利用颅内脑电图证明，脑电活动可以被解码并用于重建歌曲。
这项发表于《公共科学图书馆·生物学》（PLOS Biology）的研究共纳入29名癫痫患者，他们均接受过颅内电极植入，以监测癫痫发作的情况。当研究人员让这些受试者聆听平克·弗洛伊德（Pink Floyd）的歌曲《墙上的另一块砖，第一部分》（Another Brick in the Wall, Part 1）时，他们大脑内的电极会记录下多个脑区的电活动，包括负责感知音调、节奏、和声与歌词等音乐要素的脑区。随后，研究人员利用人工智能模型，对这些数据进行解码，重建出受试者所听到的部分内容。
此前已有研究通过解码脑电活动，成功重建出了话语或图像，美国加利福尼亚大学旧金山分校的神经科学家沙伊莱·贾因（Shailee Jain，未参与这项研究）表示，这项新的研究是在之前的基础上做了进一步探索。“现在，我们对大脑的理解更加深入，并揭开了语言所包含的基本要素。”贾因补充道。研究人员还利用人工智能模型，分析了大脑是如何对歌曲作出反应，从而感知到音高、节奏和音调变化的。然后，他们会用另一个人工智能模型，将各种信息重新整合在一起，以便预测受试者所听到的内容。结果显示，重建后的旋律大体一致，歌词虽有些混乱，但如果知道听的是什么，还是能辨别出来。
为什么选择平克·弗洛伊德的歌曲？加利福尼亚大学伯克利分校的认知神经科学家卢多维克·贝利耶（Ludovic Bellier，这项研究的第一作者）解释道，因为这首歌“非常有层次感”，经过分析或许可以得到一些有趣的结果。当然，另一个原因在于，“我们真的很喜欢平克·弗洛伊德。”
除音乐外，这项研究或许还十分有利于通过识别脑电波生成人类语言。值得一提的是，人类语言还包含节奏、重音、口音和语调等要素，这些要素构成了语言中细微的情感差异。而这些细微差异“所传达的含义是我们无法单独用话语来表达的”。研究人员希望他们的新模型能够改善脑机接口，从而将大脑活动转化为合成语音，供那些不再能独立说话的人使用。这样一来，“那些患者就可以大喊‘我爱你！’而不是机械地说‘我，爱，你’。”加利福尼亚大学伯克利分校的认知神经科学家罗伯特·T.奈特（Robert T. Knight，这项研究的通讯作者）说道。
不过，目前的模型仍然需要通过手术植入电极。随着用于记录大脑活动的技术不断进步，未来我们或许可以用连接在头皮外侧的超敏感电极来收集大脑活动数据。目前，为了生成更清晰的音频，研究人员希望将电极更紧密地放置在大脑表面，因为这可以更详细地研究大脑在听到音乐后所产生的电信号。“今天我们重建了一首歌，”奈特说，“也许明天我们就能重建平克·弗洛伊德的整张专辑。”
本文来自《环球科学》11月刊前沿
本文来自微信公众号“环球科学”。如需转载，请在“环球科学”后台回复“转载”，还可通过公众号菜单、发送邮件到[email protected]与我们取得联系。相关内容禁止用于营销宣传。
《环球科学》11月新刊正在热卖
各电商平台均有销售
微信扫码关注该文公众号作者