【新智元导读】荷兰拉德布德大学的研究团队通过定位大脑注意力机制,在AI「读心术」领域精确生成图像,能够依据大脑活动记录极为准确地重建猕猴所看到的内容。网友:这是人机融合的最终目标。
不知道大家上学的时候有没有被老师拎着耳朵,痛心疾首地问:讲了八十遍还错!我真想打开你们的脑子看看里面到底在想什么?!我们无法敲开别人的大脑,很难知道知识到底有没有镌刻在大脑里。要想做到这一点,好像只有神叨叨的读心术能实现。随着AI技术的发展,不用开颅,不用植入设备,读取头脑里的想法好像真的能实现。早在2022年,就有科学家研究过如何将人脑中的图像可视化。大阪大学前沿生物科学研究院的教授两位科学家Yu Takagi和Shinji Nishimoto就发表了一篇论文,用扩散模型将大脑活动重现为图像。论文地址:https://www.biorxiv.org/content/10.1101/2022.11.18.517004v2.full.pdf两位科学家招募了一群志愿者,让他们每人看一万张自然风景图(不是一次性看完)。看图的时候,志愿者躺在核磁共振扫描仪里,这个大脑摄像机会记录下所有的大脑活动。科学家得到脑内活动数据后,根据大脑不同的活跃部位,分为两部分,一部分是初级视觉皮层信号,另一部分是高级视觉皮层信号。这些信号会化为简单线性模型里的小点点,但想画出能看懂的图来,只靠它们是不行的。科学家们会用到热门的扩散模型Stable Diffusion。只要输入一段文字,就能自动产生符合描述的图画。结果发现,生成的图像和志愿者看到的实际图像很接近,他们大脑里产生的画面差不多就是这样子。「在我们这项研究之前,还没有哪个研究人员尝试用扩散模型来重构视觉图像。」Shinji Nishimoto颇为激动地告诉媒体。此项研究成果一出,那是不是意味着我们真的可以和自己的小狗小猫交流了?或者说,这项技术可不可以用来取证呢?将嫌疑人的想法扫描成图像,破案分分钟。几个小猴子频频能做出像人一样的行为作态,每一只甚至还有名有姓。小编晚上玩手机就这样。那吗喽在看什么好玩的东西呢?吗喽看到人类的爆炸头心里在蛐蛐什么呢?怎么被吓倒了?荷兰拉德布德大学的研究团队就在尝试重现猴子脑中的图像。论文地址:https://www.biorxiv.org/content/10.1101/2024.06.04.596589v1
他们赋予人工智能系统专注于特定大脑区域的能力,能够更好地从大脑记录中重建猴子正在观察的图像。第三行:人工智能系统在没有注意力机制的情况下重建的图像
现在,人工智能系统可以根据大脑活动的记录,非常准确地重建一个人正在看什么。当人工智能进一步学会关注大脑的哪些部分时,这些重建图像就会得到极大改善。荷兰拉德布德大学的Umut Güçlü表示,「据我所知,这些是最接近、最准确的重构。」Güçlü的团队是全球使用人工智能系统,通过大脑记录和扫描,来了解动物或人所看到的东西的团队之一。在之前的一项研究中,他的团队使用功能性核磁共振成像(IMRI)扫描仪记录了三个人在观看一系列照片时的大脑活动。在另一项研究中,研究小组利用植入电极阵列直接记录了一只猕猴在观看人工智能生成的图像时的大脑活动。Güçlü的同事、拉德布德大学的Thirza Dado说,这只猕猴没有被植入基因,因此我们无法重建它的感知,我们并没有在猴子身上进行手术。现在,研究小组利用改进后的人工智能系统重新分析了之前这些研究的数据,这个系统可以定位大脑中哪些部分最值得关注。「基本上,人工智能在解读大脑信号时,正在学习应该将注意力引向何处,」Güçlü说,「当然,这在某种程度上反映了大脑信号在环境中捕捉到了什么。」通过对大脑活动的直接记录,一些重建的图像现在非常接近猴看到的图像,而这些图像是由Style GAN-XL人工智能图像生成的。Thirza Dado说,与真实图像相比,准确重建人工智能生成的图像更容易,因为人工智能在学习重建图像的过程中,也会考虑到生成图像的过程。在使用注意力引导系统时,fMRI扫描结果也有明显改善,但重建图像的准确性稍有欠缺。Dado说,这部分是因为使用了真实照片,但从fMRI扫描中重建图像也要难得多。「它是无创的,但噪音非常大」。研究小组的最终目标是,通过刺激视觉系统中代表物体的高级部分,而不是简单地呈现光的模式,创造出更好的大脑植入物来重现视觉所见。例如,你可以直接刺激与「狗」这个概念相对应的部分,Güclǔ 说。「这样,我们就能创造出更丰富的视觉体验,更接近视力正常的人的视觉体验。」最近发表了大量利用AI再现动物所见的图像,这种 「读心术」的趋势似乎正在扩大,图像的质量也在提高。这是人工智能(即机器学习)应用越来越精确的必然结果。比如,显然可以这种AI可以为医学做出贡献,用在Neuralink的应用程序上,就可以更好地了解人脑。如果心灵感应和脑机接口结合,我们如果想写作是不是就不用动笔了?当然,事情也可能会往可怕的方向发展:如果思想不再自由,而是能够被猎人射杀,情况恐怕就不妙了。但还是有部分人表示欣慰:使用脑电波的计算机控制成真,这将是人机融合的最终目标。https://www.newscientist.com/article/2438107-mind-reading-ai-recreates-what-youre-looking-at-with-amazing-accuracy