国际科技财经博客移民网络热点娱乐民生时事公众号

>

AI读脑炸裂！扫描大脑画面，Stable Diffusion逼真复现图像

AI读脑炸裂！扫描大脑画面，Stable Diffusion逼真复现图像

公众号新闻

2023-03-06 04:03

新智元报道

编辑：编辑部

【新智元导读】近日，一项研究声称能够用Stable Diffusion将大脑活动重建为高分辨率、高精确度的图像。相关论文被CVPR 2023接收，引起网友哗然，AI读脑已经近在咫尺？

即便没有霍格沃茨的魔法，也能看到别人在想什么了！

方法很简单，基于Stable Diffusion便可视化大脑图像。

比如，你看到的小熊、飞机、火车是这样的。

当AI看到大脑信号后，生成的图像是下面的样子，可见该有的要点全有了。

这个AI读脑术刚刚被CVPR 2023接收，让圈友们瞬间「颅内高潮」。

太野了！忘了提示工程吧，现在你只需要用脑子去「想」那些画面就行了。

想象一下，用Stable Diffusion从fMRI数据中重建视觉图像，或许意味着未来可能发展为非入侵式的脑机接口。

让AI直接跳过人类语言，感知人类大脑中所思所想。

到时候，马斯克搞的Neuralink也要追赶这一AI天花板了。

无需微调，用AI直接复现你在想什么

那么，AI读脑究竟如何实现？

最新研究来自日本大阪大学的研究团队。

论文地址：https://sites.google.com/view/stablediffusion-with-brain/

大阪大学前沿生物科学研究生院和日本NICT的CiNet的研究人员基于潜在的扩散模型（LDM），更具体地说，通过Stable Diffusion从fMRI数据中重建视觉体验。

整个运作过程的框架也非常简单：1个图像编码器、1个图像解码器，还有1个语义解码器。

通过这样做，该团队消除了训练和微调复杂人工智能模型的需要。

所有需要训练的是简单的线性模型，将下部和上部视觉脑区的fMRI信号映射到单个Stable Diffusion成分。

具体来说，研究人员将大脑区域映射为图像和文本编码器的输入。下部脑区被映射到图像编码器，上部脑区被映射到文本编码器。如此一来可以这让该系统能够使用图像组成和语义内容进行重建。

首先是解码分析。研究中采用的LDM模型，由图像编码器ε、图像解码器D、文本编码器τ组成。

研究者分别从早期和高级视觉皮层的fMRI信号中解码出重建图像z以及相关文本c的潜在表征，将其作为输入，由自动编码器生成复现出的图像Xzc。

接着，研究者还建立了一个编码模型，对来自LDM不同组件的fMRI信号进行预测，从而探索LDM的内部运作机制。

研究人员使用来自自然场景数据集（NSD）的fMRI图像进行实验，并测试他们是否能使用Stable Diffusion来重建受试者看到的东西。

可以看到，编码模型与LDM相关潜像预测精度，最后一种模型在大脑后部视觉皮层产生的预测精确度是最高的。

对一个主体的视觉重建结果显示，只用z重建的图像在视觉上与原始图像一致，但不能捕捉到语义内容。

而只用c重建的图像具有较好的语义保真度，但视觉一致性较差，使用zc重建的图像则可以同时具备高语义保真度和高分辨率。

来自所有受试者对同一图像的重建结果显示，重建的效果在不同受试者之间是稳定且比较准确的。

而在具体细节方面的差异，可能来源于不同个体感知经验或者数据质量的不同，而非是重建过程有误。

最后，定量评估的结果被绘制成图表。

种种结果显示，研究中采用的方法不仅可以捕捉到低层次的视觉外观，而且还能捕捉到原始刺激物的高层次语义内容。

由此看来，实验表明图像和文本解码的结合提供了准确的重建。

研究人员表示，受试者之间在准确性方面存在差异，但这些差异与fMRI图像的质量相关。根据该团队的说法，重建的质量与目前SOTA的方法相当，但不需要训练其中用到的AI模型。

与此同时，该团队还利用从fMRI数据中得出的模型来研究Stable Diffusion的各个构建块，例如语义内容是如何在逆向扩散过程中产生的，或者在U-Net中发生什么过程。

在去噪过程的早期阶段，U-Net 的瓶颈层（橙色）产生最高的预测性能，随着去噪过程的进行，早期层（蓝色）进行对早期视觉皮层活动的预测，瓶颈层则转向高级视觉皮层。

这也就是说，在扩散过程刚开始时，图像信息压缩在瓶颈层中，伴随着去噪，U-Net层之间的分离出现在视觉皮层中。

此外，该团队正在对扩散不同阶段的图像转换进行定量解释。通过这种方式，研究人员旨在从生物学的角度为更好地理解扩散模型做出贡献，这些模型被广泛使用，但人们对它们的理解仍然很有限。

人脑画面，早被AI解码了？

多年来，研究人员一直在使用人工智能模型来解码来自人类大脑的信息。

大多数方法的核心，通过使用预先录制的fMRI图像作为文本或图像的生成性AI模型的输入。

例如，在2018年初，一组来自日本的研究人员展示了一个神经网络如何从fMRI录音中重建图像。

2019年，一个小组从猴子的神经元中重建了图像，Meta的研究小组在Jean-Remi King的领导下，发表了新的工作，例如从fMRI数据中得出文本。

2022年10月，德克萨斯大学奥斯汀分校的一个团队表明，GPT模型可以从fMRI扫描中推断出描述一个人在视频中看到的语义内容的文本。

2022年11月，新加坡国立大学、香港中文大学和斯坦福大学的研究人员使用了MinD-Vis扩散模型从fMRI扫描中重建图像，其准确性明显高于当时的可用方法。

再往前倒推的话，有网友指出了「根据脑电波生成图像至少从2008年开始就有了，以某种方式暗示着Stable Diffusion能够读懂人的思想，简直太荒谬了。」

这项由加利福尼亚大学伯克利分校发表在Nature的论文称，利用视觉解码器可以将人的脑电波活动转换成图像。

要说追溯历史，还有人直接拿出1999年，斯坦福李飞飞的一项关于从大脑皮层重建图像的研究。

李飞飞也动手点评转发，称自己那时还是一名大学实习生。

还有2011年，UC伯克利的一项研究使用功能磁共振成像（fMRI）和计算模型，初步重建了大脑的「动态视觉图像」。

也就是说，他们重现了人们看过的片段。

但是相比起最新研究，这项重建完全称不上「高清」，几乎无法辨认。

作者介绍

Yu Takagi

Yu Takagi是大阪大学的一名助理教授。他的研究兴趣是计算神经科学和人工智能的交叉领域。

在博士期间，他在ATR脑信息交流研究实验室研究使用功能性磁共振成像（fMRI）从全脑功能连接预测不同个体差异的技术。

最近，他在牛津大学的牛津人脑活动中心和东京大学的心理学系，利用机器学习技术了解复杂决策任务中的动态计算。

Shinji Nishimoto

Shinji Nishimoto是大阪大学的教授。他的研究方面是对大脑中视觉和认知处理的定量理解。

更具体地说，Nishimoto教授团队的研究重点是通过建立自然感知和认知条件下诱发的大脑活动的预测模型来理解神经处理和代表。

有网友问作者，这项研究能否用于解梦？

「将同样的技术应用于睡眠期间的大脑活动是可能的，但这种应用的准确性目前还不清楚。」

看过这项研究后：摄神取念术（Legilimency）妥妥的有了。

参考资料：

https://sites.google.com/view/stablediffusion-with-brain/

https://www.biorxiv.org/content/10.1101/2022.11.18.517004v2

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章

相关阅读

高中教师养出40亿美元超级独角兽，Stable Diffusion背后数据集创建者，还发布ChatGPT最大平替大脑视觉信号被Stable Diffusion复现图像！“人类的谋略和谎言不存在了” | CVPR2023 Stable Diffusion读你大脑信号就能重现图像，研究还被CVPR接收了 CVPR 2023 | GAN的反击！朱俊彦新作GigaGAN，出图速度秒杀Stable Diffusion FastTrack Universität 2023莱比锡大学公立语言项目招生简章安卓手机「跑」Stable Diffusion创新纪录，15秒内出图前TapTap高管黄希威发布Hayo AI应用，融合ChatGPT、Stable Diffusion 35张图，直观理解Stable Diffusion 爵士乐、放克钢琴曲，Stable Diffusion玩转跨界、实时生成音乐 GAN的反击：朱俊彦CVPR新作GigaGAN，出图速度秒杀Stable Diffusion 赛博仓颉，在线造字！Stable Diffusion：没人比我更懂汉字 AI画手会画手了！Stable Diffusion学会想象，卷趴人类提示工程师 Stable Diffusion团队放大招！新绘画模型直出AI海报，实现像素级图像生成逛圣诞集市 | 柏林平息画师怒火：Stable Diffusion学会在绘画中直接「擦除」侵权概念 AIGC教程：如何使用Stable Diffusion生成风格化游戏物品和图标加特技只需一句话or一张图，Stable Diffusion的公司把AIGC玩出了新花样 AIGC玩出新花样！Stable Diffusion公司提出基于扩散模型的视频合成新模型 AIGC教程：如何使用Stable Diffusion高效生产“等距游戏美术资源”？橡树岭的秘密 Transformer再胜Diffusion！谷歌发布新一代文本-图像生成模型Muse：生成效率提升十倍英伟达超快StyleGAN回归，比Stable Diffusion快30多倍，网友：GAN好像只剩下快了《人民》就是全世界受苦的人！Jay Alammar再发新作：超高质量图解Stable Diffusion，看完彻底搞懂「图像生成」原理 7 Papers & Radios | 推理速度比Stable Diffusion快2倍；视觉Transformer统一图像文本 Stable Diffusion被起诉！结果人类律师水平拉胯，网友：还不如ChatGPT帮他写五秒AI绘画出图，全球最快的Stable Diffusion终于来了！ [ 第364期 ]CVPR 2023 | GAN的反击！朱俊彦新作GigaGAN，出图速度秒杀Stable Diffusion！推理速度比Stable Diffusion快2倍，生成、修复图像谷歌一个模型搞定，实现新SOTA Stable Diffusion公司重磅开源大语言模型StableLM，又爆火了！大脑视觉信号被AI复现图像！CVPR最新研究！青春未散场仍是好时光疯狂烧钱、管理混乱、竞争激烈，Stable Diffusion 背后企业濒临倒闭三年来新冠主要症状的改变精通Stable Diffusion画图，理解LoRA、Dreambooth、Hypernetworks四大模型差异

热点事件追踪