眨眼就能照相？哈佛从神经信号提取出图像，成果登Nature！
点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
克雷西 发自 凹非寺
转载自：量子位（QbitAI）
将肉眼直接用来“照相”，也许将成为可能……
哈佛团队推出的新模型能够分析神经信号，甚至从视觉皮层中直接提取影像。
相比于传统神经解析工具，这项成果大大提高了识别效率和连续性。
Nature的编辑也评价它“十分优雅”：
这款模型名叫CEBRA（发音同zebra），是将对比式学习与非线性独立分析相结合的产物。
一名团队成员表示，这个名字十分贴切，因为CEBRA可以把信息“条纹化”，就像斑马一样。
在小鼠身上进行的实验中，CEBRA视频解析的准确率超过了95%。
团队还发现，CEBRA在跨越大鼠和小鼠两个物种时的表现具有一致性。
所以可以展望CEBRA在其他物种上的应用，说不定人眼摄像机也会成为可能。
论文通讯作者也表示，未来的目标是将CEBRA集成到脑机接口中：
本质上，CEBRA是一个神经信号解析模型。
所以它的技能不只有图像获取，只要和神经信号有关的事情，它都能做。
比如根据神经活动来预测肢体的运动行为。
还可以根据神经信号判断肢体活动是主动还是被动做出。
对比式非线性学习
行为或神经数据的降维压缩一直是神经信号识别中不可缺少的一环。
研究团队将对比式学习引入非线性独立成分分析模型，提出了新的框架。
对比式学习是一种强大的自驱动学习方式，使用呈现对比关系的样本进行训练，以发现数据间的共性与个性。
用CEBRA的模型训练神经网络，可以得到一种编码器。
这种编码器则可以生成由动作或时间调控的低维嵌入空间。
具体而言，是通过将离散或连续的变量与时间相结合使数据对得到分布，然后再交由编码器处理。
CEBRA获取神经活动嵌入时同时使用用户定义（监督驱动、假设式）和只带有时间（自驱动、发现式）的标签。
这一过程中，CEBRA将行为及时间标签与神经信号一并优化，映射到低维嵌入空间。
根据数据集大小的不同，优化计算可以采用批量计算、随机梯度下降等不同方式。
优化后得到的低维嵌入既可以用于数据可视化，也可以在解码等下游工作中使用。
相比于传统的非线性降维方式，对比式训练无需生成模型，适用广泛性更强。
鲁棒性与实用性兼具
在事实信息重构的测试中，CEBRA的表现显著优于pi-VAE。
然后，团队又使用了一个海马数据集进行测试，该数据集被用来作为神经嵌入算法的基准。
在这一轮测试中，团队赋予了pi-VAE卷积网络加持，但最终结果仍是CEBRA更胜一筹。
鲁棒性方面，团队使用了代数拓扑学方法进行测试。
将CEBRA生成的低维嵌入投影到球面，团队发现了一个环形拓扑结构。
通过计算Eilenberg-MacLane坐标发现，CEBRA的环形拓扑结构与（真实）空间跨维度匹配。
至于跨个体甚至物种的表现，团队在训练时就使用了包含多种动物的数据集。
测试结果也表明，CEBRA生成的结果具有很高的个体间和种间一致性。
与完全在未见过的个体上进行训练相比，CEBRA的结果错误更少、效率也更高。
实际应用中，团队在小鼠身上进行了实验。
他们让小鼠反复观看几段视频，并与小鼠视觉皮层的信号一并作为训练数据。
另有一些视频则用作测试数据，结果显示，CEBRA视频解析的准确率超过了95%，远高于其他模型。
论文地址：
https://www.nature.com/articles/s41586-023-06031-6
项目主页：
https://github.com/AdaptiveMotorControlLab/CEBRA
最新CVPR 2023论文和代码下载
后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集
后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF
目标检测和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer333，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer333，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉，已汇集数千人！
▲扫码进星球
▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看
微信扫码关注该文公众号作者