Redian新闻
>
AAAI 2024 | 武大提出神经元分类全新框架,联合学习神经元骨架与大脑回路拓扑结构

AAAI 2024 | 武大提出神经元分类全新框架,联合学习神经元骨架与大脑回路拓扑结构

科学



论文标题:

Joint Learning Neuronal Skeleton and Brain Circuit Topology with Permutation Invariant Encoders for Neuron Classification

论文作者:

廖明辉(武汉大学),万国佳(武汉大学),杜博(武汉大学)

论文录用:

AAAI 2024 Main Technical Track

论文链接:

https://arxiv.org/abs/2312.14518

代码及数据链接:

https://github.com/WHUminghui/NeuNet



引言

确定神经系统中神经元类型在大脑连接组学分析和神经系统疾病研究中扮演重要角色。然而,利用神经元的解剖、生理或分子特征的方法却效率相对较低且成本高昂。随着电子显微镜成像技术和大脑组织分析技术的进步,目前能够获得包含神经元高分辨率形态学和连接信息的全脑连接组数据。

然而,基于此类数据构建的用于自动神经元表征学习的模型却寥寥无几。在本文中,我们提出了一种名为 NeuNet 的框架,该框架结合了从神经元骨架获得的形态学信息和从连接组中获得的神经元间拓扑信息。

具体而言,NeuNet 由三个组成部分构成,即骨架编码器(Skeleton Encoder)、连接组编码器(Connectome Encoder)和读出层(Readout Layer)。Skeleton Encoder 采用一维卷积处理神经骨架的点数据,以自底而上的方式整合神经元的局部信息从而得到神经元的全局信息;Connectome Encoder 使用图神经网络(GNN)捕获连接组中的拓扑信息;最后,读出层融合上述两种信息并输出分类结果。

从来自果蝇大脑和人类大脑组织切片的神经数据中,我们处理并发布了两个新的神经元回路数据集,用于神经元分类任务。在这两个数据集上的实验表明了我们模型 NeuNet 的有效性,准确率分别为 0.9169 和 0.9363。



方法

NeuNet 主要由三个部分组成,即 Skeleton Encoder,Connectome Encoder 和 Readout Layer 层。Skeleton Encoder 用于学习脑神经元的形态学特征,Connectome Encoder 挖掘神经元在连接组当中的拓扑信息,而 Readout Layer 则对以上两种信息进行整合,输出神经元的综合学习表示

2.1 Skeleton Encoder

脑组织的电子显微镜照片上可以清晰的分辨出神经元细胞的轮廓,对其进行采样,并经过多张空间连续切片的电子显微镜照片叠加可以得到神经元在三维空间的形态信息。这种信息是由多个三维空间点的坐标构成,面对这种无序的点集数据,我们提出了基于一维卷积的自底向上的骨架信息编码器。该编码器主要由以下几个步骤实现。

1)采样。受 CNN 的启发,目标是构建用于神经元骨架点集数据的不同区域的局部特征提取器。首先,必须确定这个特征提取器要与哪些区域进行交互。给定输入 我们使用最远点采样法(FPS)来选择一个点子 为这些区域的质心。这一选择确保了采样点之间的距离最远。相对于随机抽样,FPS 可以提供更广泛的覆盖范围,这有助于从输入点获取全局形态信息。
2)组合。随后的任务涉及在中心点周围分别划定这些区域的范围。对于抽样选取的一个给定的点 和点 我们以 为质心,在 中分别找到与质心最相邻的点 ,形成 个群。考虑到 中点的密度和分布不均匀,为了保证区域尺度固定,我们查找在质点半径范围内的 个点。组合的输入是一个大小为 的点集,输出是大小为 的点集组,其中每组对应一个局部区域, 是质心点的邻域内的点数。
3)卷积操作。对于组合操作生成的点集组,它们保留了固有的无序性。为了在不考虑输入点顺序的情况下从组点中提取一致的特征,我们采用一维卷积来获取组内的局部形态特征。在获得一维卷积操作之后提取到的特征之后,经过 maxpooling 获得组内的局部特征向量,作为中心点新的特征。
重复以上操作直至最终全局的形态特征被提取。
2.2 Connectome Encoder

连接组(Connectome)由神经元细胞和神经突触组成。神经元之间通过神经突触建立连接进行信息交互,由此连接组可以视为以神经元为节点、神经突触为连接边的图结构,两个神经元之间的神经突触的数量可以视为连接边的强度。相似的神经元在连接组的位置往往具有相似的上下文信息,我们采用了 GNN 来挖掘神经元在连接组中的拓扑学特征。
连接组中神经元的连接非常复杂,为了挖掘到与神经元远距离连接的上下文拓扑信息,需要进行多层的 GNN 操作。为了避免 GNN 多层堆彻而产生的 over-smoothing 问题,我们使用了携带有恒等映射和初始残差连接的图神经网络模型 GCNII,其向前传播公式如下:
归一化的连接矩阵,连接矩阵加上自连 度矩阵, 机初始化的节点特征 可学习参数矩阵。
2.3 Readout Layer
将以上神经元的形态学特征和拓扑学特征拼接起来,再接一个多层感知机(MLP)结构,输出最终神经元的特征。文中的损失函数采用经典的交叉熵损失:


实验

我们整理并使用了两个数据集来验证模型的效果,这两个数据集是分别来自于果蝇大脑的 HemiBrain 和人脑组织的 H01。
3.1 神经元分类任务

由上表可以观察到 NeuNet 取得了 SOTA 的神经元分类效果。
3.2 特征可视化
使用 t-SNE 将 Readout Layer 融合的特征降维到二维,与其他的方法进行可视化对比:

可以观察到 NeuNet 将神经元数据投射到一个更易于分类的隐向量,这在其他方法上是无法观察到的。这表明它有更准确的神经元表示学习能力。
3.3 神经元检索
收集到 NeuNet 学习的特征表示之后计算它们之间的欧式距离,随机选取一些神经元进行检索实验。实验结果如图所示:

可以观察到我们模型学习的特征是连续分布的,相似的神经元它的特征表示也更相似,它们往往组成大脑的功能区域单位。
3.4 消融实验
消融实验评估了神经元的形态学特征、在连接组中的拓扑学特征和两者融合的方式对模型的影响。实验证明两种特征的有效性。



结论

本文提出了一种专门用于神经元分类任务的 NeuNet 框架,该框架融合了神经元骨架的形态学信息和具有置换不变性的连接组拓扑信息。NeuNet 的 Skeleton Encoder 采用自下而上的方式挖掘神经元 sekleton 的形态信息,而 NeuNet 的 Connectome Encoder 采用 GNN 提取脑回路的拓扑信息。这两种信息被融合并被读出层用于分类。

此外,我们对两个数据集进行了再处理和释放,用于神经元分类任务。在这些数据集中,NeuNet 与其他基线模型相比表现出了更好的性能。

我们还整理并公布了上述提到的两个神经元回路数据集。

更多阅读



#投 稿 通 道#

 让你的文字被更多人看到 



如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。


总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 


PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。


📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算


📬 投稿通道:

• 投稿邮箱:[email protected] 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿


△长按添加PaperWeekly小编



🔍


现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧


·
·

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
把ChatGPT塞进副驾驶!清华、中科院、MIT联合提出Co-Pilot人机交互框架:完美把控乘客意图年底美股行情----先把血窟窿堵上《幺妹与市场街》(3)用透这个学习神器后,意外看懂海淀妈妈的鸡娃思路小红书推出新框架:负样本也能提升大模型的推理能力一个月了,加沙死亡数已过万!以色列部长:向加沙投核弹是“选项之一”!遇难人数创纪录,联合国多机构联合发声:“令人愤怒”!AAAI 2024 | 中科院信工所提出结构化概率编码框架,有效增强预训练语言模型泛化能力​ICML 2023 | 港大提出创新时空图预训练架构,助力智慧城市多维任务学习把ChatGPT塞进副驾驶!清华、中科院、MIT联合提出Co-Pilot人机交互框架浙大发布Agent学习框架,13B 模型达到 ChatGPT 水平!刚刚,联合国官宣ESG全新证书,点名给留学生无门槛拿斯坦福提出对比偏好学习:无需强化学习即可从人类反馈中学习图领域首个通用框架来了!入选ICLR'24 Spotlight,任意数据集、分类问题都可搞定|来自华盛顿大学&北大&京东西江月.游松花江扩散模型更懂复杂提示词!Pika北大斯坦福开源新框架,利用LLM提升理解力“幼崽的脑回路能有多奇怪??”哈哈哈不可爱算我输!!趣图:第一次使用新框架取代 Vue 和 React?新框架 Nue JS,能将代码量减少 10 倍!美国同城分类上线了!us58.com海外华人生活分类信息来了ICLR 2024 | 图领域首个通用框架!任意数据集、分类问题都可搞定!华盛顿大学&北大&京东出品2024 rav4 油车 le四驱3-15岁少儿法语学习神器来啦!Storyplay'r沉浸式法语在线有声图书馆瑞鹤仙.黄山松百度网盘变了!进化成学习神器:音视频转文稿、加字幕,还能一键生成PPT!视频场景图生成任务新SOTA!中山大学提出全新时空知识嵌入框架,登顶刊TIP'24小红书搜索团队提出全新框架:验证负样本对大模型蒸馏的价值“小紫书”,海淀妈妈圈的学习神器轻奢品质小团 黄石公园6日游:盐湖城接送+黄石湖自驾小艇+大提顿国家公园漂流+大提顿山缆车 5/22-9/11隔周三出发 YA6生物神经元高效算法加速大脑仿真,智源联合成果登上Nature Communications【美坛综艺秀假日篇】Best wishes for 2024!哈仙达拉朋地联合学区投票决定关闭4所学校第十七章 中国和现代文明 (引言)New Year's fireworks 2024 LIVE: NYC's Times Square ball dropAAAI 2024 | 小红书搜索团队提出全新框架:验证负样本对大模型蒸馏的价值旧金山联合学区员工取消罢工Nature Neuroscience | 首次发现!西湖大学贾洁敏团队揭示神经元调控大脑血流新路径希拉里Strong start 2024浙大提出KnowPAT框架:大模型的知识偏好对齐与垂域应用清华叉院提出「GenH2R」框架,用百万场景打造基于视觉的通用人机交接策略
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。