​TPAMI 2022 | 跨特征图注意机制的小物体语义分割技术

斯坦福大学 Shengtian Sang 等人提出了一种利用跨特征图注意力机制的方法提高现有语义分割模型的性能，实验表明该方法在仅增加基础模型 0.1% 参数的情况下可以提高现有语义分割模型 2%-5% 的性能，该方法对于语义分割研究领域有重要的意义。

论文标题：

Small-Object Sensitive Segmentation Using Across Feature Map Attention

https://ieeexplore.ieee.org/document/9906428

由于卷积和池化操作导致的信息损失，目前基于卷积神经网络的方法对于小/薄物体的分割仍然具有挑战性。该文提出了一种交叉特征图注意力（AFMA）的方法来解决这一问题。它通过利用原始图像的不同层级特征来量化属于同一类别的小物体和大物体之间的内在关系，AFMA 可以弥补小物体的深层特征信息损失并提高模型对小物体分割的性能。该方法可以广泛的用于现有分割模型架构，并能产生比现有方法更多的可解释的特征表示。

3. 文中提出的方法可以应用到大部分现有分割模型，在只增加少于 1% 的参数的情况下提高模型 2%-5% 的性能。

本文方法

文中提出的交叉特征图注意力是一个类似于“插件”的方法，它可以应用到大部分现有的分割模型。论文首先展示了 AFMA 结合分割模型的示意图，如图 1a 所示，该方法插入到分模型的编码部分，其输出作用于模型的解码输出。图 1b-i 给出了 AFMA 作用于不同语义分割模型的示意图。

方法部分（b）：通过 AFMA 计算模型原始输出可能包含的小物体信息。

step 8：计算 AFMA 和“压缩结果”的点积，该结果表示原始输出可能包含的小物体信息。

实验结果

本文提出了一种提高语义分割模型对于小物体分割性能的方法，该方法通过计算输入数据的图像层和特征层之间的关系来提高模型对小物体的敏感性。更重要的是该方法是一个适用于大部分现有分割模型的通用方法，它在仅增加 0.1% 参数的情况下可以提高模型对于小物体分割的性能，因此该方法对于语义分割领域有重要的意义。

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[email protected] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧