Relate Anything来了！帮你搞定一切关系！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【图像分割和多模态】微信技术交流群

本月初，Meta推出的一款可以【分割一切】的模型已经引起了广泛的关注。今天，我们很荣幸向大家介绍一款名为“Relate-Anything-Model（RAM）”的机器学习模型。它赋予了Segment Anything Model（SAM）识别不同视觉概念之间的各种视觉关系的能力。该模型由南洋理工大学MMLab团队和伦敦国王学院和同济大学的VisCom实验室的同学利用闲暇时间合作开发。

演示程序链接：

https://huggingface.co/spaces/mmlab-ntu/relate-anything-model

代码链接（已开源）：

https://github.com/Luodian/RelateAnything

数据集链接：

https://github.com/Jingkang50/OpenPSG

RAM模型基于ECCV'22 SenseHuman Workshop & 国际算法算例大赛“Panoptic Scene Graph Generation”赛道冠军方案（https://arxiv.org/abs/2302.02651）。RAM模型大致设计思路是：我们使用Segment Anything Model（SAM）来识别和分割图像中的物体，并提取每个分割物体的特征。我们使用Transformer模块来使分割物体之间产生交互作用，从而得到新的特征，计算它们的配对关系并分类它们的相互关系。

我们使用PSG数据集来训练我们的模型。对于每个训练图像，SAM会分割多个物体，但只有少数与PSG的ground truth（GT）mask相匹配。我们根据它们的交集-并集（IOU）分数进行简单的匹配，以便（几乎）每个GT mask都被分配到一个SAM mask中。然后，我们根据SAM的mask重新生成关系图。最后，我们使用交叉熵损失来训练我们的模型。方案图如下图所示：

让我们来看一些“Relate-Anything-Model（RAM）”的应用实例吧！我们展示了一些关于踢足球、跳舞和交朋友的RAM模型实现的图像分析结果，这些结果让人印象深刻，展示了我们模型的出色性能和多样化应用的潜力。

如果您想了解更多关于“Relate-Anything-Model（RAM）”的信息，您可以访问我们的Huggingface演示页面和数据集页面。我们希望RAM模型能够为您带来更多的启发和创新，也期待着您的反馈和建议。如果你也想训练会找关系的机器学习模型，请关注我们的工作，让我们一起探索这个神奇的机器学习世界吧！

https://github.com/Jingkang50/OpenPSG

点击进入—>【图像分割和多模态】微信技术交流群

最新CVPR 2023论文和代码下载

后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集
后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

图像分割和多模态交流群成立

扫描下方二维码，或者添加微信：CVer333，即可添加CVer小助手微信，便可申请加入CVer-图像分割或者多模态 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。

一定要备注：研究方向+地点+学校/公司+昵称（如图像分割或多模态+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer333，进交流群

CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉，已汇集数千人！

▲扫码进星球

▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看