TPAMI 2023 | 跨模态因果干预实现鲁棒可信的事件级问答推理
简介
论文标题:
Cross-Modal Causal Relational Reasoning for Event-Level Visual Question Answering
刘阳,李冠彬,林倞
https://arxiv.org/abs/2207.12647
https://github.com/HCPLab-SYSU/CMCIR
https://github.com/HCPLab-SYSU/Causal-VLReasoning
▲ 图2:示例:为何缺乏因果推理的跨模态问答推理模型会学习到浅层关联?(a)训练集中包含视觉和语言偏误, person和motorbike两个概念出现频次很高,(b)结构因果图模型(structured causal model)展示了混淆因子(confounders)是如何给事件级问答推理任务带来浅层关联(spurious correlation)的,绿色路径表示了无偏误的问答推理过程(包含真正的因果关系),红色路径表示混淆因子导致的有偏误问答推理过程,(c)当在测试集给一些 vehicle 和 accident 高度相关的样本时,模型可能不会利用真正的问题语义和显著的视觉线索来推理出正确答案。
图灵奖得主 Judea Pearl 提出因果学习的三个层次(即关联,干预和反事实),并指出现有基于深度学习的大数据模型倾向于基于关联性去刻画数据背后的信息,学到的只是低层次的关联关系,这种建模方式难以得到数据背后的因果关系,其可解释性和鲁棒性在复杂应用场景下无法得到保证。
因此,本工作关注的重点是:1)如何设计有效的跨模态因果干预方法,对视觉和语言样本的共通推理路径进行聚类、归纳,来缩小视觉和语言模态的数据偏误?2)如何设计事件级因果发现方法,在时空层面挖掘复杂事件的潜在因果逻辑链条和关系变量,并建立基于多层因果推理结构的跨模态因果关系?
▲ 图3:所提出的视觉-语言因果干预的因果结构图。绿色路径表示无偏的视觉问答,即真实的因果效应。红色路径显示由混淆因子引起的有偏视觉问答,也被称为后门路径。图的底部部分通过视觉-语言因果干预对一个真实的VideoQA样本进行直观解释。
▲ 图5. 时空Transformer模块示意图(图(a)),和多模态Transformer模块(图(b))
▲ 图6. 基于跨模态因果关系推理的事件级视觉问答框架
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:[email protected]
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
微信扫码关注该文公众号作者