勇往直前！新的风暴已经出现，ChatGPT+医学影像=顶刊新玩法？
今天就来和大家分享一篇由上海科技大学沈定刚教授团队完成，提交于今年2月14日，融合ChatGPT和医学图像计算机辅助诊断（CAD）模型从而提升X-ray影像报告生成模型诊断效果的文献。
思路与创新点
本文的核心idea就是如此的简单粗暴，在X-ray的CAD多任务学习模型和ChatGPT之间加个中间层（prompt text）。相比于目前SOTA的医学影像报告生成方法，ChatCAD模型的诊断性能得分（diagnosis performance score）提升了16.42%。
具体做法如Fig.1 所示。首先，将X-ray影像和患者主诉文本分别输入疾病分类网络（A），病灶分割网络（B），和报告生成网络（C）。显然，只有报告生成模型的文本可以被LLM理解，而由分类模型输出的向量和分割模型输出的Mask都是不能被理解的。
所以，作者这里将得到的向量和Mask转换为文本。随后输入LLM模型，基于此，LLM模型可以对影像报告生成模型的结果进行矫正。
本文的另一大卖点是可以发挥ChatGPT的本色，根据患者的患病情况对一些具体的问题进行回答。
如Fig.2所示，根据图像和生成的报告，患者可以询问适当的治疗方案（“What medicine should I take?“）。或者查询医学术语，（“airspace consolidation”）。或者根据患者的主诉（“I lost smell for more than a week, why?”），LLM可以解释为什么会出现这种症状。通过这种方式，患者可以更有效地更深入地了解他们的症状、诊断和治疗。可有效帮助患者降低临床专家的会诊成本。
“好啦，文章的主要思路就分享到这里。如果大家意犹未尽，鑫仔将会在下一期具体说说模型是如何训练以及本文的实验到底如何做（疯狂暗示），那我们下期见喽~~o(*￣▽￣*)ブ”
撰文丨鑫 仔
排版丨顶 顶
PubMed插件--EasyPubMed，一款你不能错过的神级插件
微信扫码关注该文公众号作者