最新综述！预训练大模型用于医疗健康领域的全面调研

公众号新闻

2023-10-05 16:10

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达
点击进入—>【医疗影像和Transformer】交流群

在CVer微信公众号后台回复：医疗健康大模型，可以下载本论文pdf，学起来！

IEEE J-BHI预训练大模型用于医疗健康领域最新综述

论文题目：

Large AI Models in Health Informatics: Applications, Challenges, and the Future

论文链接：

https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=10261199

项目主页：

https://github.com/Jianing-Qiu/Awesome-Healthcare-Foundation-Models

本文对近期医疗健康领域中的大型人工智能模型进行了全面回顾，涵盖了大模型的背景和它们在健康信息学各个领域的应用和机遇。文章还着重讨论了在医疗健康环境中开发和部署大型人工智能模型所面临的挑战，并提供了建立可信大模型的开发建议。

近年来, 人工智能大模型快速发展, 它们的参数量和所用于预训练的数据量已达到几百上千亿级别。经预训练后, 这些大模型在各种下游任务中展现出强大的通才和泛化能力。ChatGPT就是一个典型例子, 它所展现出来的能力令人对大模型可以为医疗健康领域所带来的转变和机遇充满憧憬。在深度学习时代, 生物医学和健康领域的研究者们已经意识到数据的重要性，在过去10年，多模态医疗健康数据规模持续扩大, 这为大模型在健康相关领域中的开发，验证，和新的突破奠定了基础。

本文首先回顾了大型人工智能模型的背景。根据预训练数据的模态类别，文章将大模型归纳为三类：1）大语言模型Large Language Model (LLM)；2）大视觉模型Large Vision Model (LVM)；3）大多模态模型Large Multi-modal Model (LMM)。并总结了大模型的四个主要特征。

图1 大型人工智能模型的关键特征: 1) 参数量规模庞大，例如对于大语言模型 (LLM)，它们的参数量通常可达几百上千亿甚至更多) ; 2) 训练数据规模庞大，例如对于大视觉模型 (LVM)，它们使用的训练数据量可能包含数十亿的图像 ; 3) 能够处理多模态信息; 4) 可以适应到不同下游任务，在各任务中展现优异泛化能力，比如在zero-shot, one-shot, few-shot任务中。

文章随后梳理讨论了大模型可能带去重大影响的7个医疗健康细分领域, 包括1) 生物信息学; 2) 医疗诊断; 3) 医学成像和视觉; 4) 医疗信息学; 5) 医学教育; 6) 公共卫生和7) 医疗机器人。同时整理了上述7个领域内典型的大模型和以往专才模型在模型大小和特定任务上的性能比较。

图2 大模型和以往专才模型在参数量和在不同任务上的性能比较。

文章也详细列出了生物医学和健康信息学中的大规模数据集，总结了现有主流数据集的规模，模态，对应任务和是否开源等关键信息。

图3. 生物医学和健康信息学中的大规模数据集

从目前来看，虽然大型人工智能模型呈现出了非常可观的应用前景，它们的发展和在生物医学，临床，医疗等领域的运用还存在着诸多挑战和潜在风险。文章也从数据，算法，可信度，隐私性，公平性，透明度，可解释性，可持续性，规范等方面展开了讨论。

图4. 人工智能大模型在健康信息学中的未来发展方向

对于大模型在医疗健康领域中的未来方向，文章的讨论主要集中在性能和责任两方面。从性能方面来看，文章建议，第一应该为健康信息学发展更好性能的人工智能大模型，比如，可以扩大模型和数据集的规模，进行多模态，多任务的预训练；第二，可以挖掘已有大型人工智能模型的潜力，比如通过prompt engineering, fine-tuning, linear probing等，来进一步探索它们尚未被人们知悉的能力，这些能力如果已经被大模型掌握，仅仅是人们暂时未知，那挖掘它们可以为健康领域提供一种几乎cost-free的解决方案。

除此之外，负责任的人工智能大模型对社会至关重要。文章提出开发和部署互补策略，以应对大模型在可靠性、公平性、透明度等方面的挑战。开发策略侧重于学习负责任的大模型，而部署策略则强调负责任地使用大模型。

最后文章指出, 人工智能社区正在发生范式转变, 这种范式也正逐步影响生物医学和健康领域中人工智能模型的发展。新范式的目标是在大规模的（多模态）数据集上学习一个通用的基础模型, 涵盖各种数据分布和学习任务。不同任务之间乃至不同数据模态之间的界限正在被打破。随着通用智能和更多未知能力被挖掘和实现, 相信大型人工智能模型将在未来更好协助而不是取代医疗专业人员和从业者。人机协作将无处不在。大型人工智能模型的发展将需要各领域专家之间更紧密的合作, 以及逐步建立和完善相应的大模型监管机制。

在CVer微信公众号后台回复：医疗健康大模型，可以下载本论文pdf，学起来！

点击进入—>【医学图像和Transformer】交流群

ICCV / CVPR 2023论文和代码下载

后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集

后台回复：ICCV2023，即可下载ICCV 2023论文和代码开源的论文合集

医学图像和Transformer交流群成立

扫描下方二维码，或者添加微信：CVer333，即可添加CVer小助手微信，便可申请加入CVer-医学图像或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。

一定要备注：研究方向+地点+学校/公司+昵称（如医学图像或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群