NUS、NTU团队发布医疗大模型综述，全面介绍大模型在医疗领域的最新研究进展

科技

2023-10-19 05:10

©PaperWeekly 原创 · 作者 | 和凯

单位 | NUS博后

研究方向 | NLP

论文地址：

A Survey of Large Language Models for Healthcare: from Data, Technology, and Applications to Accountability and Ethics

论文地址：

https://arxiv.org/abs/2310.05694

综述简介

近日，新加坡国立大学 Dr. Mengling Feng 与南洋理工大学 Prof. Erik Cambria（IEEE Fellow）联合团队发布了最新的医疗大模型综述文章，全文共 43 页，覆盖 300 余篇参考文献，从计算机研究员与医疗专业人员的两个视角，全面的介绍了大模型在医疗领域的最新研究进展。

文章不仅从技术角度（包括数据、技术、应用）出发，同时还包含了公平性、问责制、透明度和道德伦理的讨论。文章指出了现阶段医疗人工智能正在经历从传统 Pretrained Language Model（PLM）到 Large Language Model（LLM）的重大范式转变，同时强调了数据为中心的方法论的重要性。

▲ Fig.2. The organizational framework for the content. Section III, Section IV, Section V are technology details, while Section II, Section VI and Section VI are more valued for Healthcare professionals.

大模型在医疗领域的应用

将 PLM 或 LLM 应用于医疗保健领域的研究已经持续了一段时间。由于医学领域本身的复杂性和模型能力的局限性，在早期阶段，相关研究主要集中在基本任务上，包括医学命名实体识别（NER）、关系提取（RE）、文本分类（TC）和语义文本相似性（STS）。

最近，有研究提出了通用人工智能（AGI）概念，并且在包含医疗的多个领域得到了更多的实际应用。例如，一些在线医疗咨询系统可以为患者解答专业医疗问题，并充当医院的向导。此外，一些研究人员还探索了多模态医疗报告的自动生成。医疗领域 LLMs 的整体应用框架如下图所示。

▲ Fig.3. LLMs for Healthcare: from fundamental task to advanced applications.

从医疗PLM到LLM的转变：数据、技术，应用，评价

除了模型规模不断扩大之外，从 PLMs 到 LLMs 的两个重要发展是从判别式人工智能过渡到生成式人工智能，以及从以模型为中心的方法过渡到以数据为中心的方法。

在 PLMs 时期，已发布的 PLMs 主要针对自然语言理解（NLU）任务进行评估，如提到的 NER、RE 和 TC。这些研究被归类为判别型人工智能，主要集中于分类或回归任务，而非生成任务。相比之下，生成式人工智能生成新内容，通常要求模型在生成新内容之前理解现有数据（如文本指令）。生成式人工智能的评估任务通常是质量保证和对话任务。对话能力是生成式人工智能最重要的能力之一，而大模型可以将 PLM 时代多模块的对话系统整合为一个整体，大大提升了对话的性能表现。

▲ Fig.4. The comparison between PLMs-based with LLMs-based dialogue system.

随着通用 LLM 研究的发展，医疗领域的 LLM 也随之引起来更多的关注。与以往 PLM 研究中强调的神经架构设计、预训练任务和训练策略不同，针对医疗领域的 LLM 研究更加强调收集多样化、精确和专业的医疗数据，以及数据的安全和隐私保护。此综述不仅总结了已有的医疗 LLM（见表 Ⅲ），统计分析了训练这些大模型数据使用情况与需要的计算资源（见表 Ⅶ 与表 Ⅷ）, 并介绍的如何在医疗领域评价 LLM。

医疗大模型的公平性、问责制、透明度和道德伦理

公平、问责、透明和道德是人工智能领域的四个重要关切，在确保人工智能不会延续或加剧既有的社会差距方面具有至关重要的意义。其中，问责制在确保负责人工智能构想和执行的个人能够对其决策负责方面发挥着重要作用；透明度在确保人工智能接受监督和审计可能存在的偏见或不准确性方面起着至关重要的作用；同样，道德伦理在确保人工智能的构建和使用方式符合现行社会价值观和规范方面起着关键作用。

在医疗领域，这四个方面更为重要，因为首要关注点是患者的福祉和安全。在这种情况下，最重要的是确保病人获得最佳护理，公平地获得医疗服务。此外，医疗保健决策的透明性和可信性、提供准确医疗诊断和治疗的责任感、保护患者隐私以及遵守较高的道德标准也是非常值得注意的考虑因素，这使得医疗保健有别于其他领域的人工智能应用。综述从上述四个角度，展开了详细的论述。