达摩院「悬壶」，顶尖实验室带你领略医疗AI「圣手」

医学图像的重要性不言而喻。它能够反映人体内部结构，是现代医疗诊断的重要依据之一。医学图像数据质量高、体量大、标准统一，这使 AI 能在其中发挥重要作用，并且目前发展较为顺利，正在走向成熟。

利用图像处理技术对图像进行分析和处理，能够实现对人体器官、软组织和病变体的位置检测、分割提取、三维重建和三维显示，以此对特定区域进行定性或定量分析，大大提高临床诊断的效率与准确性。不仅如此，医学图像还能够在医疗教学、手术规划等方面有着关键作用。

得益于不断提高的计算能力以及持续增长的可用数据，深度学习模型机器算法不断改进。它能够在高维数据中发现复杂结构，这使它在计算机视觉领域中取得了巨大的成功，同样，当它应用在医学图像领域后也产生了惊人的效果。

医学图像的任务主要分为三类，分类与识别、定位与检测以及分割任务。这三类任务已广泛应用于良恶性肿瘤、脑功能与精神障碍、心脑血管疾病等重大疾病的临床辅助筛查、诊断、分级、治疗决策与引导、疗效评估等方面。

但是医学图像处理同样面临着很多挑战。如人体的 3D 图像处理、无监督方案的更优表现等等。这都需要不断发展技术，并结合实际使用情况来进行优化和调整。

阿里巴巴达摩院（Alibaba DAMO Academy for Discovery, Adventure, Momentum and Outlook）是一家致力于探索科技未知，以人类愿景为驱动力的，立足于基础科学、创新性技术和应用技术的研究院。其中，达摩院医疗 AI 团队正在研发精准癌症诊疗 AI 影像系统，包括规模筛查、精准诊断、预后治疗、响应评估等全流程的癌症诊疗技术，覆盖多个重要病种。

该团队长期致力于医学图像等方向研究，并在领域内已经取得一些成果。他们曾获得 LUNA16 世界肺结节大赛总冠军，并第一个把肺部综合疾病集中筛查落地于中国最大的体检机构，全国首款骨科智能读片产品 - 膝关节炎严重程度分级也落地线上骨科医联体和线下国家试点医院。

机器之心机动组「走进全球顶尖实验室」系列直播特别邀请到阿里达摩院医疗 AI 团队分享他们在医学图像等方向的研究进程。

8月15日

19:05—19:25 

CT 图像中八大癌检测、分割、诊断统一模型 (ICCV 2023)

分享嘉宾：陈杰能，博士在读，阿里巴巴达摩院医疗 AI 实验室算法实习生，约翰霍普金斯大学计算机科学系博士生，主要研究方向为计算机视觉、医疗图像分析。

摘要：在医疗影像阅片的临床实践中，放射科医生通常会对全身多器官进行多疾病的检测和诊断，而当前多数医疗 AI 系统都只专注于单一器官中的少数疾病，这可能会严重限制 AI 的临床应用。我们提出 CancerUniT，一种多癌图像分析统一模型。该模型以 Mask Transformer 语义分割为基础，将肿瘤表示为 Transformer 中的语义 Query，并为不同器官中肿瘤及其子类型建立语义层次结构，能同时解决 CT 图像中多种肿瘤（及其子类型）的检测、分割，和诊断任务。CancerUniT 在一系列临床相关任务评估上表现出高性能。

19:25—19:45 

真实世界医疗图像中的分布外（OOD）检测和定位 (CVPR 2023 highlight)

分享嘉宾：袁铭泽，阿里巴巴达摩院医疗 AI 实验室算法实习生，北京大学大数据中心硕士生，主要研究方向为基于机器学习的医疗影像疾病筛查及分布外泛化。

摘要：现实世界的医学图像分割具有巨大的长尾分布复杂性，其中这些尾部类型的数据与罕见疾 病相关并且具有临床意义。一个值得信赖的医学 AI 算法应该证明其在尾部条件下的有效性，以避免在分布外 (OOD) 数据上产生临床应用上的风险。在本文中，我们利用 Mask Transformers 中 Query 的概念，将语义分割定义为软聚类匹配， Query 在训练过程中代表分布内数据的特征级聚类中心。在这种模式下，我们的模型将具有天然的的以聚类为基础的 OOD 检测能力。我们提出的框架在两个真实世界的分割任务上进行了测试，即胰腺和肝脏肿瘤的分割，在分布内的多种肿瘤和 OOD 定位（罕见肿瘤）上都平均明显优于以前最先进的算法。

19:45—20:05

面向 CT 图像中 143 个全身器官的统一且无遗忘的连续分割框架 (ICCV 2023)

分享嘉宾：郭大洲，博士，阿里巴巴达摩院医疗 AI 实验室算法专家，主要研究方向为基于计算机视觉、机器学习的肿瘤精准放疗以及医疗图像应用。

摘要：当增量添加新的分割类时，当前的深度分割方法无法高效且有效地更新训练的模型。我们提出了一种新的持续分割框架来学习单个深度分割模型，用于分割总共 143 个全身器官。使用固定预训练的编码器与增量添加的解码器相结合的方式可以提取足够有代表性的图像特征的同时有效地分割新类，且完全避免持续学习中的灾难性遗忘。为了保持模型的复杂性，我们使用网络结构搜索和知识蒸馏来逐步修剪每个解码器。本次报告将具体介绍上述方法以及临床应用价值。

20:05—20:25

基于解剖结构不变性建模和语义对齐的医学影像自监督学习模型 (ICCV 2023 Oral)

分享嘉宾：郭恒，阿里巴巴达摩院医疗 AI 实验室高级算法工程师，主要研究方向为医学图像分析。

摘要：最近基于自监督学习 (SSL) 的研究成果展示了在无监督的方式下获得强视觉表征的方法。尽管这些方法很受欢迎也很成功，但它们仍然遵循为特定计算机视觉场景设计的自监督范式，例如 ImageNet。当应用于医学图像时，这种范式可能不太适合或不合理。为了学习下游任务 (如器官分割) 的良好表示，医学图像的 SSL 方法应该对齐相同解剖结构的特征。然而，现有的一些方法最大化了正例 (来自同一体积的随机裁剪视图) 之间的互信息，也强化了负例 (来自不同体积的视图) 之间的不相似性。在三维医学分割任务中，常用的计算机断层扫描 (CT) 和核磁共振 (MR) 图像呈现具有内在结构的人体解剖结构。来自同一 CT (所谓的正例) 的随机裁剪视图可能描述完全不同的解剖信息，而来自不同 CT (负例) 的视图可能共享一些呈现相同对象 (器官) 类型的内容。本次分享将针对这个问题进行一些探讨。

20:25—20:45

代谢感知视觉 Transformer 在 FDG-PET 图像上的帕金森症鉴别诊断中的应用 (IPMI 2023)

分享嘉宾：唐禹行，博士，阿里巴巴达摩院医疗 AI 实验室高级算法专家，主要研究方向为计算机视觉、机器学习以及它们在医疗图像和计算机辅助诊断中的应用。

摘要：我们提出 MetaViT，一种新型的代谢感知视觉 transformer，用于准确鉴别帕金森症。MetaViT 有效地建模不同脑区之间复杂的代谢相互作用，结合了卷积和自注意机制的优势。通过掩码图像重建任务，指导模型关注与疾病相关的脑区，提高了可解释性和可信度。在包含 902 个病人的数据集上，我们的方法在 3D FDG PET 图像分类中表现优于最先进的 CNN 和 ViT 方法，为早期准确鉴别帕金森症提供了有前景的解决方案。 

20:45—21:00 : 现场QA

8月16日

19:05—19:20

面向肺癌早筛场景的肺结节良恶性鉴别（MICCAI 2023）

分享嘉宾：张建鹏，博士，阿里巴巴达摩院医疗 AI 实验室算法专家，主要研究方向为医疗影像智能分析。

摘要：肺癌是全球死亡率最高的疾病之一，早期筛查对于提高生存率至关重要。本次报告将汇报本团队在肺癌早期筛查方面的工作进展，包括肺癌早期筛查背景和临床意义，提出的一种基于上下文解析和原型知识召回的肺结节良恶性鉴别模型和一个大规模肺结节数据集的介绍，以及针对低剂量和平扫场景下的筛查性能的评估。

19:20—19:35

基于平扫 CT 的食管癌筛查技术（MICCAI 2022）

分享嘉宾：姚佳文，博士，阿里巴巴达摩院医疗 AI 实验室算法专家，主要研究方向为医疗影像 AI 癌症全流程分析。

摘要：食管癌致死率高，主要原因是临床医学界缺乏低门槛、高可靠的早期筛查手段。本次报告重点介绍团队发表在 MICCAI 2022 的一项利用平扫 CT 筛查食管癌的技术：针对早期食管癌尺寸较小、与正常组织难以区别的特点，研究团队重点改进了分割算法模型，引入全局注意力机制，和位置嵌入相结合，让分割模型不只学习食管的形状、纹理等各种全局特征，同时也分析局部图像细节。这项技术已经在公有云上开放 API 调用接口，以便医生体验和使用，未来有望用于常规体检项目，降低食管癌的筛查门槛，实现早诊早治。

19:35—19:50

基于平扫 CT 的肝脏肿瘤筛查和基于多期相增强 CT 的肝脏肿瘤诊断（MICCAI 2023）

分享嘉宾：闫轲，博士，阿里巴巴达摩院医疗 AI 实验室高级算法专家，主要研究方向为基于机器学习的医疗图像疾病筛查和诊断。

摘要：我国是肝癌大国，肝癌的发病率，死亡率均位居世界前列。早诊早治是重中之重。基于 CT 的检查方式无创，成本低，适用于早期筛查，尤其是利用体检中采集的胸部平扫 CT 进行机会性筛查，具有良好的应用前景和社会价值。我们设计了一种基于像素、病灶、病人三个级别进行预测的、端到端的病灶分割和分类算法，称为 Pixel-Lesion-pAtient Network (PLAN)。我们将介绍 PLAN 算法的结构，以及在肝脏肿瘤平扫 CT 筛查和增强 CT 鉴别诊断这两个任务上的实验设计和结果。

19:50—20:05

基于平扫 CT 的胃癌筛查（MICCAI 2023）

分享嘉宾：袁铭泽，阿里巴巴达摩院医疗 AI 实验室算法实习生，北京大学大数据中心硕士生，主要研究方向为基于机器学习的医疗影像疾病筛查及分布外泛化。

摘要：胃癌是全球第三大致癌死因，然而目前没有指南推荐的筛查方法，且现有方法存在侵入性、昂贵且对早期胃癌的敏感性不足等问题。本研究探索在非对比 CT 扫描中使用深度学习方法进行胃癌检测的可行性。为此，我们提出一种新颖的聚类引导的 Mask Transformer，以多任务方式共同分割并分类胃癌，其中模型融入可学习聚类，编码胃癌的纹理和形状原型，并利用自注意力和交叉注意力与卷积特征进行交互。我们将介绍算法的网络结构，以及胃癌筛查的实验设计与结果。

20:05—20:20

常规增强 CT 中的结直肠和结直肠癌分割（MICCAI 2022）

分享嘉宾：夏英达，博士，阿里巴巴达摩院医疗 AI 实验室算法专家，主要研究方向为基于机器学习的医疗图像疾病筛查和诊断。

摘要：结直肠癌的发病率在所有癌症排名第三，死亡率排名第二。与 MRI 和结肠 CT 检查相比，常规 CT 具有更广泛的应用，但也更具挑战性。标准分割算法经常会导致断断续续的结肠预测，从而导致 CRC 分割不准确或完全失败。我们提出了 DeepCRC，这是一种基于深度学习的拓扑感知方法，用于在常规腹部 CT 扫描中自动分割结直肠和结直肠癌（CRC）。本次报告主要分享 DeepCRC 方法，以及其在常规增强 CT 中的应用和价值。

20:20—20:35

胰腺癌诊断（IPMI 2023）

分享嘉宾：周博，美国耶鲁大学博士生，主要研究方向为医疗图像 AI 算法，曾在阿里巴巴达摩院医疗 AI 实验室实习。

摘要：胰腺癌在所有癌症中死亡率排名第三。对胰腺病变的准确检测、分割和鉴别诊断，包括正常、七种主要类型的病变以及其他病变，对于辅助临床决策、患者管理和治疗至关重要。然而，现有的研究主要关注于特定病变类型（如 PDAC）或病变群的分割和分类。在这个研究中，我们提出了一种新的深度学习方法，有效结合了患者基本信息（如性别、年龄）和多期增强 CT 以共同鉴别诊断胰腺肿瘤，提升了对胰腺全病种分割和分类的准确性，结果接近影像医生影像报告的精度。

20:35—20:50

胰腺癌预后（MICCAI 2023）

分享嘉宾：董和鑫，阿里巴巴达摩院医疗 AI 实验室算法实习生，北京大学大数据中心博士生，主要研究方向为语义分割与分布外泛化在医学影像处理中的应用问题。

摘要：胰管腺癌（PDAC）是一种高度致命的癌症，其与血管的紧密关系极大地影响了患者的手术切除率和总体生存率。本文提出了一种新颖的可学习神经距离，用于描述不同患者 CT 图像中 PDAC 肿瘤与血管之间的精确关系，作为预后预测的主要特征；此外，我们改进了多相对比增强 CT 中的动态与肿瘤相关的纹理特征提取，通过融合局部和全局特征，使用 CNN 和 Transformer 模块进一步增强跨多相 CT 图像提取的特征。本次报告将具体介绍上述方法，多中心实验结果及临床应用价值。

20:50—21:05

一种使用自监督解剖嵌入和代价体积金字塔对 CT 配准进行快速离散优化的方法（MICCAI 2023）

分享嘉宾：李孜 ，阿里巴巴达摩院医疗 AI 实验室算法研究员，主要研究方向为医学图像配准。

摘要：通过在特征空间中计算的代价体积来估计位移矢量场在图像配准方面取得了巨大的成功，但它承受着过多的计算负担。此外，现有的特征描述符仅提取不能表示全局语义信息的局部特征，然而全局语义信息对于解决大型变换尤为重要。为了解决以上的问题，提出了 SAMConvex，一种快速的用于 CT 配准的由粗到细的离散优化方法，它包括一个解耦的凸优化程序，以获取基于自监督解剖嵌入 (SAM) 特征提取器的变形场，该特征提取器同时捕获两者全局和局部信息。具体来说，SAMConvex 提取每个体素的特征并基于 SAM 特征构建 6D 代价体积，并通过使用由粗到精的方案对相关体执行查找来迭代更新流场。作为基于优化的方法，SAMConvex 只需要 大约 2s 完成 3D CT 图像的配准。

21:05—21:30 : 现场QA

直播间：关注机器之心机动组视频号，立即预约直播。

交流群：本次直播设有 QA 环节，欢迎加入本次直播交流群探讨交流。

机动组是机器之心发起的人工智能技术社区，聚焦于学术研究与技术实践主题内容，为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动，欢迎所有 AI 领域技术从业者加入。

• 点击阅读原文，访问机动组官网，观看往期回顾；

• 关注机动组服务号，获取每周直播预告。