原来影像组学也可以不用自己绘制靶区，这才是影像组学未来的发展趋势！

今天为大家带来一篇Radiology的文章，题目是“Artificial Intelligence Outperforms Radiologists for Pancreatic Cancer Lymph Node Metastasis Prediction at CT”。

一、整体感知

1

题目要素拆解

文章地址文章题目提供3条信息:

1. 预测变量是:CT人工智能（影像组学）

2. 因变量是:淋巴结转移

3. 研究人群是:胰腺导管腺癌患者

2

文章基本信息

3

核心要素

研究对象(P):2015年1月至2020年4月在一所医院接受治疗的胰腺导管癌（PDAC）患者1119名（实际纳入734名）。

预后模型（I/C）：本文主要构造了3个模型：1）临床模型；2）使用了动脉期的影像组学模型；3）人工智能模型。

结局指标（O）：1）自动完成CT图像分割，2）预测淋巴结转移状态。

研究类型（S）：回顾性队列研究，预测及预后类型。

研究目的：本研究的目的是开发和验证一种全自动的基于深度学习的AI工具，用于CT成像下的肿瘤和淋巴结分割，并预测PDAC患者的LN转移。

4

变量分析

预测变量（X）：人工智能得到的肿瘤+淋巴结特征。

结局变量（Y）:1）淋巴结转移与否；2）预后生存情况。

协变量（Z）：性别，年龄，体重指数，T分期，分化程度，淋巴管空间侵袭，周围神经浸润，手术方式，基于CT的淋巴结状态，肿瘤大小，位于胰腺的位置

名词解释:

1. 淋巴管空间侵袭：癌细胞侵入淋巴管中并在其内生长的现象，通过CT诊断。

2. 基于CT的淋巴结状态：即CT确定的LN转移，文中确定了6个标准：淋巴结短轴直径大于10毫米、密度不均匀、不均匀强化、内部坏死、淋巴结融合、边界不清或周围器官或血管受累，则视为淋巴结转移。

3. 位于胰腺的位置指的是肿瘤位于胰腺的位置。

5

本文研究背景

临床问题：1.淋巴结转移是PDCA患者生存的重要影响因素；2.我们也常常需要通过淋巴结转移状态选择不同的治疗方式；3.术前对淋巴结转移的预测很困难。

目前方法不足：目前使用CT评估淋巴结转移情况，但是实际上预测效果不佳：胰腺癌和胰腺周围的LN转移，其敏感性为25%，阳性预测值为28%

研究GAP：尽管有人研究过，但是：

1. 基本都是手工操作/分割；

2. 样本较少（一般都<250)；

3. 缺乏可重复性；

4. 现实世界中无法使用；

5. 预测淋巴结转移却主要研究肿瘤的影像组学特征。

6. 也有使用人工智能建模研究的，但是他们没有明确的具体病理结果。

本文解决方式：

1. 本文的影像组学特征是通过人工智能自动学习分割；

2. 样本大（734名)

3. 由训练集和验证集互为印证。

4. 开发了模型，并且将代码公开(https://github.com/DeepMedImg/DeepCT-LNM-Example)。

5. 研究了肿瘤和淋巴结的双重影像组学特征。

6. 选择最终的病理结果作为“金标准"进行比较

二、模型构建

1

Workflow

我们先来看一下流程图，

1. 回顾性研究，已经有了病理学检查结果

2. 人工智能分析肿瘤和淋巴结的影像组学特征，并进行预测

1. 肿瘤分割过程：自动分割，得到2D分类特征；

2. 淋巴结分割过程：分割出淋巴结，自动学习并提取2D分类特征；

3. 构建预测模型，共构建3种模型。

4. 模型评价：使用了ROC和DCA曲线。

2

纳入排除标准建立

第一部分：纳入排除标准

纳入标准:2015年1月到2020年4月病理诊断为胰腺癌的患者。

排除标准:

1. 在影像学检查之前已经做过治疗；

2. 没做手术的患者；

3. 术前一月内没有增强CT；

4. 胰腺内有其他肿瘤；

该研究符合TRIPOD声明，最终有734名患者符合既符合病理结果又有增强CT。

第二部分：按照PICOS原则梳理纳入排除标准

年龄：不限制（本文中平均年龄62岁），作者并未对年龄进行限制。

性别：不限制（本文中男性453人），作者并未对性别进行限制。

疾病状态:病理证实的PDAC患者。

疾病分期:T1-T4。

治疗方案:手术治疗，包括胰十二指肠切除术，远端切除术，圈胰腺切除。

诊断标准:病理诊断。

影像设备:AquilionONE公司的的多探头排CT扫描仪。

扫描序列:普通CT，增强CT。

靶区:肿瘤，淋巴结。

影像检查时间点:增强CT要求在术前一月内。

层厚:0.8mm。

对比剂:90-95毫升355毫克碘/毫升的碘溴化物。

短期疗效/长期疗效:1）淋巴结转移状态；2）全因死亡（OS)。

第三部分：根据Results写出最终的纳入结果和训练集划分方式

最终，共纳入734名患者，按时间的7：3的比例分为训练集（545例：2015年1月-2019年4月）和验证集（189例：2019年5月-2020年4月）。并从中获得增强CT影像数据、病理特征及临床特征资料。

3

图像分割/图像预处理

肿瘤的基本影像学特征是由两位腹部放射科医生（Y.B.和X.F.，分别有30年和10年的经验）分析，如果出现分歧意见，由资深放射医师（C.S.）决定结果。他们得到了肿瘤的大小，位置，CT评判的淋巴结转移。

肿瘤的分割过程是由AI自动分割的，作者在正文中并未详细介绍。在补充文件中进行了介绍：

LN和肿瘤注释

肿瘤的标准掩模注释方法:

1. 应用建立好的PDCA自动分割模型，生成原始掩模；

2. 由Y.B医生检查产生的分割；

3. 使用ITK-SNAP软件对不准确的分割进行编辑和校正。

4. 在验证组中，所有肿瘤（189例）都是Y.B.医生手动划定（ITK-SNAP），用于评估。

   
   

   
   

对于淋巴结，确定淋巴结的结果：

1. 首先，我们做了18组胰腺导管腺癌的淋巴结在CT上的分布图。

2. 其次，淋巴结类别通过病理报告确认，由两位医生（Y.B.和X.F.）手工划定和标记。

3. 同时确认CT报告的LN转移：根据制定的六个标准：LN短轴直径>10mm，密度不均匀，不均匀强化，内部坏死，LN融合，边界不清晰，或周围器官或血管受累。

4. 对验证集中35个测试病例进行了观察者间和观察者内的研究。

LN和肿瘤的自动分割

1. 3DnnUNet被作为自动LN和肿瘤分割模型的主要过程。他包含一个提取逐渐降低分辨率的特征的编码器和一个恢复分辨率的解码器。

2. 在对LN分割的时候，应用了一种注意机制：由背景器官和血管引导，对17个LN站涉及的10类器官和血管进行分割。

   
   

3. 将训练集的肿瘤和淋巴结随机分割为160×192×80的子卷，同时应用采用了Dice损失和交叉熵损失函数（肿瘤分割过程）或Tversky损失（LN分割过程，其中设置参数为α=0.5和β=1.5），并将其输入不同的分割网络，生成具有注释的分割掩模。

4

特征提取/数据预处理

特征提取工具：PyTorch，nnUNet，SimpleITK

▣    PyTorch是一个机器学习平台，用于构建和训练深度学习模型。

▣    nnUNet是一个建立在PyTorch之上的工具包，它为构建和训练用于医学图像分割的神经网络提供了接口。为训练和评估多种不同类型的分割模型提供了统一的方式。

▣    SimpleITK是一个用于医学图像分析的工具包，提供了许多用于图像处理和分析的算法，包括分割和配准，可与PyTorch和nnUNet建立的人工智能模型结合使用。

▣    这三种工具结合在一起，PyTorch为构建深度学习模型提供了一个灵活的平台，nnUNet为构建和分割医学图像分割模型提供了接口，而SimpleITK为处理多种格式的医学图像提供了处理和计算。

特征类型+提取结果：提取了动脉期肿瘤的影像组学特征。

    1.具体来说，我们使用原始图像和九个衍生图像，九个衍生图像是使用滤波器进行特征提取的，这些滤波器又包括对数、指数、梯度、平方、平方根、LBP-2D、LBP-3D、高斯拉普拉斯和小波。

    2.从动脉期的原发性肿瘤中提取了二维（2D）和三维（3D）特征，并分为八组：

1. 一阶统计学
2. 二维形状特征
3. 三维形状特征
4. 灰度共现矩阵特征
5. 灰度依赖矩阵特征
6. 灰度运行长度矩阵特征
7. 灰度大小区矩阵特征
8. 邻域灰度区差异矩阵特征。

    3.最终提取了1688个动脉影像组学特征。

对提取特征的可重复性分析

方法：对分类变量使用k统计来量化观察者之间的一致性；连续变量使用连续变量的类内相关系数。

结果：

1. CT结果的观察者间一致性很好，K统计量在0.90到0.96之间。

2. 肿瘤大小的观察者间ICC也很好，从0.87到0.93。

5

特征选择

临床模型的特征选择：选择常规的临床特征：T分期、LVSI、周围神经浸润和CT确定的LN状态，以及肿瘤大小。临床模型的变量选择参考了一部分单因素Logistic回归结果：排除了年龄，加上了肿瘤大小。

影像组学的特征选择。特征选择包括三个步骤：

1. 方差分析、Spearman相关分析和最小绝对收缩和选择算子（LASSO）逻辑回归算法，这种方法的有效性已经在以前的放射学研究中得到证实。

1. 首先排除了组间无明显差异或与LN转移无明显相关性的影像组学特征。因此，影像组学特征被减少到166个。

2. 然后用LASSO逻辑回归模型进一步减少剩余的166个影像组学特征。影像组学特征被减少到5个特征。

2. 顺序Bonferroni校正法被应用于调整基线显著性水平（α=0.05）的多重测试偏差（38,39）。

1. 经Bonferroni校正后，LASSO回归的五个特征仍与LN转移显著相关。

3. 最后，通过对所选特征的线性组合，以各自的系数加权，计算出每个病人的动脉放射学评分（Rad-score）。

   
   

6

模型建立

本文建立了3个模型:临床模型，影像组学模型，人工智能模型。

临床模型：T分期、LVSI、周围神经浸润和CT确定的LN状态，以及肿瘤大小；

影像组学模型：动脉影像组学评分和CT确定的LN状态；

1. 用LASSO逻辑回归公式得到动脉Rad-score，发现LN阴性患者的Rad-score明显降低（P<.001）。

2. 采用基于Akaike信息准则的逐步回归方法构建了一个多变量模型，以确定最佳拟合模型。

人工智能模型：

1.采用nnUNeT主干来进行LN的识别。

2.输入过程：结合了一个肿瘤和LN的动脉和静脉期特征，使用了DEEDS工具（DEEDS工具可以量化和监测增强CT过程中的病灶动态变化。）。重采样到0.68×0.68×0.80的体素中，并使用训练集上计算的平均值和标准差进行归一化。

1. 两个阶段的图像被串联起来，形成模型的输入。

2. 训练集中80%的患者（n=436）被用来训练模型，剩下的20%（n=109）被用作内部验证集调整模型以选择最佳模型。

3.在ResNet18的基础上设计卷积网络。其中的具体细节是（过于专业，可以不看）：该网络由一个卷积层和四个残余块组成，然后是一个全局平均池层和一个全连接层来产生分类分数。纹理编码层被添加到最后的残余块中，并在分类前通过串联与原始深度特征合并。作者并没有直接将分割掩码与输入的图像相融合，而是采用了一个由卷积层和ReLU层组成的分枝，将掩码映射到与ResNet18中第一个卷积层输出相同形状的特征图。然后，通过与该卷积输出的元素相乘，将其整合到主干中。为了进一步将LN信息整合到网络中，作者将最大的正LN的体积映射到一个向量形状的特征，并在分类前通过与特征的元素相加将其与骨干融合。

4.预测淋巴结性质（预测过程）:

1. 将淋巴结随裁剪成96×96×80的子卷，作为训练单位。

2. 在LN转移状态预测模型中，采用224×224的二维单位作为输入。

3. 在这两个网络的训练过程中，交叉熵损失（衡量预测的概率分布和真实分布之间的差异）被用作训练目标。

这是一例淋巴结（LN）阳性组的78岁男性胰腺导管腺癌患者的图像。(A）苏木精-伊红染色显示一个阳性LN（红色箭头）和三个阴性LN（黑色箭头）位于瘤周区；(B)图形显示三个阴性LN（绿色箭头）和一个阳性LN（红色箭头）位于瘤周区，肿瘤（蓝色箭头）位于胰腺体，由人工智能分割和诊断。(C)阳性LN（箭头）位于胰腺颈。(D)阴性LN（箭头）位于胰腺体。(E)胰腺体的浸润性低衰减肿瘤。

三、模型评价

1

模型区分度

首先是通过绘制接收者操作特征曲线ROC曲线来量化所建立模型的区分性能，并计算接收者操作特征曲线下的面积（AUC）。并且使用DeLong测试对这些模型的操作特征曲线进行比较。1.人工智能模型对LN阴性组和LN阳性组的区分度最高，训练集的AUC为0.91，验证集为0.92。2.根据DeLong检验，AI模型和其他综合模型在验证集中的AUC有显著差异（P<.001）。

2

模型获益

使用决策曲线，发现所有的模型模型都可以产生临床获益；但融合模型临床获益最高

3

AI预测和实际结果

实际转移状态和预测转移状态的差别。作者使用了马赛克图表示：1.训练集中，291名患者中有253名（87%）被准确地识别为LN阴性组，254名患者中有210名（83%）被准确地识别为LN阳性组，2.验证集中，103名患者中有92名（89%）被准确预测为LN阴性组，86名患者中有69名（80%）被准确识别为LN阳性组。

4

生存分析

1. 使用Kaplan-Meier估计法被用于绘制生存曲线，死亡被设定终点，对数秩检验来分析曲线之间的差异。

1. LN阴性组的中位随访时间为23个月（IQR，15-30个月），LN阳性组为19个月（IQR，13-26个月），

2. LN阴性组的105名患者和LN阳性组的125名患者死亡。

3. 预测的LN阴性组比预测的LN阳性组的生存期更长












2. 进行单因素和多因素Cox回归分析，分析AI预测的LN转移状态和总生存期之间的关系。

1. 单因素分析结果：AI预测的淋巴结阳性和较差的生存情况相关，危险比，1.59；95%CI：1.25，2.02；P<.001。

2. 多因素分析结果：AI预测的LN转移是一个独立的术前预测因素，导致总生存率下降，危险比，1.46；95%CI：1.13，1.89；P=.004。

   
   

   
   

   
   

   

四、全文总结

1

文章总结

本文开发基于肿瘤+淋巴结区域的增强CT的影像组学特征，用于预测淋巴结转移模型，并分别对临床模型，影像组学模型，人工智能模型进行了比较，最后进行了生存分析。

2

优点

就在放射学研究顶刊文章，本文的研究思路竟然与我们之前分析的研究思路似乎如出一辙？文章是做到了什么让整个过程给人感觉更具高级感呢？我认为原因在以下几点:

3

局限性

顶刊有没有局限性呢？反正作者提出来了自己的局限性。我们先盲猜一些常规的局限性：

1. 单中心研究，回顾性研究（原文提到了），单民族研究，推广可能受限。

2. 时间跨度较大（5年），影像学资料可能无法保证同质。

3. 临床应用困难：诊断过程难应用，治疗过程难以应用。

4. 没有对最优特征进行解释,毕竟图形的各种特征没有解释清楚究竟有哪些实际意义。

   
   

作者自己提到的局限性：

4

可行性分析

本研究给我们了需多思考和学习空间，我们来看看如何实现：

1.单中心研究，患者数量700人左右，我们可以将时间线拉的足够长，也可以从兄弟医院收影像资料联合起来，这个患者数量还是可以达到的。当然别忘了注册伦理，否则发顶刊就有了硬伤。

2.其次，本文不需要人工“刷”片子，只需要让机器通过自己学习就可以进行切割和特征提取，这是最大的亮点和最重要的一步，可以说是影像组学最大的痛点。作者已经给出了自己的所有代码进行参考，作者在自己的开源里面详细介绍了自己的nnUNeT如何应用到新数据集。除了对显卡和CPU的要求，还要用Linux开源系统来进行操作。其次，数据应该被处理成医学分割十项全能(Medical Segmentation Decathlon,MSD)使用的格式，这是最重要的一步，要使用nnUNeT最重要的就是将自定义数据集格式设定为结构化的可被识别的数据。作者还提供了2个案例来说明使用其他数据集进行训练的详细信息。那么我们也可以在基础上进行修改，如果你想修改本文的代码，也欢迎咨询解螺旋服务平台服务。

3.文中特征提取之后，一系列模型比较，生存分析等都属于常规操作，我们甚至看到作者的KM曲线甚至连颜色都懒得调，照样可以发顶刊。

4.最后可以学习作者将自己的代码分享出来，甚至可以写出来哪里需要修改，具有更普适性的内容，顶刊更容易接受。

5

结语

好啦，本期的文献分享到这里，对于追求高分文章的小伙伴是不是又一次的冲击呢？继续跟紧君莲数据库的平鑫而论专栏，我们下期见吧~~