01文献信息本次分享的文献是由哈尔滨医科大学附属第二医院超声科冷晓萍教授团队联合西安交通大学第一附属医院等多中心团队近日2025年9月17日在核医学与分子影像领域顶级期刊《Eur J Nucl Med Mol Imaging》中科院1区IF7.6上发表的研究“Habitat-aware radiomics and adaptive 2.5D deep learning predict treatment response and long-term survival in ESCC patients undergoing neoadjuvant chemoimmunotherapy”即栖息地感知放射组学与自适应2.5D深度学习预测接受新辅助化疗免疫治疗的食管鳞癌ESCC患者的治疗反应及长期生存该研究为双中心回顾性研究纳入269例未接受治疗的局部晚期ESCC患者训练集n144、验证集n62、外部测试集n63基于基线PET/CT影像开发整合“栖息地放射组学2.5D深度学习多实例学习MIL临床变量”的多模态框架用于预测患者接受新辅助化疗免疫治疗NACI后的病理完全缓解pCR和总生存期OS。图1研究工作流程图分A分析流程、B临床验证两部分。A展示“图像预处理→栖息地影像组学/2.5D 深度学习→特征融合→可解释性分析→疗效/生存预测”全链路B通过2例患者pCRvs非pCR的PET/CT影像、ITH指数及预测概率直观呈现模型临床应用场景。02研究背景及目标研究背景疾病负担ESCC是高度侵袭性肿瘤晚期患者5年生存率低于20%NACI化疗免疫检查点抑制剂可改善可切除性但仅30-40%患者达pCR疗效异质性显著。现有困境传统生物标志物内镜活检、PET代谢参数如SUVmax无法捕捉肿瘤空间异质性ITH——ITH是治疗耐药的关键驱动因素导致临床无法精准分层患者易出现“过度治疗免疫不良反应”或“治疗不足疾病进展”。技术瓶颈传统放射组学存在协议敏感性高、可解释性差、无法解析亚区域生物学特征2D CNN丢失跨平面信息3D CNN计算量大且易过拟合医疗数据量有限。研究目标通过体素级栖息地放射组学定量绘制肿瘤内/肿瘤周围异质性解决传统放射组学ITH解析不足的问题利用2.5D 深度学习建模肿瘤横截面生物学特征平衡3D空间信息保留与计算效率通过SHAP可解释性分析建立机制驱动的生物标志物识别耐药相关肿瘤亚区域整合多模态数据实现ESCC患者NACI治疗反应pCR和长期生存OS的精准预测与分层。03数据和方法研究数据数据来源与分组总样本量269例未治疗ESCC患者双中心训练集n144、验证集n62均来自西安交通大学第一附属医院外部测试集n63来自哈尔滨医科大学附属第二医院独立验证保证泛化性。纳入与排除标准纳入标准①组织学确诊ESCC②局部晚期③有基线PET/CT④NACI后4-6周手术⑤随访≥6个月⑥临床病理资料完整。排除标准①既往恶性肿瘤②远处转移M1③既往抗肿瘤/抗炎治疗④图像质量差。治疗与随访方案NACI方案帕博利珠单抗铂类化疗共3周期疗效评估术后病理评估pCR随访术后2年每季度随访计算总生存期OS从治疗开始至死亡/末次随访。技术方法影像预处理与肿瘤分割预处理PET/CT重采样至1×1×1mm³三阶B样条插值保留95%放射组学特征方差PET按肝实质右肝3cm³ROIZ-score归一化CT窗宽40HU、窗位300HU标准化软组织对比度2.5D模型提取最大肿瘤截面±1/±2/±4层训练集数据增强旋转±15°、缩放±10%、翻转验证/测试集仅中心裁剪至224×224像素。分割两位放射科医生12年、15年经验手动分割肿瘤及瘤周区域分歧体积差5%或视觉争议由资深医生20年经验仲裁最终Dice相似系数DSC0.85远超放射组学推荐阈值0.7-0.8确保特征提取可靠性。栖息地放射组学分析栖息地划分5×5×5体素滑动窗计算局部放射组学特征强度、纹理、空间异质性K-means聚类Calinski-Harabasz指数优化量化簇内紧凑度与簇间分离度确定3个肿瘤亚区域H1高代谢坏死周围区H2中代谢肿瘤侵袭前沿H3低代谢基质/坏死区经病理代谢特征验证见补充图1。特征提取与选择PyRadiomics符合IBSI标准提取1834个特征/模态形状、一阶强度、纹理如GLCM/GLRLM多阶段筛选单变量过滤正态用t检验非正态用Mann-WhitneyUP0.05Pearson相关过滤r≥0.8去共线性mRMR最小冗余最大相关性保留高关联低冗余特征LASSO回归10折交叉验证λ0.01最终选32个鉴别特征。2.5D深度学习模型骨干网络ResNet50ImageNet预训练PET/CT分通道输入新增MixUp通道PET与CT元素级平均实现多模态融合解决代谢-结构信息discordance。多实例学习MIL将切片级特征转化为患者级预测采用两种策略预测概率直方图10bin分布编码空间异质性TF-IDF加权词袋优先高鉴别性切片特征分类器优化对比SVM径向基核、ExtraTreesGiniimpurity、RandomForest200棵树SMOTEk5解决类别不平衡5折交叉验证优化超参数。模型整合与评估多模态整合融合“栖息地特征MIL特征临床变量如分期、SUVmax”构建5分类器集成模型Crossformer架构。评估指标诊断性能AUC、灵敏度、特异度、DeLong检验AUC差异显著性校准性能Hosmer-Lemeshow检验P0.05为校准良好、校准曲线预后性能C指数生存预测区分度、Kaplan-Meier分析高低风险组生存差异临床实用性决策曲线分析DCA计算不同阈值下净获益可解释性SHAP量化特征贡献、Grad-CAM可视化模型注意力区域。04实验结果图图2栖息地聚类优化图A图为Calinski-HarabaszCH指数曲线聚类数3时CH指数最高确定最优肿瘤亚区域划分B、C图为PET/CT代表性影像彩色标注H1高代谢区、H2侵袭前沿、H3低代谢区展示肿瘤空间异质性分布。图3栖息地签名性能与SHAP分析图A-C为训练/验证/测试集ROC曲线栖息地签名AUC分别为0.967、0.865、0.772D为SHAP summary图显示H2区贡献40%top特征E为实例级SHAP瀑布图/力导图明确wavelet LHH一阶熵SHAP0.42是核心预测特征。图4切片级与MIL签名ROC图A-C为ResNet50切片级ROC曲线训练/验证/测试集AUC0.844、0.823、0.752D-F为2.5D MIL签名ROC曲线SVM构建的MIL模型在各队列AUC分别为0.936、0.861、0.810验证其空间信息捕捉能力。图52.5D MIL模型可解释性分析图A为2例患者的SHAP分析展示特征对pCR/非pCR预测的贡献差异B为实例级SHAP力导图呈现各特征对预测结果的累积影响C为Grad-CAM热力图显示模型优先关注肿瘤边缘高代谢区及瘤周免疫浸润区。图6ROC与校准曲线图A-C为各签名训练/验证/测试集ROC曲线联合模型AUC分别达0.975、0.920、0.824显著优于单一签名D-F为校准曲线联合模型Hosmer-Lemeshow检验P0.800预测概率与实际结果高度吻合。图7DeLong检验结果图对比训练A、验证B、测试C队列中各签名的AUC差异联合模型较传统影像组学、临床模型的AUC提升具统计学意义P0.05验证其性能优势。图8Kaplan-Meier生存曲线图展示训练A-C、验证D-F、测试G-I队列中栖息地、MIL、联合模型的高/低风险组OS曲线三组队列均满足高/低风险组生存差异显著P0.001验证模型生存分层能力。图9决策曲线分析图呈现训练A、验证B、测试C队列的DCA曲线联合模型在全决策阈值范围内净获益较临床、影像组学等单一模型提升23-41%证明其临床实用价值。05讨论临床价值精准患者分层解决NACI疗效异质性问题通过基线PET/CT即可预测pCR测试集AUC0.824帮助临床筛选“真正获益患者”减少非应答者免疫相关不良反应如肺炎、结肠炎同时避免应答者治疗不足。预后风险分层联合模型C指数0.809可将患者分为高低风险组OS差异显著指导个体化随访高风险患者缩短随访间隔。机制解析与临床决策支持SHAP识别H2肿瘤侵袭前沿为耐药关键区域为“针对侵袭前沿的靶向治疗”提供方向Grad-CAM可视化模型关注区域增强临床医生对AI结果的信任度。高临床可及性基于常规PET/CT检查无需额外侵入性操作模型经多中心验证校准良好且DCA净获益高易整合入临床工作流。技术亮点ESCC特异性栖息地放射组学首次针对ESCC代谢-结构异质性优化体素级聚类3个栖息地解析传统放射组学无法捕捉的亚区域特征ΔAUC3.6%P0.01。2.5D深度学习创新±4层瘤周切片保留3D空间信息计算量仅为3D CNN的1/5MixUp通道融合PET代谢与CT结构信息解决多模态discordanceMIL策略预测概率直方图TF-IDF提升泛化性验证集AUC0.861。可解释性突破结合SHAP量化特征贡献与Grad-CAM可视化注意力解决AI“黑箱”问题明确H2及小波熵特征为关键预测因子为临床提供“可解释的精准”。严格的多维度验证双中心、训练-验证-测试三队列设计全面评估诊断AUC、校准HL检验、预后C指数、临床实用性DCA结果可靠且可重复。
哈尔滨医科大学附属第二医院成果：栖息地感知影像组学与自适应2.5D深度学习预测食管鳞癌NACI疗效及长期生存
01文献信息本次分享的文献是由哈尔滨医科大学附属第二医院超声科冷晓萍教授团队联合西安交通大学第一附属医院等多中心团队近日2025年9月17日在核医学与分子影像领域顶级期刊《Eur J Nucl Med Mol Imaging》中科院1区IF7.6上发表的研究“Habitat-aware radiomics and adaptive 2.5D deep learning predict treatment response and long-term survival in ESCC patients undergoing neoadjuvant chemoimmunotherapy”即栖息地感知放射组学与自适应2.5D深度学习预测接受新辅助化疗免疫治疗的食管鳞癌ESCC患者的治疗反应及长期生存该研究为双中心回顾性研究纳入269例未接受治疗的局部晚期ESCC患者训练集n144、验证集n62、外部测试集n63基于基线PET/CT影像开发整合“栖息地放射组学2.5D深度学习多实例学习MIL临床变量”的多模态框架用于预测患者接受新辅助化疗免疫治疗NACI后的病理完全缓解pCR和总生存期OS。图1研究工作流程图分A分析流程、B临床验证两部分。A展示“图像预处理→栖息地影像组学/2.5D 深度学习→特征融合→可解释性分析→疗效/生存预测”全链路B通过2例患者pCRvs非pCR的PET/CT影像、ITH指数及预测概率直观呈现模型临床应用场景。02研究背景及目标研究背景疾病负担ESCC是高度侵袭性肿瘤晚期患者5年生存率低于20%NACI化疗免疫检查点抑制剂可改善可切除性但仅30-40%患者达pCR疗效异质性显著。现有困境传统生物标志物内镜活检、PET代谢参数如SUVmax无法捕捉肿瘤空间异质性ITH——ITH是治疗耐药的关键驱动因素导致临床无法精准分层患者易出现“过度治疗免疫不良反应”或“治疗不足疾病进展”。技术瓶颈传统放射组学存在协议敏感性高、可解释性差、无法解析亚区域生物学特征2D CNN丢失跨平面信息3D CNN计算量大且易过拟合医疗数据量有限。研究目标通过体素级栖息地放射组学定量绘制肿瘤内/肿瘤周围异质性解决传统放射组学ITH解析不足的问题利用2.5D 深度学习建模肿瘤横截面生物学特征平衡3D空间信息保留与计算效率通过SHAP可解释性分析建立机制驱动的生物标志物识别耐药相关肿瘤亚区域整合多模态数据实现ESCC患者NACI治疗反应pCR和长期生存OS的精准预测与分层。03数据和方法研究数据数据来源与分组总样本量269例未治疗ESCC患者双中心训练集n144、验证集n62均来自西安交通大学第一附属医院外部测试集n63来自哈尔滨医科大学附属第二医院独立验证保证泛化性。纳入与排除标准纳入标准①组织学确诊ESCC②局部晚期③有基线PET/CT④NACI后4-6周手术⑤随访≥6个月⑥临床病理资料完整。排除标准①既往恶性肿瘤②远处转移M1③既往抗肿瘤/抗炎治疗④图像质量差。治疗与随访方案NACI方案帕博利珠单抗铂类化疗共3周期疗效评估术后病理评估pCR随访术后2年每季度随访计算总生存期OS从治疗开始至死亡/末次随访。技术方法影像预处理与肿瘤分割预处理PET/CT重采样至1×1×1mm³三阶B样条插值保留95%放射组学特征方差PET按肝实质右肝3cm³ROIZ-score归一化CT窗宽40HU、窗位300HU标准化软组织对比度2.5D模型提取最大肿瘤截面±1/±2/±4层训练集数据增强旋转±15°、缩放±10%、翻转验证/测试集仅中心裁剪至224×224像素。分割两位放射科医生12年、15年经验手动分割肿瘤及瘤周区域分歧体积差5%或视觉争议由资深医生20年经验仲裁最终Dice相似系数DSC0.85远超放射组学推荐阈值0.7-0.8确保特征提取可靠性。栖息地放射组学分析栖息地划分5×5×5体素滑动窗计算局部放射组学特征强度、纹理、空间异质性K-means聚类Calinski-Harabasz指数优化量化簇内紧凑度与簇间分离度确定3个肿瘤亚区域H1高代谢坏死周围区H2中代谢肿瘤侵袭前沿H3低代谢基质/坏死区经病理代谢特征验证见补充图1。特征提取与选择PyRadiomics符合IBSI标准提取1834个特征/模态形状、一阶强度、纹理如GLCM/GLRLM多阶段筛选单变量过滤正态用t检验非正态用Mann-WhitneyUP0.05Pearson相关过滤r≥0.8去共线性mRMR最小冗余最大相关性保留高关联低冗余特征LASSO回归10折交叉验证λ0.01最终选32个鉴别特征。2.5D深度学习模型骨干网络ResNet50ImageNet预训练PET/CT分通道输入新增MixUp通道PET与CT元素级平均实现多模态融合解决代谢-结构信息discordance。多实例学习MIL将切片级特征转化为患者级预测采用两种策略预测概率直方图10bin分布编码空间异质性TF-IDF加权词袋优先高鉴别性切片特征分类器优化对比SVM径向基核、ExtraTreesGiniimpurity、RandomForest200棵树SMOTEk5解决类别不平衡5折交叉验证优化超参数。模型整合与评估多模态整合融合“栖息地特征MIL特征临床变量如分期、SUVmax”构建5分类器集成模型Crossformer架构。评估指标诊断性能AUC、灵敏度、特异度、DeLong检验AUC差异显著性校准性能Hosmer-Lemeshow检验P0.05为校准良好、校准曲线预后性能C指数生存预测区分度、Kaplan-Meier分析高低风险组生存差异临床实用性决策曲线分析DCA计算不同阈值下净获益可解释性SHAP量化特征贡献、Grad-CAM可视化模型注意力区域。04实验结果图图2栖息地聚类优化图A图为Calinski-HarabaszCH指数曲线聚类数3时CH指数最高确定最优肿瘤亚区域划分B、C图为PET/CT代表性影像彩色标注H1高代谢区、H2侵袭前沿、H3低代谢区展示肿瘤空间异质性分布。图3栖息地签名性能与SHAP分析图A-C为训练/验证/测试集ROC曲线栖息地签名AUC分别为0.967、0.865、0.772D为SHAP summary图显示H2区贡献40%top特征E为实例级SHAP瀑布图/力导图明确wavelet LHH一阶熵SHAP0.42是核心预测特征。图4切片级与MIL签名ROC图A-C为ResNet50切片级ROC曲线训练/验证/测试集AUC0.844、0.823、0.752D-F为2.5D MIL签名ROC曲线SVM构建的MIL模型在各队列AUC分别为0.936、0.861、0.810验证其空间信息捕捉能力。图52.5D MIL模型可解释性分析图A为2例患者的SHAP分析展示特征对pCR/非pCR预测的贡献差异B为实例级SHAP力导图呈现各特征对预测结果的累积影响C为Grad-CAM热力图显示模型优先关注肿瘤边缘高代谢区及瘤周免疫浸润区。图6ROC与校准曲线图A-C为各签名训练/验证/测试集ROC曲线联合模型AUC分别达0.975、0.920、0.824显著优于单一签名D-F为校准曲线联合模型Hosmer-Lemeshow检验P0.800预测概率与实际结果高度吻合。图7DeLong检验结果图对比训练A、验证B、测试C队列中各签名的AUC差异联合模型较传统影像组学、临床模型的AUC提升具统计学意义P0.05验证其性能优势。图8Kaplan-Meier生存曲线图展示训练A-C、验证D-F、测试G-I队列中栖息地、MIL、联合模型的高/低风险组OS曲线三组队列均满足高/低风险组生存差异显著P0.001验证模型生存分层能力。图9决策曲线分析图呈现训练A、验证B、测试C队列的DCA曲线联合模型在全决策阈值范围内净获益较临床、影像组学等单一模型提升23-41%证明其临床实用价值。05讨论临床价值精准患者分层解决NACI疗效异质性问题通过基线PET/CT即可预测pCR测试集AUC0.824帮助临床筛选“真正获益患者”减少非应答者免疫相关不良反应如肺炎、结肠炎同时避免应答者治疗不足。预后风险分层联合模型C指数0.809可将患者分为高低风险组OS差异显著指导个体化随访高风险患者缩短随访间隔。机制解析与临床决策支持SHAP识别H2肿瘤侵袭前沿为耐药关键区域为“针对侵袭前沿的靶向治疗”提供方向Grad-CAM可视化模型关注区域增强临床医生对AI结果的信任度。高临床可及性基于常规PET/CT检查无需额外侵入性操作模型经多中心验证校准良好且DCA净获益高易整合入临床工作流。技术亮点ESCC特异性栖息地放射组学首次针对ESCC代谢-结构异质性优化体素级聚类3个栖息地解析传统放射组学无法捕捉的亚区域特征ΔAUC3.6%P0.01。2.5D深度学习创新±4层瘤周切片保留3D空间信息计算量仅为3D CNN的1/5MixUp通道融合PET代谢与CT结构信息解决多模态discordanceMIL策略预测概率直方图TF-IDF提升泛化性验证集AUC0.861。可解释性突破结合SHAP量化特征贡献与Grad-CAM可视化注意力解决AI“黑箱”问题明确H2及小波熵特征为关键预测因子为临床提供“可解释的精准”。严格的多维度验证双中心、训练-验证-测试三队列设计全面评估诊断AUC、校准HL检验、预后C指数、临床实用性DCA结果可靠且可重复。
