标 题：基于深度学习的小样本三维医学影像分割研究

英文标题：DeepLearning-based Approaches for 3D

Medical Image Segmentation with Small Data

作 者：贾灏哲

指导教师：夏勇教授

培养院系：计算机学院

学 科：计算机科学与技术

读博寄语：读博之路从无捷径，学必求其心得，业必贵其专精

主要研究内容

近年来，以深度学习为代表的人工智能技术在图像语义分割问题上已经取得了突破性的进展，越来越多的学者致力于将深度学习技术与三维医学影像分割进行融合，进一步促进智能化计算机辅助诊断（Computer-aideddiagnosis，CAD）的研究。但是，由于三维医学影像的特殊性和困难性，目前已有的研究成果与临床应用的要求之间还有很大的差距。与此同时，由于医学影像的采集相较于自然场景图像明显具有更高的代价和困难，且分割标注费时费力，需要很高的专业知识指导，而深度学习模型的训练又离不开大规模的样本数据，这也导致基于深度学习的医学影像分割问题一直以来都受到小样本问题困扰。

基于此，本项目依托空天地海一体化大数据应用技术国家工程实验室，在西北工业大学博士论文创新基金的资助下，针对上述问题和挑战，从三维医学影像的成像特点出发，以深度学习理论为基础，研究出一套基于深度学习的小样本三维医学图像分割模型，充分利用针对不同器官、组织的多模态影像数据和标注信息，提高医学影像分割准确率。本项目属于面向国际学术发展前沿和国家重大战略需求的前瞻性重大应用研究课题，不仅具有巨大理论和应用价值，而且符合“健康中国”和“人工智能2.0”等国家重大战略需求。主要研究内容与结果如下：

1.基于空间上下文建模的三维医学影像分割研究

图1.1APA-Net模型结构示意图

图1.2被国内外学者在IEEE-TMI等顶级期刊上正面引用

针对三维医学影像数据存在的空间分辨率不平衡以及分割目标形态个体化差异较大等特点，构建基于多尺度空间上下文特征学习模块的分割模型，同时利用对抗学习来进一步校正分割网络输出的分割结果，实现小样本条件下对复杂三维医学图像的准确分割，在前列腺磁共振影像分割任务中取得良好效果。得到了包括香港中文大学王平安教授和英伟达公司徐子乐研究员（IEEE-TMI副主编）等国内外学者的正面引用。

2.基于全局高分辨率特征学习的三维医学影像分割研究

图2.1HNF-Net模型结构示意图

图2.2BraTS2020竞赛亚军

针对大脑胶质瘤中存在很多细小和不规则的区域，以及肿瘤在大脑中的位置和形态变化较大等特点，构建并行多尺度融合模块来增强网络的高分辨率特征学习能力。同时引入期望最大注意力模块，高效低成本地增强模型提取全局依赖性信息的能力，从而进一步提高模型的分割准确率。使用该模型，获得了国际大脑胶质瘤磁共振影像分割竞赛（BraTS2020）分割任务的亚军。

3.基于多任务协同学习的三维医学影像分割研究

图3.1MSD-Net模型结构示意图

图3.2PROMISE12竞赛排名1/362（2020.09-今）

针对三维医学影像的分割任务中，目标器官或组织往往与周围软组织的对比度较低且来自影像分割标注的监督信息较为单一等特点，在增强分割网络语义特征提取能力的同时，挖掘影像内在的语义边界判别性监督信息，进一步辅助分割网络提取语义判别性更强的影像特征，最后将边缘检测解码器产生的特征融合到分割解码器中来进一步优化分割结果，并引入协同多任务损失函数为两个解码器的联合训练添加一致性约束。自2020年9月以来，该算法的分割结果一直名列国际前列腺磁共振影像分割竞赛（PROMISE12）的在线排行榜第一名。

主要创新点

(1)提出高分辨率特征学习模块来增强模型针对细小目标的分割效果，同时引入期望最大化注意力模块以轻量化的方式强化分割模型捕捉全局依赖性关系的能力；

(2)针对具有复杂空间结构的三维医学影像构建特殊的空间上下文特征学习模块用来增强模型的分割效果，同时引入对抗训练机制来为分割网络的训练引入一致性约束；

(3)在分割模型的基础上构建额外的边界检测解码器来有效挖掘医学影像数据内涵的多任务监督信息，在有限标注样本的基础上实现了对医学影像的准确分割。

代表性创新成果

一、学术论文

1.Haozhe Jia, Yong Xia^*, Yang Song, Donghao Zhang, Heng Huang, Yanning Zhang, and Weidong Cai, “3D APA-Net: 3D Adversarial Pyramid Anisotropic Convolutional Network for Prostate Segmentation in MR Images”,IEEE Transactions on Medical Imaging, vol.39, pp.447-457, 2020.（中科院1区, IF=11.037）

2.Haozhe Jia, Weidong Cai, Heng Huang, and Yong Xia^*, “Learning Multi-scale Synergic Discriminative Features for Prostate Image Segmentation”,Pattern Recognition, vol.126, pp.108556, 2022.（中科院1区, IF=8.518）

3.Haozhe Jia,Yang Song, Weidong Cai, Heng Huang, and Yong Xia^*, “HD-Net: Hybrid Discriminative Network for Prostate Segmentation in MR Images”,In Proceedings of International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), pp.110-118, 2019.（医学影像处理领域顶级国际会议）

4.Haozhe Jia, Weidong Cai, Heng Huang, and Yong Xia^*, “Learning High-resolution and Efficient Non-local Features for Brain Glioma Segmentation in MR Images”,In Proceedings of International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), pp.480-490, 2020.（医学影像处理领域顶级国际会议）

5.Haozhe Jia, Weidong Cai, Heng Huang, and Yong Xia^*, “H²NF-Net for Brain Tumor Segmentation using Multimodal MR Imaging: 2nd Place Solution to BraTS Challenge 2020 Segmentation Task”,MICCAI 2020 Brainlesion Workshop, pp.58-68, 2020.（BraTS 2020大脑胶质瘤分割竞赛亚军）

二、知识产权

1.夏勇，贾灏哲，张艳宁，基于集成深度卷积神经网络的前列腺磁共振图像分割方法，ZL201710008778.0，2019（发明专利，学生一作）

三、科技奖励

1.以第一完成人获国际大脑胶质瘤磁共振影像分割竞赛（BraTS 2020）分割任务的亚军，BraTS2020竞赛共有来自世界各地的78个参赛队伍参加。