对UNet结构改进医学图像分割技术的文献综述

摘要:深度学习在医学影像分割领域得到广泛应用,其中,2015年提出的U-Net因其分割小目标效果较好、结构具有可扩展性,自提出以来受到广泛关注.近年来,随着医学图像割性能要求的提升,众多学者针对U-Net结构也在不断地改进和扩展,比如编解码器的改进、外接特征金字塔等.通过对基于U-Net结构改进的医学影像分割技术,从面向性能优化和面向结构改进两个方面进行总结,对相关方法进行了综述、分类和总结,并介绍图像分割中常用的损失函数、评价参数和模块,进而总结了针对不同目标改进U-Net结构的思路和方法,为相关研究提供了参考.

关键词:U-Net;医学影像分割;结构改进;深度神经网络;技术综述

随着深度学习技术的快速发展,深度学习在医学影像领域的应用吸引了广泛的研究和关注.其中,如何自动识别和分割医学影像中的病灶是最受关注的问题之一.为解决这一问题,2015年,Ronneberger等人在MICCAI会议发表U-Net[1],是深度学习在医学影像分割中的突破性的进展.U-Net是基于FCN(fullyconvolutionalnetwork)改进而成,包括编码器、瓶颈(bottleneck)模块、解码器几部分组成,由于其U型结构结合上下文信息和训练速度快、使用数据量小,满足医学影像分割的诉求,而在医学影像分割中广泛应用.U-Net的结构如图1所示.由于病灶的形状的多样性和不同器官结构的差异性,仅使用U-Net结构分割病灶无法满足对于精准度、速度等的需求.

U-Net自发表以来,其编码器-解码器-跳连的网络结构启发了大量基于U-Net结构改进的医学影像分割方法.随着深度学习技术的发展,包括注意力机制、稠密模块、特征增强、评价函数改进等基于U-Net的基础结构,将这些深度神经网络发展的最新技术引入到医学影像分割应用中,成为被广泛采取的改进方法.这些相关工作或者面向不同的优化目标,或者通过结构改进、添加新模块等手段,提高医学影像分割的准确性、运算效率、适用范围等.由于相关工作众多,而且大多数工作是结合实际问题,不断地加入新的思想,现有文献中对U-Net结构改进的相关工作尚缺少较好的综述和总结的工作.本文拟从改进目的和改进手段两个方面对近几年基于U-Net结构改进的医学影像分割的工作进行综述.

·面向性能优化的改进工作主要包括:(1)将U-Net扩展到3D图像[2,3];(2)增强相关特征,抑制无关特征[4-13];(3)改进计算速度、内存占用[14-22];(4)改进特征融合方法[19,23-30];(5)针对小样本训练数据集的改进[31-34];(6)提高泛化能力的改进[35,36].

·针对U-Net模块结构的改进主要包括:(1)针对编码器、解码器结构的改进[37-45];(2)针对损失函数的改进[2,7,32,41,46-49];(3)对瓶颈(bottleneck)模块结构的改进[9,31,50];(4)增加数据流路径的改进[49,51];(5)采用自动结构搜索的改进[52]等方面.

图2给出了本文对U-Net相关研究工作的分类方法.虽然有的相关工作同时被两个层面包含,但这种分类总结能使得我们更清晰地了解该工作的改进目的和实现目的的改进手段.针对每类改进的具体方法,本文较详细的介绍了方法的主要设计思想、改进效果、所使用的数据集、评价指标等,并最后给出对相关方法的整体的总结和比较.此外,本文还提炼出U-Net结构改进中一些常见的基础结构模块,这些基础结构模块对深度学习网络结构的改进具有较为普遍的借鉴意义.

本文第1节介绍医学影像分割深度神经网络中的一些常见的损失函数和评价参数.第2节、第3节从两个方面、11个子类总结和介绍基于U-Net结构改进的医学影像分割的相关研究工作.第4节提炼医学影像分割研究中常见的一些特殊结构.第5节对文中所提的算法进行总结、对比和展望.

1

医学影像分割中神经网络常采用的评价参数和损失函数

损失函数和评价参数是训练网络是必不可少的部分:损失函数表示预测和目标之间的差异,常用交叉熵、Diceloss等判断训练模型与真值之间的差异;分割评价参数是评价图像分割好坏的重要参数,常用Dice等评价网络模型的优劣.本节主要列举几个图像分割神经网络中常用的评价参数和损失函数.

1.1

评价参数

在评价参数之前,先要介绍一下机器学习中的混淆矩阵.混淆矩阵主要是解决二分类问题[53].其中,TP=TruePositive=真阳性,FP=FalsePositive=假阳性,FN=FalseNegative=假阴性,TN=TrueNegative=真阴性.

1.1.1精确率(precision)

精确率表示的是预测为正的样本中有多少被预测正确.

1.1.2召回率(recall)

(1)召回率就是召回目标类别,即表示样本中的正样本有多少被预测正确.

1.1.3准确率(accuracy)

(2)准确率是评估获得所有成果中目标成果所占的比率.

1.1.4综合评价指标(F-measure)

1.2

损失函数

损失函数的设计常要考虑数据集的特点,比方说,Focalloss就是用来处理数据集中的难分样本.Dice系数可以用来处理数据分类不均衡的情况,其中,不均衡很多情况下是由于背景和待分割区域之间的面积对比不均衡导致的.对于二分类,可以只考虑待分割区域,即是本文中的Diceloss函数;那么当对于多种类的分割时,同样可以只计算待分割区域的Dice系数,这样就可以避免背景占比太大,造成的数据集分类不均的情况.

1.2.1交叉熵损失函数

设y¢是模型的输出,在0-1之间.对于正样本而言,输出越大,意味着损失越小;对于负样本而言,越小,则损失越小.

2

基于U-Net面向性能优化的改进方法

本节和第3节将重点介绍基于U-Net改进的各类的图像分割方法,本节介绍面向性能优化的改进方法.现有的工作主要在应用范围、特征增强、训练速度优化、训练精度、特征融合、小样本训练集以及泛化能力提升几方面对U-Net提出各种改进进行研究,这些工作对网络结构进行了不同的变体,或是针对不同的问题加入了不同的结构.

2.1

将U-Net扩展到3D图像

生物医学影像是不同位置的切片构成的一组三维图,所以传统的2D图像处理模型处理3D的医学影像时会存在问题:一是效率不高,二是会丢失大量的上下文.针对这一问题,OzgunCicek等人基于U-Net提出了3DU-net[3],其网络结构如图3所示.3DU-net输入输出是三维图像,提升了U-Net模型对三维图像的分割准确性.