第41卷　第1期吉林大学学报(信息科学版)Vol.41　No.12023年1月Journal of Jilin University (Information Science Edition)Jan.2023
文章编号
:1671⁃5896(2023)01⁃0084⁃09基于深度学习的三维乳腺超声影像自适应分割
收稿日期:2022⁃04⁃05
基金项目：黑龙江省自然科学基金资助项目(LH2021F039)
作者简介：李晓峰(1978  )，男，哈尔滨人，黑龙江外国语学院教授，主要从事人工智能㊁机器学习和智慧医疗等研究,(Tel)86⁃156****4306(E⁃mail)lixiaofeng@hiu㊂
李晓峰1，王妍玮2，卫　晋3
(1.黑龙江外国语学院信息工程系，哈尔滨150025;2.黑龙江科技大学机械工程学院，哈尔滨150025;3.北京理工大学计算机科学与技术学院，北京100081)摘要：针对传统乳腺超声影像分割算法存在准确率低㊁精度低且耗时长等问题，提出基于深度学习的三维乳腺超声影像自适应分割算法㊂首先预处理图像，采用深度多示例学习方法检测病变图像块，删除正常图像块㊂然后对乳腺超声影像数据集扩增处理，用于神经网
络训练㊂其次构建残差卷积神经网络模型，设计残差学习单元，结合扩增数据集形成特征映射，采用softmax 函数训练网络并进行特征块判断，并结合阈值设置实现三维乳腺超声影像自适应分割㊂实验结果表明，该算法能更细致地完成图像分割，算法平均运行耗时为
52.3s，图像分割精度为95.5%，且F1分数值高，整体性能佳，为卷积神经网络分割应用提供参考㊂关键词：三维乳腺超声；病变检测；数据集扩增；残差卷积神经网络；深度学习
中图分类号:TP391文献标志码:A Adaptive Segmentation for 3D Breast Ultrasound Images Using Deep Learning
LI Xiaofeng 1,WANG Yanwei 2,WEI Jin 3(1.Department of Information Engineering,Heilongjiang International University,Harbin 150025,China;
2.School of Mechanical Engineering,Heilongjiang University of Science and Technology,Harbin 150025,China;
3.School of Computer Science and Technology,Beijing Institute of Technology,Beijing 100081,China)Abstract :Traditional segmentation algorithms have problems such as low accuracy,low precision and time⁃consuming.Therefore,an adaptive segmentation algorithm for 3D breast ultrasound
images using improved deep learning is proposed.First,the images are pre⁃processed,and the deep multiple example learning method is used to detect the lesion image blocks and remove the normal image blocks.Second,the breast ultrasound image data set is augmented and processed for neural network training.Then,a residual convolutional neural network model is constructed,a residual learning unit is designed,a feature mapping is formed by combining the augmented dataset.A softmax function is used to train the network and perform feature block judgment.Finally,combined with threshold settings,the achieves adaptive segmentation of 3D breast ultrasound images is realized.The results show that the proposed algorithm can complete image segmentation more carefully,and the average running time of the algorithm is 52.3s,the image segmentation accuracy is 95.5%,the F1score value is high,and the overall performance is good,which provides a reference for the application of convolutional neural network segmentation.Key words :3D breast ultrasound;lesion detection;data set amplification;residual convolutional neural network;deep learning 0　引　言乳腺癌是一种较为常见的癌症，是危害女性身体健康的主要杀手之一㊂临床医疗诊断中，针对乳腺
癌疾病实行 早发现㊁早诊断㊁早”的准则，因此早期诊断结果的准确性非常重要，并能为提供重要的前期依据[1⁃2]㊂目前超声影像诊断方法，无辐射㊁无创伤且价格适中，已成为乳腺癌临床诊断的重要技术手段[3]㊂乳腺超声影像分割是辅助医生临床诊断的常见步骤，从超声影像中检测目标获取病变
区域，辅助医生诊疗，分割结果的准确与否直接影响医生诊断效果[4]㊂但由于不同模态影像的含噪情况㊁强度信息不均匀等干扰，图像质量下降，边缘模糊，且由于浸润效应使肿瘤与周围组织较为相似，增加了病变区域分割的难度，使分割技术研究具有一定挑战，因此乳腺超声影像分割对于乳腺疾病的临床诊疗较为迫切，且具有重要的临床意义[5⁃6]㊂目前针对乳腺超声影像的研究报道较多，笔者主要对近年来一些相对重要的文献进行了分析，例如,Xu 等[7]对乳腺超声影像的肿瘤显著性进行估计，首先对乳腺解剖进行建模，将乳房超声图像分解成层，然后利用层生成前景和背景图，最后提出一种新的目标函数，通过整合前景图㊁背景图㊁自适应中心偏倚和基于区域的相关线索估计肿瘤显著性，该研究能准确获取肿瘤信息，但计算速度相对较慢，耗时长㊂Wang 等[8]提出了一种新的具有粗到细特征融合的卷积神经网络，融合网络由编码器㊁解码器和核心融合流路径组成，较好地获取了各种大小的病变特征㊁聚合从粗到细的信息和高分辨率的边缘特征，完成乳腺病变分割，但分割精度不高㊂Zhang 等[9]提出了一种基于全卷积网络的多目标语义分割方法，将乳腺超声图像分割到不同的目标组织区域，同时采用全连通跳跃结构优化卷积神经网络模型，实现乳腺超声图像分割，但仍存在一定误差㊂Lei 等[10]针对自动乳腺解剖分割，设计了基于自注意力机制的深度学习编解码器分割方法，加入了一个非局部上下文块，增强对高级上下文线索的学习，配备了加权上采样块加强采样效果，同时开发了协同注意机制提高两个连续切片之间的分割一致性，该算法的学习过程仍需优化，以降低运行时间㊂Huang 等[11]提出了一种通过语义分类和合并补丁分割乳腺肿瘤的新方法，通过反向传播神经网络进行初始分类，使用K ⁃最近邻(KNN:K ⁃Nearest Neighbor)进行重新分类，得到分割结果，但该方法的分割效果还存在一些不足，如轮廓㊁边缘等清晰度不够㊂
卷积神经网络作为一种典型的深度学习算法，在图像特征提取方面具有非常强大的能力，因而被广泛
应用于图像分割㊁目标分类等计算机视觉研究中，且取得了较好的成果[12⁃13]㊂考虑乳腺超声影像的干扰因素较多，为更好的辅助医生完成乳腺疾病的临床诊疗，笔者提出一种基于深度学习的三维乳腺超声影像自适应分割算法，以寻高效的乳腺超声影像分割手段为临床诊疗提供依据㊂首先对图像进行预处理和病变图像块检测，然后构建残差卷积神经网络模型，基于改进模型完成乳腺超声影像分割㊂实验结果表明，所提算法具有较好的分割效果，且准确度㊁精度㊁耗时㊁F1分数等各项评价指标均优于传统算法㊂笔者主要贡献如下:1)采用深度多示例学习方法完成了乳腺超声影像的病变图像块检测，对图像块做出了初步分类，缩小了后续图像分割范围;2)引入残差思想改进卷积神经网络，增强了对图像的特征学习能力，并解决了神经网络梯度消失问题;3)针对卷积神经网络需要使用大量数据样本进行网络训练的问题，首先对数据集进行扩增，增加了图像特征类型，解决了实际临床诊断中难以获取大规模图像的问题㊂1　乳腺超声影像预处理
预处理是图像分析过程的首要基础步骤，其通过一系列操作，消除原始图像中的噪音等无用信息,
保留有效信息并增强，这不仅提高了图像质量，而且还提升了算法对图像的处理效果和应用效果[14]㊂乳腺超声影像预处理过程如图1所示
㊂图1　乳腺超声影像预处理
Fig.1　Breast ultrasound image preprocessing 5
8第1期李晓峰，等：基于深度学习的三维乳腺超声影像自适应分割
正则化参数的自适应估计2　乳腺超声影像病变图像块检测乳腺超声影像预处理完成后，采用深度多示例学习方法对图像进一步处理，检测得出病变图像块
，图2　乳腺超声影像病变图像块检测过程Fig.2　Detection process of lesion image block in breast ultrasound image 删除无病变的图像块，相当于完成了图像区域的分
类，优化了后续乳腺超声影像分割步骤[15]㊂基于深度多示例学习的乳腺超声影像病变图像块检测过程如
图2所示㊂
图2中，基于深度多示例学习的乳腺超声影像病
变图像块检测过程主要包括卷积神经网络层㊁线性回
归层㊁排序层和分类层㊂输入预处理得到的乳腺超声
影像轮廓图像后，卷积神经网络层通过卷积和池化图
像特征，降低特征维度，增强网络的非线性，获取示
例特征㊂线性回归层和排序层通过对乳腺超声影像示
例特征进行线性回归和排序处理，为图像分类提供基
础㊂分类层采用分类器对正常图像块和病变图像块进
行分类，同时整个检测过程需要利用损失函数对网络
参数进行调节，最终完成病变区域检测[16⁃17]㊂以预处理得到的乳腺超声影像轮廓图像为基础，选取其中的任一图像块，记作R ，经卷积和池化后获取特征图F ，图像块R 的深度特征为F ab ，其中a 和b 为索引行和列㊂在卷积层后引入线性回归权
重α，线性回归层采用sigmoid 函数计算图像特征，则可得到索引位置(a ,b )的示例图像块为病变图像的概率
P =sigmoid(αF ab +c ),
(1)其中c 为位置偏差补偿系数㊂
网络训练是深度多示例学习中不可缺少的过程，依据式(1)概率计算结果对网络训练的损失函数进行计算㊂将正常图像块的示例标签表示为正，取值1，病变图像块的示例标签表示为负，取值0，则病变图像块的概率取值范围为[0,1]，概率P 的最大值即可作为乳腺超声影像图像块的病变概率，如下:P′(F ab ,φ)=max(P 1,P 2, ,P n ),(2)
其中φ为网络参数㊂在排序层根据概率值大小对乳腺超声影像图像块进行降序排序,P″=sort({P ′1
,P ′2, ,P ′n }),(3)其中sort()为排序符号㊂
则损失函数为L =∑N i =1log(F i ,P″)+φ2θ2,(4)
其中θ为卷积神经网络模型的超参数，是一个正则化项系数㊂因为卷积神经网络计算过程中，随着样本数据的逐渐增多，模型的复杂度会相应增加，当复杂度达到一定程度时，为避免模型陷入过拟合状态，需要在损失函数中增加正则项系数，以降低模型的复杂度㊂
针对实际场景中可能出现的样本不平衡问题，引入权重系数γ进一步优化损失函数，得到
L′=γL ㊂(5)3　基于深度学习的三维乳腺超声影像自适应分割近年来，深度学习发展迅猛，卷积神经网络作为深度学习的重要代表技术，具有非常好的感知功能和特征处理能力，能快速处理高维图像，获取更多的图像语义信息，因此在图像分割等领域具有较大的优势[18⁃19]㊂为此笔者采用改进卷积神经网络进行三维乳腺超声影像自适应分割研究㊂
68吉林大学学报(信息科学版)第41卷
3.1　数据集扩增处理
为提高卷积神经网络模型的泛化能力，通常采用的方法是对大规模数据集进行网络训练，以此学习不同情景下的图像特征，但在实际临床诊断时很难大规模获取标注的乳腺超声影像，且成本会大大增加[20]㊂因此笔者采用增强手段对训练数据集进行处理，在保证数据特性不变或特性相似的前提下，扩增训练数据样本，增加网络学习的特征类型，为三维乳腺超声影像分割做好数据基础㊂相较于传统数据增强算
法，移动最小二乘形变方法[21]能在扩增数据集的同时，最大程度保留原始图像的特征信息，因此笔者采用该方法增强数据㊂建立形变函数S(x)遍历乳腺超声影像上的像素点，原始像素位置用x表示，形变函数S(x)主要由平移矩阵T和线性变换矩阵V组成，则有
S(x)=T+x V㊂(6)  移动最小二乘形变方法需满足在增强数据时保证形变最小，即需要存在像素点形变的均方根误差最小，均方根误差计算公式为
E=ω∑i S(x i)-y i2,(7)其中x i㊁y i分别为形变前和形变后的三维乳腺超声影像位置坐标,ω为形变权重㊂
假设式(6)在理想状态下取值达到最小0，则
T=y
i -x i V,(8)
S(x)=y i+(x-x i)V㊂(9)  此时，均方根误差公式为
E=ω∑i(x i-x)V-(y i-y)2㊂(10)  通过式(10)计算得到均方根误差的最小值，完成乳腺超声影像数据集扩增㊂
3.2　改进卷积神经网络模型构建
根据乳腺分割的实际场景，将残差学习思想融入卷积神经网络中[22]，笔者提出一种残差卷积神经网络模型，增加神经网络深度，进一步提高其特征自主学习能力，同时利用残差学习单元解决梯度消失问题，实现对乳腺超声影像的精准分割㊂
残差学习单元是一种残差映射的神经网络单元，由许多卷积层和一个捷径组成，相关研究表明，残差映射相比正常映射更为便捷和容易实现[23]㊂假设输入图像d，通过捷径传输至残差映射，捷径传输过程网络规模和参数数量不变，则残差学习单元可直接输出期望值Y(d)㊂
当输入图像d与残差函数M()维度相同时，残差映射为
Y(d)=M(d,U)+d㊂(11)  当输入图像d与残差函数M()维度不同时，残差映射为
Y(d)=M(d,U)+Ud,(12)其中U为线性映射值㊂
将残差学习单元融入卷积神经网络中，能有效提升特征传播能力，同时采用前馈的方式连接每个特征层，提高特征信息传输效率，形成特征映射
f m=H(f0,f1, ,f m-1),(13)其中H()为特征映射函数,f i为映射特征㊂
在特征学习完成基础上，对三维乳腺超声影像进行分割处理，采用softmax函数训练网络，利用训练完成的卷积神经网络模型对特征块进行判断，计算对应的分类概率，完成图像分割㊂softmax函数为
softmax(f)=e f∑m
i=1e f i
㊂(14)
3.3　三维乳腺超声影像分割步骤
基于深度学习进行三维乳腺超声影像自适应分割的具体步骤如下㊂输入：原始乳腺超声影像;78
第1期李晓峰，等：基于深度学习的三维乳腺超声影像自适应分割
输出：三维乳腺超声影像分割结果㊂
对网络相关参数进行初始化设置，通过如下步骤实现图像分割:
1)图像预处理，提高乳腺超声影像质量;2)采用深度多示例学习方法检测预处理后的三维乳腺超声影像，获取病变影像，缩小分割范围;3)为卷积神经网络模型构建做准备，扩增数据集，为模型训练提供大量样本;
4)构建残差卷积神经网络模型，初始化模型参数，设置训练样本数量，设置初始化卷积核服从高斯分布，
并设定网络学习速率和迭代次数等;5)模型训练，计算损失函数，对模型参数进行自适应更新;6)神经网络训练完成后，设定合适的阈值，输入测试样本对三维乳腺超声影像进行分割㊂三维乳腺超声影像病变图像块特征值通常分布较广，为此笔者将顺序统计量作为阈值，进行三维乳腺超声影像的自适应分割㊂计算公式为
ξ=βm median (F i )+δm mean (F i ),(15)
其中m median (F i )为三维乳腺超声影像特征值的中位数函数,m mean (F i )为三维乳腺超声影像特征值的平均
值函数,β和δ分别为对应的赋值参数,β+δ=1㊂
假设待测试三维乳腺超声影像的特征块为F′(a ,b )，则图像分割表达式为Q (a ,b )=1,F′(a ,b )≥ξ,0,F′(a ,b )<ξ{,(16)
其中1为该特征块为可分割区域,0为该特征块为不可分割区域㊂
综上所述，三维乳腺超声影像自适应分割算法流程如图3所示
㊂
图3　三维乳腺超声影像自适应分割算法流程
Fig.3　Process of adaptive segmentation of 3D breast ultrasound image algorithm 4　实验与结果分析4.1　实验环境与数据集为验证基于卷积神经网络的乳腺超声影像自适应分割算法的有效性，采用Keras 框架实现乳腺超声影像分割㊂仿真实验基于Windows10操作系统实现，硬件环境为Intel i7⁃6700CPU㊁GTX 1660Ti GPU㊂实验使用INbreast㊁RIDER Breast 和某医疗机构乳腺超声影像数据集㊂INbreast 数据集是一个数字化乳腺超声数据集，来源于葡萄牙波尔图的乳腺癌中心，共包含115例患者的410幅乳腺超声图像，其中90例为双乳女性,25例为乳房切除术患者，主要病变类型为肿块㊁变形以及钙化等㊂RIDER Breast 数据集为乳腺癌核磁共振影像数据，包含1500幅乳腺超声图像,10项研究，该数据集对乳腺癌诊治过程进行了全程数字化跟踪，并以数字档案的形式存储㊂某医疗机构乳腺超声影像数据集含有
100例患者的乳腺超声图像，其中50例良性㊁50例恶性，共计图像400幅㊂患者年龄分布在20~60岁，所有患者均接受了手术㊂从以上3个数据集中共选取500幅乳腺超声图像，对图像进行预处理，然后按照7∶3的比例划分为训练集和测试集，输入到改进的卷积神经网络方法中测试算法性能㊂
4.2　实验指标在上述实验环境和数据基础上，采取如下实验指标对比笔者算法与文献[7⁃11]算法，验证笔者算法的各项指标性能㊂
88吉林大学学报(信息科学版)第41卷

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。