级联稀疏卷积与决策树集成的病理图像细胞核分割方法
宋 杰 1, 2    肖 亮 2, 3    练智超 2
摘要  数字病理图像分析对于乳腺癌、肾癌等良恶性分级诊断具有重要意义, 其中细胞核的形态测量是病理量化分析的关键. 然而, 由于病理图像背景复杂, 细胞核高密度分布、细胞粘连等, 个体细胞核精准分割是一个挑战性问题. 本文提出一个级联稀疏卷积与决策树集成学习的细胞核分割模型. 该模型由稀疏可分离卷积模块和集成决策树学习的正则化回归模块堆叠级联组成, 其中: 前者采取秩-1张量分解学习机制, 可分层抽取细胞核的多尺度方向分布式抽象特征; 而后者采取随机采样、树剪枝以及正则化回归机制提升逐像素回归分类能力. 相比于现有深度学习模型, 该模型无需非线性激活和后向传播计算, 参数规模较小, 可实现端到端的学习. 通过乳腺、前列腺、肾脏、胃和膀胱等多组病理图像的分割实验表明: 该模型能够实现复杂数字病理图像中的高密度细胞核的快速个体目标检测和分割, 在Jaccard相似性系数、F1分数和平均边缘距离三个指标上均优于目前CNN2、CNN3和U-Net等深度学习方法, 具有较好应用前景.
关键词  数字病理, 细胞核分割, 级联稀疏可分离卷积, 集成决策树, 正则化回归, 深层表征学习
引用格式  宋杰, 肖亮, 练智超. 级联稀疏卷积与决策树集成的病理图像细胞核分割方法. 自动化学报, 2021, 47(2): 378−390 DOI  10.16383/j.aas.c190672
Cascade Sparse Convolution and Decision Tree Ensemble Model for Nuclear
Segmentation in Pathology Images
SONG Jie1, 2    XIAO Liang2, 3    LIAN Zhi-Chao2
Abstract  The quantitative analysis of digital pathology images plays a significant role in the diagnosis of benign and malignant diseases such as breast and prostate cancer, in which nuclear morphology measurement serve as a basis of quantitative analyses. However, due to the complex background of pathology images, dense distributions of nuclei, and nucleus adhesions, accurate segmentation of individual nuclei remains a challenging problem. In this pa-per, we propose a new method to automatically segment nuclei from digital pathology images with cascade sparse convolution and decision tree ensemble (CscDTE) model. In particular, the sparse separable convolution learning module and the decision tree ensemble learning module are stacked in a cascaded manner to form the CscDTE mod-el. The former adopts rank-one tensor decomposition learning mechanism that can extract multiscale and multi-dir-ectional distributed abstract features; while the latter employs random sampling, pruning, and regularized regres-sion mechanism to boost per-pixel regression and/or classification performance. Compared with the popular deep neural networks, the proposed CscDTE model does not require nonlinear activation and backpropagation computa-tion, and depends on fewer parameters. Our CscDTE model is trained in a layer-wise manner that can achieve an end-to-end pixel
wise learning and fast nuclear detection and segmentation in high-throughput imagery. We demon-strated the superiority of our method in terms of Jaccard index, F1 score, and average boundary distance by evalu-ating it on the multi-disease state and multi-organ dataset where consistently higher performance was obtained as compared to convolutional neural networks and fully convolutional networks.
Key words  Digital pathology, nuclear segmentation, cascade sparse separable convolution, decision tree ensembles, regularized regression, deep representation learning
Citation  Song Jie, Xiao Liang, Lian Zhi-Chao. Cascade sparse convolution and decision tree ensemble model for nuclear segmentation in pathology images. Acta Automatica Sinica, 2021, 47(2): 378−390
收稿日期 2019-09-23    录用日期 2020-03-12
Manuscript received September 23, 2019; accepted March 12, 2020
国家自然科学基金(61871226, 62001247), 国家重点研发计划(2016YFF0103604), 中央高校基本科研专项资金(30918011104)，江苏省社会发展重点研发计划(BE2018727), 南京邮电大学引进人才科研启动基金(NY219152), 江苏省高等学校自然科学研究面上项目(20KJB520005)资助
Supported by National Natural Science Foundation of China (61871226, 62001247), National Major Research Plan of China (2016YFF0103604), Fundamental Research Funds for the Cent-ral Universities (30918011104), Jiangsu Provincial Social Develo-ping Project(BE2018727), NUPTSF (NY219152), Natural Science Foundation for Colleges and Universities in Jiangsu Province (20KJB520005)
本文责任编委 张道强
Recommended by Associate Editor ZHANG Dao-Qiang
1. 南京邮电大学自动化学院、人工智能学院 南京 210023
2. 南京理工大学计算机科学与工程学院 南京 210094
3. 高维信息智能感知与系统教育部重点实验室 南京 210094
1. College of Automation & College of Artificial Intelligence, Nanjing University of Posts and Telecommunications, Nanjing 210023
2. School of Computer Science and Engineering, Nanjing University of Science and Technology, Nanjing 210094
3. Key La-boratory of Intelligent Perception and Systems for High-Dimen-sional Information of Ministry of Education, Nanjing 210094
第 47 卷  第 2 期自  动  化  学  报Vol. 47, No. 2 2021 年 2 月ACTA AUTOMATICA SINICA February, 2021
复杂背景病理图像个体细胞分割是在成千上万个体细胞汇集的图像中逐个分割出具有相对完整边界的细胞, 为后续细胞形态计算和病理特征提供定量分析. 传统的病理切片分割方法, 需要经过专门训练的病理医师在图像中逐个寻感兴趣区域(Regions of interest, RoI), 而后根据专业知识分析诊断. 一张病理切片通常包含成百上千个细胞或细胞核, 这给医师带来很大的工作负担, 疲劳阅片现象时有发生[1]. 虽然目前已有很多病理细胞图像处理方法, 但这些方法大多只关注于特定类型或单一器官的细胞或细胞核分割. 因此, 临床和医学研究迫切需要能够进行多个器官和疾病状态的细胞核病理图像高精度分割方法[2]. 然而, 如图1所示, 个体分割具有如下挑战: 一方面, 对于病理状态(例如增生或某种癌症亚型)图像而言, 由于细胞核增大, 并呈现染质浓集贴边, 即核內染质较浅, 而边缘附近染质较深; 而着较深的核仁也大量出现在核内.另一方面, 由于病理图像中往往细胞密度高、细胞间出现重叠和成团等突出问题, 加剧了个体细胞分割的难度. 目前方法体系主要分两类: 传统基于人工特征的图像分割方法和基于表示特征学习的图像分割方法.
(a)(b)(c)
(d)(e)(f)
图 1  病理细胞核图像分割的挑战与人工分割结果
Fig. 1    Challenges in nuclear segmentation and
associated ground truth
传统图像分割方法包括: 水平集方法、图论方法和分水岭方法等. 水平集算法是目前比较流行的分割方法. 其基本模型包括两类: 基于边缘的水平集模型[3]和基于区域的水平集模型[4]. 近年来, 基于后者, 很多改进的方法[5]被提出来广泛应用于病理图像的细胞分割中. 在现有方法中, 基于图论的分割方法是病理图像分析中应用最为广泛的技术之一. 最常用算法是最小割算法[6], 除了主流的图割方
法, 其他类型的图模型也已经应用到个体细胞核的分割, 例如属性关系图模型[7]. 另一类基于图像分析的代表性方法是分水岭算法, 分水岭算法通常期望目标细胞核内灰度分布均匀, 并且目标与背景具有明显灰度或颜差异. 图像中的噪声、目标内部灰度变化, 都会产生过度分割的现象. 为此, 人们提出若干标记控制的分水岭及其变种算法[8−10]. 传统图像分割方法为了得到精确的个体分割结果, 通常需要分析RoI 特有属性来设计额外的后处理步骤, 从而导致算法可迁移性较差.
虽然深度学习方法能较好地处理病理图像细胞核表观多样性的分割问题, 但由于网络架构、网络复杂性
以及超参数的影响, 使其分割性能受到限制.针对病理图像细胞核表观多样性的分割问题及深度神经网络的局限性, 国内外研究者提出了系列具有较小参数规模的快速浅层分割学习模型. 与现有深度学习模型相比, 浅层学习模型无需非线性激活和后向传播计算, 且学习模型参数规模较小. 传统浅层分割学习方法[11−12]为了得到密集预测结果, 通常使用像素周围的一个图像块作为模型的输入用于训练和预测. 由于只能提取一些局部的特征, 从而导致分割的性能受到限制. 而基于卷积操作的浅层学习模型[13−18]则是从抽象的特征中恢复出每个像素所属的类别, 从而可以实现比传统模型更加精确的分割结果. 然而, 这类浅层分割学习模型没有充分考虑像素间的局部依赖关系, 因此对图像细节特征快速捕获和紧致表达能力有待加强. 此外, 在传统集成决策树学习算法中最先学习得到的一两棵树对预测结果的影响最为显著, 这使得整个模块对这些树所做出的决策过于敏感, 容易产生过拟合现象.
为了解决这些问题, 本文的主要贡献是:
1) 提出了级联稀疏卷积与决策树集成(Cas-cade sparse convolution and decision tree en-semble, CscDTE)学习模型, 该模型没有非线性激活和后向传播计算, 且学习模型参数规模较小, 其特征学习过程具有一种替代深度神经网络的新型学习机制;
2) 采取多层稀疏可分离卷积特征学习捕获图像上下文特征; 采取秩-1张量分解[19]的可分离卷积加速特征学习过程;
3) 建立集成决策树学习的正则化回归模型, 采取局部二阶近似逼近优化决策树, 提高分类回归泛化性能;
4) 在乳腺、前列腺、肾脏、胃和膀胱等多组病理图像的分割实验表明该模型优于目前CNN2、CNN3和U-Net 等深度学习方法, 对于病理图像分割具有较好应用前景.
2 期宋杰等: 级联稀疏卷积与决策树集成的病理图像细胞核分割方法379
1    相关工作
1.1    浅层特征学习方法
J f ={f j }J j =1浅层特征学习分割方法中代表性方法包括稀疏编码方法[11, 13]以及多层稀疏卷积特征学习方法[15−18].相比标准的卷积滤波器组来说, 稀疏可分离卷积滤波器组能够在不影响其性能的情况下大大降低计算复杂度. 例如Sironi 等[13−15]通过学习一组可分离卷积滤波器有效提取图像中曲线状奇异边缘结构. 具体地, 稀疏卷积滤波器学习方法是利用一组样本，通过利用稀疏编码方法[20−21]学习  个卷积滤波器 : =
f j ∈R d ×d ,a i j I i
βa i j f j {f j }J j =1{f j }J
j =1I m ={m j }J j =1,m j =
f j ∗I,∗其中,  是输入图像  的稀疏编码,  是正则化参数. 模型(1)可通过交替方向法[22]迭代优化更新  和  进行求解. 当得到一组卷积滤波
器  之后, 则可以采取  对图像  进行
卷积生成一组卷积特征图  其中,  符号  表示卷积运算. 受稀疏编码方法的启
发, Song 等[16]通过在线学习稀疏卷积特征并在模型更深层引入上下文信息实现了鲁棒的显微颗粒目标联立检测和分割. 进一步, Song 等[17]通过结合分层稀疏特征学习和人工特征, 设计了Boosting 判别
概率二叉决策树分类方法.1.2    深层特征学习方法
随着深度学习的兴起, 研究者提出了系列深层
特征表示学习的病理图像分割方法[23−27]. 代表性网络包括卷积神经网络(Convolutional neural net-wor
ks, CNN)[24−25] 和全卷积网络(Fully convolu-tional network, FCN)[26−27]. 深度学习方法为解决细胞核表观多样性的图像分割问题提供了有效途径.通常, CNN 网络在卷积层之后会接上若干个全连接层, 将卷积层产生的特征图映射成一个固定长度的特征向量, 以实现图像级的分割任务[28] (见图2).例如, Xing 等[24]针对组织病理细胞核图像, 构建了两个卷积—池化层对和两个全连接层构成的CNN2模型, 实现了端到端的模型训练, 进而对测试图像的细胞核进行分割. 在此基础上, Kumar 等[25]提出了更深的CNN3模型, 实现了更广泛病理图像的分割. 与CNN 不同, FCN 可以接受任意尺寸的输入图像, 采用反卷积层对最后卷积层的特征图进行上采样, 使它恢复到输入图像相同的尺寸, 从而可实现逐像素预测, 并可保留原始输入图像的空间信息，最后在上采样的特征图上进行逐像素分类[29], 完成像素级的分割. 例如, Zhang 等[26]通过结合FCN 和基于图论的方法, 提出了一种宫颈癌细胞核分割新方法. 最近, Ronneberger 等训练了一种特殊的U-Net 网络结构[27] (见图3), 通过在收缩路径上捕获全局特征和在扩展路径上实现精确定位, 较好解决了
卷积
最大池化
卷积
最大池化
全连接全连接全连接
分类
图 2    用于病理图像分割的CNN 体系结构
Fig. 2    The CNN-style architecture for pathology image segmentation
卷积反卷积
图 3    用于病理图像分割的U-Net 体系结构
Fig. 3    The U-Net-style architecture for pathology image segmentation
380自      动      化      学      报47 卷
复杂神经元结构的分割问题. 然而, 深度学习方法需要较大规模的训练数据集以经验拟合深层网络参数.
目前, Zhou 等提出了一种多粒度级联森林方法, 称为gcForest [12]. 这是一种采取非神经网络, 而采取决策树集成的方法, 性能较之深度神经网络有很强的竞争力. 深度神经网络需要花大力气调参，相比之下, gcForest 方法更容易训练得多. 实际上，在几乎完全一样的超参数设置下, gcForest 在处理不同领域的不
同数据时, 也能达到极佳的性能.
2    本文方法
(m ,y )m ={f 1,j ∗I }J 1
j =1I f 1y φh (m )h 针对病理图像细胞核表观多样性的分割问题以
及深度神经网络的局限性, 本文提出了一种复杂病理细胞核分割的级联稀疏卷积与决策树集成(CscDTE)学习模型, 如图4 所示. 假设  表示训练样本
集, 其中,  是从输入图像  提取的特征图集,  是第一层学习得到的卷积滤波器组, 是尝试预测的目标. CscDTE 框架旨在渐进地提供一种非线性模型  拟合数据样本, 其中,  表示模型参数.
2.1    稀疏可分离卷积特征学习
f j {f j }J j =1Z ∈R d ×d ×J Z j j f j Z R f j {k r }R r =1一般而言,  是满秩的, 当卷积较大图像时，计算耗时. 如果将这些卷积滤波器  堆叠成一个三维张量  , 其中,  的第  个切片对应第  个卷积滤波器  , 可发现该张量存在大量冗余特征. 为此, 为了学习可分离核, 本文进一步引入低秩张量分解技术[19], 利用一组秩为1 (秩-1)张量的线性组合来近似  , 从而实现可分离卷积核，加速特征计算. 该方法基于如下假设: 一个秩为 的滤波器  总能由一组秩-1可分离核:  线
f j =
∑R
r =1
c r j k r c r
j f j {k r }R r =1c r j f j R <J
R 性表示:  , 其中,  为标量权重. 此
时所有的  共享同一组秩-1可分离核  , 只
有权重系数  因不同的  而改变, 且  . 因此，为了得到上式中的分解形式, 本文利用低秩张量分a r b r d c r J ◦k r a r b r k r =a r ◦b r f j c r j c r j k r m {k r }R r =1I R J J 1×1其中,  和  均是长度为  的向量,  是一个长度
为  的向量, 符号  表示张量积. 式(2)的求解可通过使用共轭梯度下降法[30]来实现. 如图5所示, 可分离核  可由典范多元分解(Canonical polyadic decomposition, CPD) 成分  和  给出, 即 . 用于重构卷积滤波器  的权重  则由向量  的第  个成分给出. 为了捕获不同类型的图像特征, 本文相应学习多个可分离核组. 归于可分离卷积核的学习机制, 每个  都能分解成一个水平滤波器和一个垂直滤波器. 因此, 为了获得  , 首先使用  对图像  进行快速卷积, 生成一组可分离特征图. 然后, 针对每个像素位置, 将这些  维向量映射到一个  维向量. 这等价于在可分离特征图上应用  个空间维度为  的滤波器[31].
这样, 基于秩-1张量分解学习机制, 本文实现了病理细胞核的多尺度方向分布式抽象特征的分层抽取. 模型的每层始于稀疏可分离卷积核组的训练及相应卷积特征图的计算. 然后以卷积特征作为样本输入, 通过集成决策树学习的正则化回归模块生成得分图预测结果, 如图4所示.2.2    集成决策树学习的正则化回归模型
f i =f (x i ,I )∈R J I 令  表示输入图像  中像素点
第一层
第二层
j 1
j 2
输入图像可分离滤波器学习d 1×d 1
可分离滤波器学习线性组合集成学习稀疏可分离卷积模块1×1
d 2×d 2
1×1
集成决策树模块
R 1个可分离特征图
J 1个卷积特征图
稀疏可分离卷积模块R 2个可分离特征图
J 1+J 2个级联卷积特征图
集成决策树模块
线性组合集成学习
图 4    两层CscDTE 学习模型示例
Fig. 4    Example of two-layer CscDTE architecture
2 期宋杰等: 级联稀疏卷积与决策树集成的病理图像细胞核分割方法381
x i (m ,y )N {(f i ,y i )}N i =1,y i ∈R .M {h m l (·)}M m =1:R
J l
→R ,M  对应的特征向量, 则从给定的样本集  中随
机采样  对训练样本集  CscDTE
框架中的集成决策树学习模块的目标是学习  棵既有预测能力又相对简单的决策树(见图6):
并使用这  棵决策树的组合来预测每层的输出:
l m h m l (·)其中, 第
层第  棵决策树  定义如下:
s m l (·):R
J l
→{1,2,···,C m l }C m l =
|h m l (·)|w s m ℓ
(·)=[w 1,···,w C m l ]T ∈R C m
ℓ
其中,  为决策树结构，表示将一个样本映射到相应的叶节点索引.  为当前决策树中叶节点的数目.  为所有叶节点的响应值向量.
这样, 每棵决策树对应一个独立的结构和一组叶节点响应值. 那么, 给定一个输入样本, 就可以利用不同决策树的结构将其划分到叶节点中, 然后对相应叶节点的响应值进行累加求和来计算最终输出. 为
M 了学习模块中的  棵决策树, 本文以贪婪加性方式[32−33]定义如下代价函数:
y =[y 1,···,y N ]T ;
ℓ2  w s m l (f )
h m l (·)λγ其中, 第一项为数据拟合项, 该项中 第二项对应  正则化, 第三项  表示决策树 上叶节点的个数, 第二项和第三项将起到决
策树剪枝作用[32], 用于控制决策树的复杂度来避免
过拟合, 参数  为正则化系数, 参数  表示引入额外叶节点复杂度成本. 直观地, 最小化上述代价函数有利于算法选择既有预测能力又相对简单的决策树.
2.3    局部二阶近似优化
s m l (·)L c ˆw c =
G m l,c
/(H m
l,c +
λ2
)
,G m l,c H m
l,c ˆw c ˆL ˆs m l (·)为降低计算复杂度, 本文采用代价函数的一个局部二阶近似来对式(5)进行优化. 集成决策树学习的正则化回归算法通过计算损失函数的二阶导数, 有利于梯度下降的更快更准[34]. 这样, 对于一个固定的决策树结构  , 则可通过  的局部二阶近似计算第  个叶节点的最优响应值, 即  其中,  和  分别对应一阶
梯度和海森(Hessian)值. 一旦得到  , 就可以通
过计算最优  来选择最优决策树结构  . 算法
终止条件为: 可预先设置决策树的最大深度值, 使得当决策树的生长到达该深度时, 算法停止继续分裂. 重复上述加性训练过程直至最后一棵决策树.
z
c 1j
c 1
c 2
a 2
a 1
b 1b 2
c R
a R
b R
c 2j
c R j
图 5    基于张量分解技术学习一组秩-1可分离核Fig. 5    Tensor decomposition for learning rank-1
separable kernels
h l
1(·)h
l
1
a l 1h
正则化与稀疏
l
1
a l
1
a l m h l
m
a l m h
l
m
h l
2(·)h
l
2a l
2h
l
M −1a l
M h l
M (·)j l  =f 1
m =1
2
m 1m 2y ∑m =1
M −1
∑a l m h l
m m =1
M
∑m J
y 1
随机采样
加权
加权加权
随机采样
随机采样
图 6    CscDTE 框架中的集成决策树学习模块的训练过程
Fig. 6    Flowchart of the training procedure for the decision tree ensemble learning module of CscDTE framework
382
自      动      化      学      报
47 卷

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。