㊀第３７卷第６期㊀㊀㊀㊀㊀佳木斯大学学报(自然科学版)㊀㊀Ｖｏｌ.３７Ｎｏ.６㊀２０１９㊀年１１月㊀㊀㊀㊀ＪｏｕｒｎａｌｏｆＪｉａｍｕｓｉＵｎｉｖｅｒｓｉｔｙ(ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ)㊀Ｎｏｖ.㊀２０１９
文章编号:１００８－１４０２(２０１９)０６－１００１－０５
基于改进的多通道卷积神经网络模型的图像分类方法①
周衍挺
(安徽理工大学数学与大数据学院ꎬ安徽淮南２３２００１)
摘㊀要:㊀为了充分提取图像特征信息ꎬ同时减轻模型过拟合ꎬ提出了一种改进的多通道卷积神经网络模型ꎮ首先ꎬ利用三条卷积通道提取图像特征信息ꎬ各通道选择不同的卷积核大小ꎬ并利用小卷积核堆叠代替大卷积核的方法减少模型参数ꎬ再采用特征融合与批标准化技术对特征信息进行处理ꎬ最后输入到ｓｏｆｔｍａｘ分类器进行分类ꎮ将改进模型㊁单通道模型㊁多通道模型㊁传统图像分类模型用于对ＣＩＦＡＲ－１０数据集进行分类ꎮ实验结果表明ꎬ改进模型可以有效提取图像特征信息ꎬ减轻过拟合ꎬ进而提升模型的分类精度ꎮ
关键词:㊀卷积神经网络ꎻ多通道ꎻ图像分类ꎻ批标准化
中图分类号:㊀ＴＰ３９１.４㊀㊀㊀㊀文献标识码:㊀Ａ
０㊀引㊀言
自２０１２年Ｈｉｎｔｏｎ和ＡｌｅｘＫｒｉｚｈｅｖｓｋｙ用Ａｌｅｘ￣Ｎｅｔ模型[１]夺得ＩｍａｇｅＮｅｔ视觉挑战赛冠军后ꎬ卷积神经网络(ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋꎬＣＮＮ)成为了图像分类[２ ３]的主流模型ꎮ传统的单通道卷积神经网络对图像进行卷积处理后ꎬ会损失一些重要的图像特征ꎬ使得模型的图像分类性能下降ꎮ针对上述问题ꎬ冯家文等[４]提出一种双通道卷积神经网络ꎬ利用大小不同的卷积核提取手势图像的特征ꎮ文元美等[５]提出了一种基于高低维度特征融合的双通道卷积神经网络ꎬ让模型同时利用图像的高级与低级维度信息对图像进行识别ꎮ
文献[４]及文献[５]提出的多通道卷积神经网络能够有效提取图像特征ꎬ但是其通道数较多ꎬ使得模型参数增加ꎬ从而导致过拟合现象ꎮ因此ꎬ为了降低计算量和减轻过拟合现象ꎬ文中给出了一种改进的多通道卷积神经网络ꎮ各通道采用不同大小的卷积核ꎬ从而可以有效地提取图像全局与局部特征信息ꎮ此外ꎬ在改进模型中引入批标准化㊁Ｄｒｏｐｏｕｔ㊁Ｌ２正则化ꎬ并对输入数据做数据增强处理ꎬ从而减轻模型的过拟合ꎬ有效提升模型在数据集上的分类精度ꎮ１㊀模型相关技术
１.１㊀ＣＮＮ简介
ＣＮＮ主要由卷积层㊁池化层以及全连接层构成ꎮ卷积层由多个特征图(ＦｅａｔｕｒｅＭａｐꎬＦＭ)以及卷积核组成ꎬ卷积核在特征图上按固定步长移动ꎬ并且与局部感受野对应位置进行卷积运算ꎬ再加上偏置值ꎬ最后经过激活函数得到输出值ꎮ文中选取的是Ｒｅｌｕ激活函数ꎬ该函数可以减少计算量ꎬ防止梯度消失ꎮ卷积层的数学表达式为:
Ａｋｉ＝ｍａｘ(Ｗｋｉ Ａｋｉ－１＋ｂｋｉꎬ０)(１)其中用ｉ表示层数ꎬ 表示卷积运算ꎬ网络的第ｉ层的第ｋ个特征图用Ａｋｉ表示ꎬ第ｉ层的第ｋ个卷积核由权重矩阵Ｗｋｉ和偏置项ｂｋｉ决定ꎮ池化层可以整合特征图中相邻神经元的输出ꎬ从中提取出图像主要特征ꎮ文中选取的方法是最大池化ꎬ该池化操作是计算每个区域的最大值作为输出ꎮ全连接层对提取出的图像特征信息做进一步降维处理ꎬ再输入分类器进行分类ꎮ
①收稿日期:２０１９－１０－２５
基金项目：国家自然科学基金(１１６０１００７)ꎮ
作者简介：周衍挺(１９９６－)ꎬ男ꎬ浙江台州人ꎬ硕士ꎬ研究方向：机器学习与图像处理ꎮ
佳木斯大学学报(自然科学版)２０１９年１.２㊀正则化
在ＣＮＮ训练过程中ꎬ如果训练数据过少ꎬ而模型本身参数过多ꎬ就容易造成过拟合现象ꎮ为了防止网络
过拟合ꎬ一般采用一些正则化方法来限制网络的参数ꎬ模型采用的正则化方法有Ｄｒｏｐｏｕｔ㊁Ｌ２正则化以及批标准化ꎮＤｒｏｐｏｕｔ技术可以使模型在训练时的神经元输出值以一定的概率变为０ꎬ使这些神经元节点失效ꎬ网络结构变得简单ꎬ从而避免模型对于某一个特征过拟合ꎮＬ２正则化通常是在损失函数中加入权重的Ｌ２范数ꎬ从而减小模型中权重的取值ꎮ正则化后损失函数的具体数学表达式为:
Ｃ＝Ｃ０＋αðｊｗｊ２(２)Ｃ０为原始的损失函数ꎬ后面加上Ｌ２正则化项ꎬ表示对权重平方求和ꎬα表示正则化项在损失函数中所占比例ꎮ
由于深度学习中数据集过大ꎬ通常是一批一批送到网络里训练ꎮ数据在训练过程中ꎬ随着不断的卷积处理ꎬ每个批次的数据分布会有很大的变化ꎮ当训练样本与测试样本的数据分布有很大差别时ꎬ模型的泛化能力会减弱ꎮ批标准化(ＢａｔｃｈＮｏｒｍａｌ￣ｉｚａｔｉｏｎꎬＢＮ)[６]可以使ＣＮＮ的输入值通过规范化处理后ꎬ保持固定的均值和方差ꎬ减少不同批次之间差别ꎬ从而加快训练速度ꎬ降低模型的过拟合ꎮ批标准化的公式为:
ｘ－(ｋ)＝ｘ(ｋ)－Ｅ(ｘ(ｋ))
ｖａｒｘ(ｋ)
()(３)ｘ－(ｋ)表示某一个训练的批次ꎬＥ(ｘ(ｋ))表示全部训练集的均值ꎬｖａｒ(ｘ(ｋ))表示训练集方差ꎮ１.３㊀特征融合
多通道卷积神经网络的特征融合层可以将具有差异性的特征信息进行融合ꎬ使融合后的特征信息区分度更高ꎬ对于图像的表达能力更好ꎮ特征融合的过程如图１所示ꎬ假设输入图像经过多通道卷积神经网络中各通道的卷积池化处理后ꎬ分别可以得到ＸꎬＹꎬＺ张大小为３ˑ３的特征图ꎮ再把特征图在特征通道维数上进行合并ꎬ得到一组数量为Ｘ＋Ｙ＋Ｚ的特征图ꎬ同时保持特征图尺寸不变ꎮ然后将二维的图片数据转化成一维的特征向量ꎬ并将这组数据进行批标准化处理ꎬ使得数据分布更加分散
ꎬ更加接近测试集的数据分布ꎬ从而减轻模型过
拟合ꎮ最后将处理后的一维数据输入全连接层进行特征信息融合
ꎮ
图１㊀特征融合过程
图２㊀单通道卷积神经网络结构图
图３㊀改进的多通道卷积神经网络结构图
２㊀改进的多通道卷积神经网络２.１㊀改进模型的网络结构
运用ＣＮＮ对图像进行分类ꎬ其分类的效果与卷积核的大小是密切相关的ꎮ尺寸大的卷积核感受野的范围也大ꎬ有助于对全局信息的提取ꎬ然而也会导致图像的细小特征丢失ꎮ尺寸小的卷积核可以充分提取图像局部信息ꎬ但是当图像的数据特别稀疏的时候ꎬ不能有效提取出图像特征信息ꎮ图
２为单通道卷积神经网络结构ꎬ该模型卷积核单一ꎬ将会导致图像全局与局部特征信息在卷积提取的过程中有所丢失ꎮ而多通道卷积神经网络采用不同大小的卷积核提取图像特征ꎬ减少图像信息的
２００１
第６期周衍挺：基于改进的多通道卷积神经网络模型的图像分类方法
损失ꎬ但是通道数的增加导致了参数的增多ꎬ使模型过拟合严重ꎬ进而降低图像的分类精度ꎮ
针对上述单通道与多通道卷积神经网络的局限性ꎬ给出了一种改进的多通道卷积神经网络ꎮ图
３为改进模型的网络结构ꎬ模型的特征提取层采用三个通道并联的架构ꎬ包含１２个卷积层ꎬ９个池化层
ꎬ后面连接特征融合层以及输出层ꎮ各个通道中卷积核类型各不相同ꎬ选取在ＣＩＦＡＲ－１０数据集分类中常用的几种卷积核ꎬ大小分别为２ˑ２ꎬ３ˑ３ꎬ５ˑ５ꎬ其中５ˑ５卷积核用两个３ˑ３卷积核代替ꎮ两个３ˑ３卷积核堆叠之后感受野与一个５ˑ５卷积核相当ꎬ并使网络结构更深ꎬ增强了模型的非线性映射能力ꎬ同时可以减少网络参数ꎬ减轻过拟合ꎮ例如：假设卷积层输入输出均为Ｃ通道ꎬ５ˑ５卷积核所需参数数目为５ˑ５ˑＣ２ꎬ两个３ˑ３卷积核参数只有２ˑ３ˑ３ˑＣ２ꎮ
２.２㊀改进模型的图片分类过程
表１㊀改进模型的各通道参数通道一
层名卷积核(池化
大小)/步长
输出尺寸
(ＣˑＨˑＷ)
通道二
层名
卷积核(池化
大小)/步长
输出尺寸
(ＣˑＨˑＷ)
通道三
层名
卷积核(池化
大小)/步长
输出尺寸
(ＣˑＨˑＷ)
ｉｎｐｕｔ ３ˑ２４ˑ２４ｉｎｐｕｔ ３ˑ２４ˑ２４ｉｎｐｕｔ ３ˑ２４ˑ２４
ｃｏｎｖ４３ˑ３/１６４ˑ２４ˑ２４
ｃｏｎｖ１２ˑ２/１６４ˑ２４ˑ２４ｃｏｎｖ５３ˑ３/１６４ˑ２４ˑ２４ｃｏｎｖ１０３ˑ３/１６４ˑ２４ˑ２４ｐｏｏｌ１２ˑ２/２６４ˑ１２ˑ１２ｐｏｏｌ４２ˑ２/２６４ˑ１２ˑ１２ｐｏｏｌ７２ˑ２/２６４ˑ１２ˑ１２
ｃｏｎｖ６３ˑ３/１６４ˑ１２ˑ１２
ｃｏｎｖ２２ˑ２/１６４ˑ１２ˑ１２ｃｏｎｖ７３ˑ３/１６４ˑ１２ˑ１２ｃｏｎｖ１１３ˑ３/１６４ˑ１２ˑ１２ｐｏｏｌ２２ˑ２/２６４ˑ６ˑ６ｐｏｏｌ５２ˑ２/２６４ˑ６ˑ６ｐｏｏｌ８２ˑ２/２６４ˑ６ˑ６
ｃｏｎｖ８３ˑ３/１６４ˑ６ˑ６
ｃｏｎｖ３２ˑ２/１６４ˑ６ˑ６ｃｏｎｖ９３ˑ３/１６４ˑ６ˑ６ｃｏｎｖ１２３ˑ３/１６４ˑ６ˑ６ｐｏｏｌ３２ˑ２/２６４ˑ３ˑ３ｐｏｏｌ６２ˑ２/２６４ˑ３ˑ３ｐｏｏｌ９２ˑ２/２６４ˑ３ˑ３
㊀㊀表１列出了改进模型的各通道参数ꎮ如表所示ꎬ输入图像为２４ˑ２４的３通道图像ꎬ表１中的Ｃ㊁Ｈ㊁Ｗ分别代表图像的通道数㊁高度和宽度ꎮ模型的卷积填充方式为ｓａｍｅ模式ꎬ步长取１ꎬ使得每次卷积处理之后特征图的大小不变ꎮ此外ꎬ图像数据在卷积运算之后ꎬ都会经过批标准化处理ꎬ使下一层的输入数据有一个稳定的分布ꎬ加快训练速度ꎮ再经过Ｒｅｌｕ激活函数的处理ꎬ增强模型的非线性拟合能力
ꎮ最后３个通道的输出都为６４个３ˑ３的特征图ꎮ
对三个通道提取出来的特征图进行特征融合ꎬ特征融合过程如图１所示ꎮ三个通道提取出的特征信息具有一定的差异性ꎬ通道二提取出的特征比通道一㊁通道三具备更多的全局性特征ꎬ主要由于通道二的３ˑ３卷积核堆叠之后感受野大于２ˑ２卷积核ꎬ３ˑ３卷积核ꎬ且网络结构更深ꎬ具备了更大的视野ꎮ因此特征融合处理既考虑了图像局部特征(通道一㊁通道三)ꎬ又结合了图像的全局信息(通道二)ꎮ最后将融合后的特征信息通过ｓｏｆｔｍａｘ分类器输出分类结果ꎮ３㊀实验仿真
３.１㊀实验环境与数据集
实验操作系统为Ｗｉｎｄｏｗｓ７ꎬ主频为２.６０ＧＨｚꎬ显卡为ＧＴＸ－１０６０ꎬ并且以Ｔｅｎｓｏｒｆｌｏｗ(ＧＰＵ版本)为框架ꎬ使用Ｐｙｔｈｏｎ３.６为开发语言ꎮ采用的数据集为ＣＩＦＡＲ－１０公开数据集ꎬ该数据集有６００００张３２ˑ３２的彩图片ꎬ分为卡车㊁飞机㊁猫等１０个类别ꎬ其中５００００张作为训练图片ꎬ另外１００００张作为测试图片ꎬ图４为ＣＩＦＡＲ－１０部分数据集ꎮ实验对于输入数据集做了数据增强处理ꎬ如图５所示ꎬ对于３２ˑ３２的原始图片进行随机裁剪㊁翻转ꎬ得到大小为２４ˑ２４的输入图片ꎬ并且调整图片对比度㊁亮度ꎮ数据增强相当于增加了更多的数据集ꎬ可以有效的防止图像分类过程中的过拟合问题ꎮ３.２㊀实验设置
为了验证改进模型的图像分类能力ꎬ设计了３类具有不同卷积核的单通道卷积神经网络ꎬ分别称
３００１
佳木斯大学学报(自然科学版)２０１９年
为ＣＮＮ－１㊁ＣＮＮ－２㊁ＣＮＮ－３ꎮ３类单通道卷积神经网络的卷积层池化层分别与通道一㊁通道二㊁通道三相同ꎬ后面均连接一个全连接层以及ｓｏｆｔｍａｘ分类器ꎮ全连接层的神经元个数均设置为５１２ꎬ实验每个训练批次为１２８ꎮ另外ꎬ为了减轻模型过拟合ꎬ在改进模型与３类单通道卷积神经网络的全连接层后添加Ｄｒｏｐｏｕｔ机制ꎬ并对全连接层的权重进行Ｌ２正则化惩罚ꎮＤｒｏｐｏｕｔ值与Ｌ２正则化系数设置太大或太小都不利于最后的分类效果ꎮ经过多次实验ꎬ将Ｄｒｏｐｏｕｔ值设置为０.８ꎬ正则化系数设置为０.
０１ꎮ
图４㊀ＣＩＦＡＲ－１０
部分数据集
图５㊀图片数据增强
此外ꎬ为了验证小卷积核堆叠代替大卷积核的方法具有减轻模型过拟合的效果ꎬ设计了ＣＮＮ－４与ＣＮＮ－５ꎮＣＮＮ－４将ＣＮＮ－２中两层２ˑ２卷积核堆叠改为一层５ˑ５卷积核ꎬ其余设置与ＣＮＮ－２相同ꎮＣＮＮ－５将改进模型中通道二的两层２ˑ２卷积核堆叠改为一层５ˑ５卷积核ꎬ其余设置
与改进模型相同ꎮ每个模型均进行５次实验ꎬ测得分类精度后ꎬ取平均值ꎮ最后将改进模型与４类单通道卷积神经网络㊁５类多通道卷积神经网络㊁２类传统图像分类模型在ＣＩＦＡＲ－１０数据集上进行测试比较ꎮ３.３㊀实验结果
表２为各模型在ＣＩＦＡＲ－１０上的分类准确正则化包括dropout
率ꎮＰＣＡＮｅｔ[７](ＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓＮｅｔ￣ｗｏｒｋ)是一种基于主成分分析的传统图像分类模型ꎬ在各个数据集分类中均有很好的分类效果ꎮＫ－ｍｅａｎｓ＋ＳＶＭ[８](Ｋ－ｍｅａｎｓ＋ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａ￣
ｃｈｉｎｅ)算法在图像分类过程中具有高鲁棒性ꎬ是准确率最高的传统图像分类模型ꎮ
文献[５]中双通道模型(５ˑ５＆３ˑ３)可以利用不同的卷积核对图像进行处理ꎬ具有较高的图像分类精度ꎬ而融合低级特征的双通道模型(５ˑ５＆
３ˑ３)可以进一步结合第一池化层的特征信息ꎬ充分利用图像的高级以及低级维度信息对图像进行分类ꎮ
ＳＣＮＮ[９](ＳｙｍｍｅｔｒｉｃＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ)通过捕获模型左右子网络的差异值来增强模型的特征提取能力ꎬ进而提升图像的分类精度ꎮＤＭＣＮＮ[１０](ＤｅｔａｃｈｅｄＭｕｌｔｉｐｌｅＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ)可以提取通道特征与卷积特征ꎬ并在全连接层进行融合ꎬ以此提升该网络的图像识别与分类效果ꎮ
表２㊀各模型在ＣＩＦＡＲ－１０上的分类准确率
模型种类
模型名称分类准确率％
传统图像分类模型
ＰＣＡＮｅｔ
７８.６７Ｋ－ｍｅａｎｓ＋ＳＶＭ
７９.６０ＣＮＮ－１(２ˑ２卷积核)８２.４１ＣＮＮ－２(３ˑ３卷积核堆叠)
８７.４４单通道卷积ＣＮＮ－３(３ˑ３卷积核)８５.０４神经网络
ＣＮＮ－４(５ˑ５卷积核)８５.２５双通道模型(５ˑ５＆３ˑ３)
７５.３３融合低级特征的双通道模型(５ˑ５＆３ˑ３)
７７.０２多通道卷积ＳＣＮＮ８２.２０神经网络
ＤＭＣＮＮ
８６.７５ＣＮＮ－５(２ˑ２＆３ˑ３＆５ˑ５)
８５.４８改进模型
８９.０２
㊀㊀从表２中可以看出改进的多通道卷积神经网
络在ＣＩＦＡＲ－１０数据集上的分类准确率明显优于
２类传统图像分类模型㊁４类单通道卷积神经网络以及５类多通道卷积神经网络ꎮ改进模型相比于包含单一卷积核的单通道卷积神经网络ＣＮＮ－１㊁ＣＮＮ－２以及ＣＮＮ－３ꎬ精度分别提升了６.６１％㊁１.５８％㊁３.９８％ꎮ说明了改进的多通道卷积神经网络相比于单通道卷积神经网络可以更好的提取
图像全局与局部特征信息ꎬ进而提升模型的分类准确率ꎮ而ＣＮＮ－２相比于ＣＮＮ－４ꎬ分类精度提升
４
００１
第６期周衍挺：基于改进的多通道卷积神经网络模型的图像分类方法
了２.１９％ꎬ改进模型相比于ＣＮＮ－５ꎬ分类精度提升了３.５４％ꎬ说明了小卷积核堆叠代替大卷积核可以有效减轻模型过拟合ꎬ进而提升图像分类精度ꎮ
此外ꎬ与文献[５]中的两类多通道卷积神经网络相比较ꎬ改进模型的精度也分别提升了１３.
６９％㊁１２％ꎬ主要由于本文模型相比于文献[８]中的模型ꎬ多了一条包含２ˑ２卷积核的通道ꎬ并在各个通道增添了一层卷积层与池化层ꎬ使得模型的特征提取能力有所提升ꎮ其次ꎬ模型用３ˑ３卷积核堆叠代替５ˑ５卷积核ꎬ减少了网络参数ꎬ并在模型中引入批标准化㊁Ｄｒｏｐｏｕｔ㊁Ｌ２正则化以及对输入数据做了数据增强处理ꎬ极大的减轻了模型过拟合ꎮ另外ꎬ模型分类精度相比于ＳＣＮＮ与ＤＭＣＮＮ分别提升了６.８２％㊁２.２７％ꎬ进一步验证了本文方法的有效性与可行性ꎮ
４㊀结㊀论
通过对单通道与多通道卷积神经网络的优缺点分析ꎬ给出了一种改进的多通道卷积神经网络模型ꎮ该模型使用３类大小不同的卷积核对输入图像进行特征提取ꎬ使得模型可以提取更加丰富的特征信息ꎬ并且采用小卷积核堆叠代替大卷积核㊁批标准化㊁Ｄｒｏｐｏｕｔ㊁Ｌ２正则化以及对输入数据做数据增强处理的方法来减轻模型的过拟合ꎮ实验结果表明ꎬ使用小卷积核堆叠代替大卷积核可以减少模型参数ꎬ从而有效减轻模型过拟合ꎮ改进模型可以更好的提取图像全局与局部特征信息ꎬ同时防止过拟合ꎬ进而取得更高的图像识别精度ꎮ但是多通道模型还有很大的提升空间ꎬ后续的研究工作是通过结合更多高效的深度学习方法ꎬ来引入更多的图像深层特征信息ꎬ进一步提升模型的图像分类能力ꎮ
参考文献:
[１]㊀ＫｒｉｚｈｅｖｓｋｙＡꎬＳｕｔｓｋｅｖｅｒＩꎬＨｉｎｔｏｎＧＥ.ＩｍａｇｅＮｅｔＣｌａｓｓｉｆｉｃａｔｉｏｎｗｉｔｈＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ[Ｃ].ＩｎｔｅｒｎａｔｉｏｎｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ.ＣｕｒｒａｎＡｓｓｏｃｉａｔｅｓＩｎｃ.２０１２:１０９７－１１０５.
[２]㊀刘雨桐ꎬ李志清ꎬ杨晓玲.改进卷积神经网络在遥感图像分类中的应用[Ｊ].计算机应用ꎬ２０１８ꎬ３８(４):９４９－９５４. [３]㊀崔雪红ꎬ刘云ꎬ王传旭ꎬ等.多路卷积神经网络的轮胎缺陷图像分类[Ｊ].计算机工程与设计ꎬ２０１８ꎬ３９(３):８７３－８７９.
[４]㊀冯家文ꎬ张立民ꎬ邓向阳.双通道卷积神经网络在静态手势识别中的应用[Ｊ].计算机工程与应用ꎬ２０１８ꎬ５４(１４):１４８
－１５２.
[５]㊀文元美ꎬ罗志鹏ꎬ凌永权.基于高低维度特征融合的双通道卷积神经网络[Ｊ].计算机与现代化ꎬ２０１８ꎬ２８０(１２):１０５
－１０９.
[６]㊀ＩｏｆｆｅＳꎬＳｚｅｇｅｄｙＣ.ＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ:ＡｃｃｅｌｅｒａｔｉｎｇＤｅｅｐＮｅｔｗｏｒｋＴｒａｉｎｉｎｇｂｙＲｅｄｕｃｉｎｇＩｎｔｅｒｎａｌＣｏｖａｒｉａｔｅＳｈｉｆｔ[Ｃ].
Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ３２ｎｄＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅＭａｃｈｉｎｅ
Ｌｅａｒｎｉｎｇ.ＬｉｌｌｅꎬＦｒａｎｃｅ:ＩＥＥＥꎬ２０１５:４４８－４５６. [７]㊀ＣｈａｎＴＨꎬＪｉａＫꎬＧａｏＳꎬｅｔａｌ.ＰＣＡＮｅｔ:ＡＳｉｍｐｌｅＤｅｅｐＬｅａｒｎ￣ｉｎｇＢａｓｅｌｉｎｅｆｏｒＩｍａｇｅＣｌａｓｓｉｆｉｃａｔｉｏｎ[Ｊ].ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏ
ｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇꎬ２０１５ꎬ２４(１２):５０１７－５０３２. [８]㊀ＣｏａｔｅｓＡꎬＮｇＡＹꎬＬｅｅＨ.ＡｎＡｎａｌｙｓｉｓｏｆＳｉｎｇｌｅ－ＬａｙｅｒＮｅｔ￣ｗｏｒｋｓｉｎＵｎｓｕｐｅｒｖｉｓｅｄＦｅａｔｕｒｅＬｅａｒｎｉｎｇ[Ｃ].Ｐｒｏｃｏｆｔｈｅ１４ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅａｎｄＳｔａｔｉｓｔｉｃｓ.
ＮｅｗＹｏｒｋꎬＵＳＡ:ＪＭＬＲꎬ２０１１:２１５－２２３.
[９]㊀石祥滨ꎬ阳柯ꎬ张德园.基于对称神经网络的图像分类[Ｊ].
小型微型计算机系统ꎬ２０１７ꎬ３８(３):５７８－５８３.
[１０]㊀宋超ꎬ许道云ꎬ秦永彬.分离多路卷积神经网络研究[Ｊ].
计算机工程ꎬ２０１７ꎬ４３(６):１４５－１４９.
ＲｅｓｅａｒｃｈｏｎＩｍａｇｅＣｌａｓｓｉｆｉｃａｔｉｏｎＭｅｔｈｏｄＢａｓｅｄｏｎＩｍｐｒｏｖｅｄ
Ｍｕｌｔｉ－ｃｈａｎｎｅｌＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋＭｏｄｅｌ
ＺＨＯＵＹａｎ－ｔｉｎｇ
(ＣｏｌｌｅｇｅｏｆＭａｔｈｅｍａｔｉｃｓａｎｄＢｉｇＤａｔａꎬＡｎｈｕｉＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙꎬＨｕａｉｎａｎＡｎｈｕｉ２３２００１ꎬＣｈｉｎａ)
Ａｂｓｔｒａｃｔ:㊀Ｉｎｏｒｄｅｒｔｏｆｕｌｌｙｅｘｔｒａｃｔｉｍａｇｅｆｅａｔｕｒｅｉｎｆｏｒｍａｔｉｏｎａｎｄｒｅｄｕｃｅｔｈｅｏｖｅｒｆｉｔｔｉｎｇꎬｔｈｉｓｐａｐｅｒｐｒｏｐｏ￣ｓｅｓａｎｉｍｐｒｏｖｅｄｍｕｌｔｉ－ｃｈａｎｎｅｌｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｍｏｄｅｌ.Ｆｉｒｓｔꎬｔｈｅｉｍｐｒｏｖｅｄｍｏｄｅｌｅｘｔｒａｃｔｓｉｍａｇｅｆｅａｔｕｒｅｉｎｆｏｒｍａｔｉｏｎｂｙｕｓｉｎｇｔｈｒｅｅｃｏｎｖｏｌｕｔｉｏｎｃｈａｎｎｅｌｓ.Ｅａｃｈｃｈａｎｎｅｌｓｅｔｓｄｉｆｆｅｒｅｎｔｓｉｚｅｓｏｆｃｏｎｖｏｌｕｔｉｏｎｋｅｒｎｅｌꎬａｎｄｒｅｄｕｃｅｓｍｏｄｅｌｐａｒａｍｅｔｅｒｓｂｙｓｔａｃｋｉｎｇｓｍａｌｌｃｏｎｖｏｌｕｔｉｏｎｋｅｒｎｅｌｉｎｓｔｅａｄｏｆｌａｒｇｅｃｏｎｖｏｌｕｔｉｏｎｋｅｒｎｅｌꎬａｎｄｔｈｅｎｐｒｏｃｅｓｓｆｅａｔｕｒｅｉｎｆｏｒｍａｔｉｏｎｂｙｆｅａｔｕｒｅｆｕｓｉｏｎａｎｄｂａｔｃｈｎｏｒｍａｌｉｚａｔｉｏｎｔｅｃｈｎｏｌｏｇｙ.Ｆｉｎａｌｌｙꎬｔｈｅｆｅａｔｕｒｅｉｎｆｏｒｍａｔｉｏｎｉｓｉｎｐｕｔｔｏｔｈｅｓｏｆｔｍａｘｃｌａｓｓｉｆｉｅｒｔｏｃｌａｓｓｉｆｙ.Ｔｈｅｉｍｐｒｏｖｅｄｍｏｄｅｌｉｓｃｏｍｐａ
ｒｅｄｗｉｔｈｓｉｎｇｌｅ－ｃｈａｎｎｅｌｍｏｄｅｌꎬｍｕｌｔｉ－ｃｈａｎｎｅｌｍｏｄｅｌａｎｄｔｒａｄｉｔｉｏｎａｌｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎｍｏｄｅｌｆｏｒＣＩＦＡＲ－１０ｄａｔａｓｅｔ.Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｉｍｐｒｏｖｅｄｍｏｄｅｌｃａｎｅｆｆｅｃｔｉｖｅｌｙｅｘｔｒａｃｔｉｍａｇｅｆｅａｔｕｒｅｉｎｆｏｒｍａｔｉｏｎꎬｒｅｄｕｃｅｔｈｅｏｖｅｒ－ｆｉｔｔｉｎｇꎬａｎｄｉｍ￣ｐｒｏｖｅｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｙｏｆｔｈｅｍｏｄｅｌ.
Ｋｅｙｗｏｒｄｓ:㊀ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋꎻｍｕｌｔｉｃｈａｎｎｅｌꎻｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎꎻｂａｔｃｈｎｏｒｍａｌｉｚａｔｉｏｎ
５００１

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。