第42 卷第 7 期2023 年7 月
Vol.42 No.7
817~824
分析测试学报
FENXI CESHI XUEBAO(Journal of Instrumental Analysis)
基于高光谱技术的现场车漆物证识别模型研究
张浩,高树辉*
正则化损伤识别matlab(中国人民公安大学侦查学院,北京100038)
摘要:该文基于光谱检测可无损成像、操作简单的优点,探索了高光谱成像技术结合深度残差收缩网络识别现场车漆物证的方法。以现场常见的白车漆碎片为研究对象,采集了18种不同车型共54个车漆样本的高光谱图像,对图像进行10 × 10像素融合,形成19 740个像素的反射光谱。结合高光谱数据的特点,建立了针对性的一维深度残差收缩网络(1D-DRSN)识别模型。实验结果表明,该模型在训练集和测试集
上的准确率分别为99.5%和98.6%,损失函数值分别下降到0.093和0.106收敛。相比一维卷积神经网络(1D-CNN)模型和支持向量机(SVM)、随机森林(RF)、逻辑回归(LR)3种传统的机器学习方法,该模型的分类效果和精度明显提高。通过对高光谱数据的深度挖掘区分了来自不同品牌或型号的白车漆样本。该研究解决了实战难题,是现场车身油漆碎片物证检验技术和方法的有力补充。
关键词:高光谱成像技术;深度残差收缩网络;机器学习;现场车漆物证;智能识别
中图分类号:O657.3;O436文献标识码:A 文章编号:1004-4957(2023)07-0817-08
Research on Identification Model for Car Paint Material Evidence
Based on Hyperspectral Technology
ZHANG Hao,GAO Shu-hui*
(School of Investigation,People’s Public Security University of China,Beijing 100038,China)Abstract:Vehicle’s paint chips are one of the common physical evidences at the scene of criminal cas⁃es and traffic accidents. Identification and recognition of such physical evidences have been an impor⁃tant part of the research of public security technicians as they might contain some important information about the vehicles involved.Traditional instrumental analysis methods are cumbersome a
nd cannot meet the demand for rapid nondestructive testing of physical evidence at the scene.Based on the advan⁃tages of nondestructive imaging and simple operation of spectral detection,a hyperspectral imaging technology combined with deep residual shrinkage network was explored to identify on-site car paint evi⁃dence,in order to improve detection efficiency and optimize detection means.The hyperspectral imag⁃es of 54 car paint samples from 18 different car models were collected,and the images were fused with 10 × 10 pixels to form a reflection spectrum of 19 740 pixels.Combined with the characteristics of hy⁃perspectral data,a targeted one-dimensional deep residual shrinkage network(1D-DRSN) recognition model was established in this paper.The results showed that 1D-DRSN model has 99.5% and 98.6% accuracy for the training and test sets,with the loss function values decreasing to 0.093 and 0.106,respectively.1D-DRSN was significantly better than 1D convolutional neural network(1D-CNN) model and three traditional machine learning methods,including support vector machine(SVM),random for⁃est(RF) and logistic regression(LR).The white car paint samples from different brands or models are distinguished by deep mining of hyperspectral data.This study was applied to solving the practical challenges,and it will be a powerful complement to the existing techniques and methods in the detec⁃tion and classification of vehicle’s paint fragments from the scene.
Key words:hyperspectral imaging technique;deep residual shrinkage network;machine learning;car paint evidence from the scene;intelligent identification
在刑事案件和交通事故现场勘查中,常能发现汽车车身油漆碎片等物证,这些物证携带有涉事车辆的相关信息,是法庭科学物证检验的重要内容之一。目前在物证鉴定领域对油漆的鉴别方法较多,
doi:10.19969/j.fxcsxb.23040403
收稿日期:2023-04-04;修回日期:2023-05-17
基金项目:2023年度基本科研业务费团队建设学科基础理论体系和转化新课程研究项目(2023JKF01ZK11)
∗通讯作者:高树辉,博士,教授,研究方向:刑事图像技术、电子数据检验,E-mail:gaoshuhui@ppsuc.edu
第 42 卷分析测试学报有裂解气相谱-质谱法[1]、傅里叶变换红外光谱法[2]、拉曼光谱法[3]等,其中裂解气相谱-质谱法
是有损检验,对原始证据具有破坏性;红外光谱法和拉曼光谱法需要制作压片,样品前处理复杂。而高
光谱成像技术(Hyperspectral imaging ,HSI )能同时分析物体的图像信息和光谱信息,在法庭科学领域中被逐渐应用于前期的犯罪现场勘查和后期的实验室物证鉴定,如血迹识别以及陈旧度预测[4]、儿童虐待案件中淤青时间的推断[5]以及签字笔分类识别[6]等。
首先,HSI 系统正朝着便携化、小型化方向发展,未来有望集成到相机尺寸大小,方便携带到现
场或停车场等区域,且操作简单,只需对焦和拍摄即可快速成像;其次,HSI 是一种无损检测技术,无需对样品进行前处理。这些优势赋予了HSI 巨大潜力,使其能在犯罪现场对嫌疑车辆车漆碎片进行实时快速分析。文献[7]利用HSI 显微成像技术测量了车漆横截面样本,Ferreira 等[8]首次使用HSI 获取了不同品牌(菲亚特、福特、雷诺、大众和起亚)红车漆样本表层涂层的光谱数据,并发现主成分分析(PCA )对这5种车漆样本的聚类效果明显,但实验未涉及同一品牌不同型号车辆车漆的样本识别,且PCA 属于无监督算法,分析结果无法得出样本的具体类别,不适用于在线分析。因此,有必要丰富实验样本并结合有监督的学习算法对其进行研究。HSI 具有多波段和分辨率高的特点,能够提供大量光谱信息,但是高光谱图像相邻谱带间具有较强的光谱相关性,易造成信息冗余,当光谱类别数量较多时,不同类别的光谱表现出的相似性使其难以区分。传统的机器学习模型如支持向量机(SVM )在处理多类别高光谱分类问题时的效率和精度较低。黄家栋等[9]将一维卷积神经网络(1D -CNN )与HSI 相结合建立了一种适用于纺织纤维的检测和分类方法,研究表明,1D -CNN 对纤维种类的识别准确率高于反向传播神经网络(BPNN )以及SVM 和偏最小二乘判别分析(PLS -DA )。但CNN 会随着模型
复杂出现梯度消失问题,陷入局部最优解[10]。为解决上述问题,本文在现有神经网络结构[11]的基础上结合残差网络、注意力机制与软阈值化函数,提出了一种处理高光谱数据的一维深度残差收缩网络(One dimensional deep residual shrinkage network ,1D -DRSN )模型,通过采集18种不同车型共54个车漆样本的高光谱图像,构建了1D -DRSN 模型进行分类和识别。同时,将1D -DRSN 模型与1D -CNN 模型和SVM 、随机森林(RF )及逻辑回归(LR )3种传统机器学习模型进行了比较。
1 实验部分
1.1 样本采集
从北京、山东地区的汽车修理厂收集7类不同品牌、18种不同车型的白车身油漆样本,所有样
本均有四层结构,其中奔腾(BESTUNE )品牌车漆样本4个,雪铁龙(Citroen )品牌车漆样本3个,奥迪(Audi )品牌车漆样本1个,宝马(BMW )品牌车漆样本3个,长安(Changan )品牌车漆样本4个,起亚(KIA )品牌车漆样本2个,现代(Hyundai )品牌车漆样本1个。按照品牌进行编号,详细信息如表1所示。取样位置分别在前门框内、后保险杠、前车身位置,共取样54份。为保证分析结果的准确性,选择平整且表面没有划痕的区域取样。
1.2 实验仪器
实验采用MateSpec LS -VNIR -FS 便携式高光谱物证分析仪(广州星博科仪有限公司)进行光谱采
集,光谱范围为470 ~ 900 nm ,采集间隔为3 nm ,共150个波段,光谱分辨率为1 nm ,在视场范围内
表1 18种白车型的品牌及型号Table 1 18 kinds of white car brands and models Number 123456789Brand BESTUNE Citroen BMW Audi Citroen BMW Citroen Changan BESTUNE Model T77C5X5A4C4X1Fukang CS35T99Number 101112131415161718Brand BMW KIA Hyundai KIA Changan BESTUNE BESTUNE Changan Changan Model X3K3is35K2CS55B70B50CS75CS95
818
第 7 期张浩等:基于高光谱技术的现场车漆物证识别模型研究
的图像分辨率为2 048 × 2 048像素。相机的侧面各有一个50 W 卤素光源,与相机成90°。镜头与样本距离为600 mm ,CCD 积分时间为20 ms 。1.3 图像采集与校正
对相机记录的所有图像进行黑白校正。关闭所有光源,关闭相机镜头盖,获得黑参考图像(D )。白参考图像(W )通过反射制造商提供的标准聚四氟乙烯白瓷砖获得。根据式(1)从原始光谱图像(I sample )中得到每个样本的校正图像(I )。将白车漆碎片置于平台中心,从顶部聚焦样本,调焦清晰后采集高光谱图像。
I =I sample -D W -D (1)
1.4 车身油漆碎片光谱数据提取
采用MATLAB 2021b 软件手动选取每种车漆样
本的感兴趣区域(ROI ),对高光谱图像进行10 × 10
像素融合处理,以降低噪声并提高计算速度,得到19 740个像素的反射光谱。对于多层结构白或浅
的汽车涂料,反射性强的颜料主要是金红石相的
二氧化钛(TiO 2),其他颜料有氧化铝(Al 2O 3)和氧化锌(ZnO )。TiO 2和ZnO 在近红外范围内有强烈的反
射[12],相反,涂层中的有机化合物和树脂在同一范围内的反射信号较低。不同车型采用的油漆工艺和
成分不同导致了车漆反射率的差异。图1为不同汽
车型号白车漆样本的HSI 平均光谱。
由图1可见,18种白车漆高光谱图像的相邻
谱带间具有较强的光谱相关性,涂层涂料信号重叠,肉眼区分比较困难,需要建立针对高光谱数据的
网络分类模型。1.5 模型的软硬件环境
采用软件HSI Snapscan 采集高光谱图像,数据提取软件为MATLAB2021a (美国Math Works 公司),以Python 为编程语言,Keras 高级神经网络API 为学习框架,进行数据处理分析,依托TensorFlow 后端运行搭建模型。模型的软硬件环境如表2所示。
1.6 深度学习模型的建立
将19 740个像素的反射光谱数据集随机分为70%的训练集和30%的测试集。在所有模型中,对数据集进行5次训练,并取平均准确率作为最终结果,确保每次训练均在随机分配的训练集和测试集上进行。
1.6.1 处理高光谱数据的1D -CNN 网络模型 在光谱分析领域,传统的化学计量学方法程序繁琐,通常需要进行光谱预处理、模型选择和超参数优化以提高模型的准确性。卷积神经网络(CNN )可以通过多层非线性模块将低维数据转换为高维的抽象特征,并通过逐层的特征提取学习到复杂的特征表示。CNN 是一种前馈神经网络,其特点是采用局部连接和权值共享的方式进行卷积运算,以提取输入数据中的特征信息[13]。CNN 简化了数据分析过程并表现出较高的精度,在红外光谱、拉曼光谱、高光谱
等[14-16]中的应用逐渐增多。
本文在经典卷积神经网络模型AlexNet [17]的结构基础上,提出了一种适用于高光谱数据处理的
表2 实验环境配置Table 2 Configuration of experiment environment Software/Hardware Operating s
ystem CPU RAM GPU Programming language Frame Configuration of experiment environment Windows 10AMD Ryzen 7 5 800 H with Radeon Graphics 3.20 GHz 16 GB NVIDIA GeForce RTX 3 060 Laptop GPU Python (3.6.13)Keras (v2.5.0
)
图1 18种白车漆的平均反射光谱Fig.1 Average reflection spectra of 18 white car paints 819
第 42 卷
分析测试学报1D -CNN 网络模型。该模型采用3个一维卷积层和3个池化层,3个卷积层分别使用了32、64和128个卷积核,大小均为3,步长均为2,激活函数为ReLU 函数,其计算公式见式(2)。这些卷积核的数量和大小经过多次试验和调整得出,以使该模型可以更好地处理高光谱数据。为了进一步降低参数数量,减少计算成本并防止过拟合,用最大池化层对每个卷积层的输出进行池化,池大小为2,步幅为2。全连接层包括2个层,每个层分别有256个和128个神经元,输出层使用softmax 激活函数提供车漆类别的预测,该模型的损失函数为交叉熵[18],同时为了防止模型过拟合,使用L2正则化方法,公式(3)为该1D -CNN 模型的目标方程。F (x )=max (0,x
)(2) Loss =-1N ∑n =1N [y n log y n +(1-y n )log (1-y n )]+λ w 2(3)
其中,x 表示输入值,N 为训练车漆样本总数,y n 为车漆样本的实际类别,y n 为车漆样本的预测类别,λ为正则化系数,w 为需要进行正则化的权重。
为了优化模型参数,使用Adam 优化器更新权重,初始学习率为0.01。通过反复迭代训练,该模型可达到最小化损失函数的目标,从而完成训练,见图2。1.6.2 改进的1D -DRSN 高光谱数据分类模型 (1)残差结构 随着CNN 层数的增加,会出现训练
误差变大的情况,这是因为较浅层的权重无法得
到有效更新,使得网络无法收敛,该现象被称为
“梯度消失”或“梯度爆炸”。为了解决该问题,He 等[10]提出了一种名为残差网络(ResNet )的结构,
可以有效缓解梯度消失问题。其核心思想是通过
跳跃连接(Shortcut connection )将输入直接传递到输
出中,并与后续层的输出相加,即输出F (x )+x ,
其中F (x )表示残差,x 表示输入,如图3所示。由
于跳跃连接的存在,残差块中的残差可以更容易
地通过网络传播,从而使得梯度可以更有效地更
新较浅层的权重。
(2)软阈值化 在残差收缩网络中,收缩指的是软阈值化(Soft thresholding ),它是一种非线性层。高光谱图像相邻谱带间具有较强的光谱相关性,软阈值化可以帮助网络选择最相关的特征,并抑制噪声
和冗余信息。其核心思想是将数据转换到另一个域中,然后将特征值接近于零的数据视为不重要的特征,并将其过滤掉。软阈值化的计算步骤可以通过公式(4)实现,通过反向传播算法对软阈值函数的阈值参数进行更新,可实现自适应学习,从而提高降噪效果。
S (x )=ìíîïïx -t x >t 0 -t ≤x ≤t x +t x <-t
(4
)
图2 1D -CNN 网络模型Fig.2 1D -
CNN network model
图3 残差结构示意图Fig.3 Diagram of residual structure 820
第 7 期张浩等:基于高光谱技术的现场车漆物证识别模型研究
其中,S (x )为软阈值化函数,x 为输入数据,t
为阈值参数。
(3)DRSN 模型 如图4所示,残差收缩块的主路径
包含两个一维卷积块,卷积块后带有BN 层和激活
函数层,以强化网络的正则化和防止过拟合。另
外,该子模块还有两条路径。一条直接输出主路径
数据,另一条经过注意力机制计算,学习输入数据
的阈值,再与主路径数据进行软阈值化过滤,最终
与跳跃连接的数据相加并输出。如果输入和输出的
数据维度不同,则需要进行零填充操作(Zero pad⁃ding )以调整维度[19]。这种零填充方法首先通过长
度除以2向下取整,再分别在数据的长度和宽度两
个方向上填充,以达到匹配输入数据维度的目的。
该完整的深度残差收缩网络模型结构依次是输
入层、卷积层、残差收缩模块、拉伸层、全连接层
输出,模块的优势在于实现了数据去噪并保留了残
差网络性能,提升了高光谱数据的分类效果。2 结果与讨论
2.1 原始光谱数据的PCA 分析结果 PCA 是一种数据降维方法,可保留原始数据的大部分信息。选取前两个主成分PC1、PC2对车漆光谱数据进行主成分分析,得到其贡献率分别96.3%、2.3%,累计贡献率达98.6%。图5给出了18种车漆样本的PCA 得分散点图和95%置信椭圆。
由图5可见,PCA 对奥迪A4(蓝绿)、宝马(橙)与起亚K3(绿)、K2(青)样本有很好的聚类效果,但对奔腾品牌旗下T77和T99、B70、B50 4种型号的车漆无法区分,对雪铁龙C5、C4的区分效果不明显,长安品牌的CS35、CS75、CS95
交错在一起。因此,需要借助机器学习进一步分析。
图5 PCA 中PC1、PC2的得分图Fig.5 The score chart of PCA
the number denoted was the same as those in Table 1图4 一维残差收缩网络子模块Fig.4 One -dimensional residual shrinkage network submodule 821
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论