常见图像传统处理算法-边缘检测-分割-增强-降噪
⼀、边缘检测
边缘检测的⼏种微分算⼦：
1. ⼀阶微分算⼦：Roberts、Sobel、Prewitt
2. ⼆阶微分算⼦：Laplacian、Log/Marr
3. ⾮微分算⼦：Canny
⼀阶微分算⼦
1.Roberts: 没有经过图像平滑处理，图像噪声⽆法得到较好的抑制，但图像边缘定位精度较⾼。
2. Sobel：引⼊了类似局部平均的运算，对噪声有平滑作⽤，能很好的消除噪声的影响。与Prewitt⽐，Sobel对像素位置做了加权，可以降低边缘模糊程度。
3. Prewitt：去掉部分伪边缘，对噪声有平滑作⽤。
如何计算边缘幅值与⽅向呢？以Sobel为例，3*3 Sobel两个⽅向的算⼦在图像上滑动，模板与其覆盖的图像3*3区域的9个像素进⾏卷积，求和后得到此⽅向的边缘检测幅值。
边缘检测幅值
边缘检测⽅向
⼆阶微分算⼦
1. Laplacian
拉普拉斯算⼦数学公式：
局部直方图均衡化2. Log/Marr边缘检测是先进⾏⾼斯滤波，再进⾏拉普拉斯算⼦进⾏检测，最后通过过零点来确定边缘位置。⾮微分算⼦：Canny
使⽤Canny算⼦的边缘检测过程如下：
RGB图像转化为灰度图像；
对图像进⾏⾼斯滤波；
利⽤canny算⼦（图像四个⽅向：⽔平、垂直、对⾓）计算图像梯度，根据梯度计算图像边缘幅度；
⾮极⼤值抑制，得到真正的边缘->细化；
双阈值边缘提取；
结果⼆值化显⽰；
⼆、图像分割
传统图像分割算法
1. 基于阈值的分割⽅法
阈值法的基本思想是基于图像的灰度特征计算⼀个或多个灰度阈值，并将图像中每个像素的灰度值与阈值作⽐较，最后将像素根据⽐较结果分到合适的类别中。因此，该⽅法最为关键的⼀步就是按照某个准则函数来求解最佳灰度阈值。
阀值分割⽅法的优缺点：
计算简单，效率较⾼；
只考虑像素点灰度值本⾝的特征，⼀般不考虑空间特征，因此对噪声⽐较敏感，鲁棒性不⾼。
2. 基于区域的分割⽅法
基于区域的分割⽅法是以直接寻区域为基础的分割技术，基于区域提取⽅法有两种基本形式：⼀种是区域⽣长，从单个像素出发，逐步合并以形成所需要的分割区域；另⼀种是从全局出发，逐步切割⾄所需的分割区域。
区域⽣长：区域⽣长是从⼀组代表不同⽣长区域的种⼦像素开始，接下来将种⼦像素邻域⾥符合条件的像素合并到种⼦像素所代表的⽣长区域中，并将新添加的像素作为新的种⼦像素继续合并过程，知道不到符合条件的新像素为⽌。该⽅法的关键是选择合适的初始种⼦像素以及合理的⽣长准则。
区域⽣长算法需要解决的三个问题：
（1）选择或确定⼀组能正确代表所需区域的种⼦像素；
（2）确定在⽣长过程中能将相邻像素包括进来的准则；
（3）指定让⽣长过程停⽌的条件或规则。
区域分裂合并：区域⽣长是从某个或者某些像素点出发，最终得到整个区域，进⽽实现⽬标的提取。⽽分裂合并可以说是区域⽣长的逆过程，从整幅图像出发，不断的分裂得到各个⼦区域，然后再把前景区域合并，得到需要分割的前景⽬标，进⽽实现⽬标的提取。
区域分裂合并算法优缺点：
（1）对复杂图像分割效果好；
（2）算法复杂，计算量⼤；
（3）分裂有可能破怪区域的边界。
分⽔岭算法：是⼀种基于拓扑理论的数学形态学的分割⽅法，其基本思想是把图像看作是测地学上的拓扑地貌，图像中每⼀点像素的灰度值表⽰该点的海拔⾼度，每⼀个局部极⼩值及其影响区域称为集⽔盆，⽽集⽔盆的边界则形成分⽔岭。
分⽔岭对微弱边缘具有良好的响应，图像中的噪声、物体表⾯细微的灰度变化都有可能产⽣过度分割的现象，但是这也同时能够保证得到封闭连续边缘。
3. 基于边缘检测的分割⽅法
基于边缘检测的图像分割算法试图通过检测包含不同区域的边缘来解决分割问题。通常不同区域的边界上像素的灰度值变化⽐较剧烈，如果将图⽚从空间域通过傅⾥叶变换到频率域，边缘就对应着⾼频部分，这是⼀种⾮常简单的边缘检测算法。
边缘检测的优缺点：
（1）边缘定位准确；
（2）速度快；
（3）不能保证边缘的连续性和封闭性；
（4）在⾼细节区域存在⼤量的碎边缘，难以形成⼀个⼤区域，但是⼜不宜将⾼细节区域分成⼩碎⽚；
由于上述的（3）（4）两个难点，边缘检测只能产⽣边缘点，⽽⾮完整意义上的图像分割过程。这也就是说，在边缘点信息获取到之后还需要后续的处理或者其他相关算法相结合才能完成分割任务。
在以后的研究当中，⽤于提取初始边缘点的⾃适应阈值选取、⽤于图像的层次分割的更⼤区域的选取以及如何确认重要边缘以去除假边缘将变得⾮常重要。
4. 基于主动轮廓模型的分割⽅法
在实现主动轮廓模型时，可以灵活的选择约束⼒、初始轮廓和作⽤域等，以得到更佳的分割效果。利⽤曲线演化来检测⽬标的⼀类⽅法，基于此可以得到精确的边缘信息。其基本思想是，先定义初始曲线C，然后根据图像数据得到能量函数，通过最⼩化能量函数来引发曲线变化，使其向⽬标边缘逐渐逼近，最终到⽬标边缘。这种动态逼近⽅法所求得的边缘曲线具有封闭、光滑等优点。
5. 基于深度学习的分割⽅法（简单介绍）
A、基于特征编码
在特征提取领域中VGG和ResNet是两个⾮常有统治⼒的⽅法。
VGG
通过反复地堆叠3*3的⼩型卷积核和2*2的最⼤池化层，构建了16~19层的深度神经⽹络。
⼏点说明：
感受野很⼩的滤波器：3×3（这是捕获左/右，上/下，中⼼概念的最⼩尺⼨）。
1×1卷积滤波器，可以看作输⼊通道的线性变换（后⾯加relu的是⾮线性）。
卷积步长固定为1个像素；卷积层输⼊的空间填充要满⾜卷积之后保留空间分辨率，即3×3卷积层的填充为1个像素。
空间池化由五个最⼤池化层进⾏，这些层在⼀些卷积层之后（不是所有的卷积层之后都是最⼤池化）。在2×2像素窗⼝上进⾏最⼤池化，步长为2。
之后是三个全连接（FC）层。
最后⼀层是soft-max层。所有⽹络中全连接层的配置是相同的。
在多个迁移学习任务中的表现要优于googLeNet。⽽且，从图像中提取CNN特征，VGG模型是⾸选算法。
虽然⽹络层数加深，但VGG在训练的过程中⽐AlexNet收敛的要快⼀些，主要因为：
（1）使⽤⼩卷积核和更深的⽹络进⾏的正则化；
（2）在特定的层使⽤了预训练得到的数据进⾏参数的初始化。
理解1*1卷积核的作⽤
（1）采⽤⾮线性激活函数可以提⾼模型的⾮线性能⼒；
（2）专注于跨通道的特征组合；
（3）对feature map在channel层级进⾏降维或升维。？
ResNet
Resnet出现的背景：深度学习⽹络在堆叠到⼀定深度的时候会出现梯度消失的现象，导致误差升⾼效果变差，后向传播时⽆法将梯度反馈到前⾯的⽹络层，使得前⽅的⽹络层的参数难以更新，训练效果变差。
梯度消失或者梯度爆炸解决⽅案：对输⼊数据和中间层的数据进⾏归⼀化（BN）操作，这种⽅法可以保证⽹络在反向传播中采⽤随机梯度下降（SGD），从⽽让⽹络达到收敛。
不退化不是我们的⽬的，我们希望有更好性能的⽹络。  resnet学习的是残差函数F(x) = H(x) - x, 这⾥如果F(x) = 0, 那么就是上⾯提到的恒等映射。事实上，resnet是“shortcut connections”的在connections是在恒等映射下的特殊情况，它没有引⼊额外的参数和计算复杂度。通过使⽤ResNet Unit成功训练出了152层的神经⽹络。
Resnet核⼼：
对残差块做了计算优化，即将两个3x3的卷积层替换为1x1 + 3x3 + 1x1, 如下图。新结构中的中间3x3的卷积层⾸先在⼀个降维1x1卷积层下减少了计算，然后在另⼀个1x1的卷积层下做了还原，既保持了精度⼜减少了计算量。
ResNet的优缺点：
1）引⼊了全新的⽹络结构（残差学习模块），形成了新的⽹络结构，可以使⽹络尽可能地加深；
2）使得前馈/反馈传播算法能够顺利进⾏，结构更加简单；
3）恒等映射地增加基本上不会降低⽹络的性能；
4）建设性地解决了⽹络训练的越深，误差升⾼，梯度消失越明显的问题；
5）由于ResNet搭建的层数众多，所以需要的训练时间也⽐平常⽹络要长。
B、基于区域选择（regional proposal based）
Regional proposal 在计算机视觉领域是⼀个⾮常常⽤的算法，尤其是在⽬标检测领域。其核⼼思想就是检测颜⾊空间和相似矩阵，根据这些来检测待检测的区域。然后根据检测结果可以进⾏分类预测。
Stage Ⅰ： R-CNN
Stage Ⅱ：Fast R-CNN：⽬标检测
Stage Ⅲ：Faster R-CNN:⽬标检测
Stage Ⅳ：Mask R-CNN：主要完成了三件事情：⽬标检测，⽬标分类，像素级分割。
Stage Ⅴ：Mask Scoring R-CNN
C.基于RNN的图像分割
在语义分割领域，基于区域选择的⼏个算法主要是由前⼈的有关于⽬标检测的⼯作渐渐延伸到语义分割的领域的.
ReSeg模型
MDRNNs（Multi-Dimensional Recurrent Neural Networks）模型
D.基于上采样/反卷积的分割⽅法
FCN：在FCN当中的反卷积-升采样结构中，图⽚会先进性上采样（扩⼤像素）；再进⾏卷积——通过学习获得权值。
优缺点：
FCN对图像进⾏了像素级的分类，从⽽解决了语义级别的图像分割问题；
FCN可以接受任意尺⼨的输⼊图像，可以保留下原始输⼊图像中的空间信息；
得到的结果由于上采样的原因⽐较模糊和平滑，对图像中的细节不敏感；
对各个像素分别进⾏分类，没有充分考虑像素与像素的关系，缺乏空间⼀致性。
SetNet：旨在解决⾃动驾驶或者智能机器⼈的图像语义分割深度⽹络，SegNet基于FCN，与FCN的思路⼗分相似，只是其编码-解码器和FCN的稍有不同，其解码器中使⽤去池化对特征图进⾏上采样，并在分各种保持⾼频细节的完整性；⽽编码器不使⽤全连接层，因此是拥有较少参数的轻量级⽹络：
SetNet的优缺点：

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。