基于深度学习的裂缝监测软件系统

曾经需要耗费大量的人力物力来检测的划痕、裂纹、杂质、斑点、气泡等不规则/随机性缺陷，如今利用AI人工智能领域的深度学习技术，自主研发的基于深度学习的华科外观瑕疵智能检测软件让外观瑕疵检测方式让机器视觉检测有了“大脑”，实现了实时在线、漏检率和过杀率低、可追踪性与高效率的智能缺陷检测。

裂缝检测的发展

近些年来，在基于计算机视觉对道路路面裂缝的识别领域，研究方向大致分为两部分：其一是基于数字图像处理，主要由人工判别特征，利用频率﹑边缘﹑HOG﹑灰度﹑纹理和熵等众多特征规律，设计一些特征识别条件来限制以完成识别；其二便是基于深度学习，建立卷积网络并利用网络去自动寻找数据的特征，让网络按一定规律不断自我调整以实现输入数据输出等于或逼近标签。

基于数字图像处理方向，近十几年国内外诸多学者在识别道路路面裂缝上有着深入研究。2003 年，耿飞通过对样本中裂缝区域像素点数量与提前选好的分析区域像素点数量比值的计算，来预测裂缝。2014 年，刘小燕使用搭载了高清工业相机的四轮导轨小车来完成地面和桥梁混凝土表面裂缝的图像采集，在图像处理部分，先通过形态学等预处理手段，将图像二值化，然后利用了裂缝所在区域的特征设置条件提取裂缝。同样在 2014 年，R. s. Adhikari 基于数字图像处理技术，对裂缝数据进行量化，并且使用三维可视化模型来对现场视觉检测进行模拟，开发了一套集成检测模型。2015 年，CorreiaPL 和 0liveiraH 提出了一套图像处理算法，针对路面裂缝的特征进行识别，工具箱包含了裂缝检测算法、基于模式识别和图像处理的算法、裂缝特征描述算法、裂缝检测和评估解决方案性能的模块。2016 年，王聪雅通过统计垂直和水平方向裂缝的投影中裂缝像素点的数量，实现裂缝宽度和长度的度量，此外还使用了区域生长法实现裂缝的分割识别。2018 年，王鹏通过无人机采集获取到的桥梁裂缝图像，提出了八方向的Sobel 算子边缘检测，并且根据形态学开运算来去除噪声获取二值化图像，然后建立 bp神经网络，根据二值化图像投影来统计的裂缝特征，完成网络对裂缝的分类。基于数字图像处理的相关算法优点是不需要大量图片数据的支撑，只需要算法设计人员知晓特征识别规则，从而设置判别条件，但其缺点是鲁棒性不高，不能保证完全去除各类复杂噪声的干扰，识别效果不稳定，较难做到无人工辅助的全自动识别。

随着近几年的通用深度学习算法的技术突破，基于深度学习和卷积神经网络的检测算法在裂缝识别领域取得了更好的效果。2016 年，L Zhang 首次在道路裂缝检测领域使用了深度学习相关算法，为了对裂缝图像进行分类，证明了在分类裂缝图像时，使用卷积神经网络优于支持向量机。但是，其设计的网络较为原始，训练数据的图像场景也不够完备，因此导致最终的识别速度不快，精度也较低。2017 年，YJCha 提出将滑动窗口和卷积神经网络相结合的裂缝检测算法，减少了由于图像切割对裂缝识别的干扰，此外还证明了该算法效果比 sobel 边缘检测和 canny 边缘检测更优，可以对裂缝的分类实现更高的准确度。同样在 2017 年，占继刚提出了一套实时采样处理的系统，该系统先通过预处理算法由样本图像得到不连续的裂缝片段，然后使用基于 KD 树的链接算法对裂缝进行拼接整合，最后使用支持向量机分类裂缝，其最终的结果速度快精度高，适合应用在工程领域。2018 年，VishalMandal 基于 YOLOV2 目标检测算法，提出了一套路面遇险自动分析系统，该系统通过正确率和召回率来计算得到最终的平均 F1 分数，从而评估所提出的遇险分析器的分类和检测准确度。2019 年，König J 等使用基于全卷积网络 UNet 和残差模块提出 Architecture，对裂缝图片取得了较好的分割效果。这些算法采用不同的方案对裂缝图片进行处理识别，优点是都以较高的准确度对裂缝进行了分类，但是缺点是在分割效果上往往不佳，并且大多数尚未对裂缝的特征参数做出定量的处理。

2. 基于深度学习的图像分类

随着计算机技术的发展，在工业，科技，军事，日常生活等领域，计算机在逐渐替代人类去完成一些越来越复杂的任务。而随着任务越来越复杂抽象，传统的由经验来设置逻辑的编码思路已经很难满足实际任务需求，另一方面由于计算机硬件也在飞速发展，基于深度学习的相关技术横空而出，在计算机视觉，语音识别和语义理解等领域有了突破性进展，计算机硬件和卷积神经网络成为了深度学习的核心。

    卷积神经网络发源于 1990 年代，Le Cun 于 1998 年提出了 Le Net，证明卷积神经网络可以充分的从原始图像中提取到一些我们可能忽视或无法用简单逻辑表达的特征，在这点上优于数字图像处理。2012 年 AlexNet网络被提出，作为一种新的卷积神经网络，AlexNet 的深度和宽度都有了改进，还因为计算机算力的发展，推动了深度学习的广泛应用。2013 年 ZF-Net被提出，它改进了 AlexNet，更小的卷积核取得了更好的效果。2014 年 VGG网络被提出，该网络使用了更小的卷积核来加深网络减少参数，用预训练的方式来加速训练收敛，此外还使用多尺度数据增强减缓模型过拟合。2014 年GoogLeNet由谷歌公司提出，它引入了 Inception 模块，拓宽了网络的宽度。其后，谷歌公司在初代的基础上推出了 InceptionV2，InceptionV3，InceptionV4三个升级版。2015 年 Res Net被何凯明提出，由于网络深到一定程度就无法再轻易收敛和提高准确率，便提出了残差学习，此前的常用网络如 AlexNet 和 VGG 等是学习一个输入到输出的系统参数，而残差学习则是学习输入到输出减输入差值的系统参数，残差学习能有效避免增加网络层数而导致准确率降低的现象。2017 年 Momenta 公司胡杰提出SENet，该网络学习每个特征通道的重要性来选择性增强和抑制特征。自 2012 年一赛而红后，深度学习迅速占领了图像分类的科研和工程市场，并在接下来几年发展迅猛，越来越强，压制了其他的数字图像处理算法，在工业，科技，军事，日常生活等领域已有应用。在对裂缝图像的识别时，若引入深度学习的图像分类技术，可以以较高的准确率和鲁棒性得到对裂缝图像类别判断的定性效果。

3. 基于深度学习的图像分割

随着卷积神经网络的快速发展，VGGNet，GoogLeNet 和 Res Net 等优秀的网络结构被提出，这些网络对图像的分类取得了极高的准确率，广泛的应用在科研工程领域。但是随着网络分类的准确率逐渐超越人类，科研工作者们已不再满足于将卷积神经网络应用于分类，在实际工程应用中往往需要找到某个目标在哪里并将其所在区域勾勒出来。随后各种全卷积网络逐渐被相继提出，该类网络可以将图片中的目标区域分割提取出来，拥有更高的鲁棒性，更佳的分割效果，将图像语义分割领域带入了新的阶段。

    2015 年 FCN网络被提出，该网络采用反卷积完成上采样，再通过跳跃连接来改善粗糙的上采样，实现了端到端的效果，但毕竟是初代网络，输出结果的精细度和像素分类等尚有诸多不足。同样在 2015 年 U-Net被提出，主要应用于医学图像领域，该网络使用编码-解码结构，提出了独特数据增强方式和边界加权损失函数。依然是 2015年，SegNet被提出，该网络也是采用编码-解码结构，但在解码时提出了按下池化时索引来进行上池化。2016 年的 ILSVRC'16 MIT Scene Parsing Challenge 比赛的冠军是PSPNet，该网络通过多尺度池化得到不同大小的特征图，上采样后拼接一起提升识别效果，为像素级场景的解析提升了上下文的关联效果。DeepLabV1最早在 2015 年提出 ， 其 后 不 断 优 化 依 次 提 出 了 DeepLabV2， DeepLabV3和 DeepLabV3+，DeepLabV1 使用了空洞卷积算法提高感受野，使用条件随机场来提高细节捕获，DeepLabV3 利用空洞卷积多尺度采集特征，不再使用条件随机场，DeepLabV3+则引入了编码-解码结构。    DeepLab 系列主要是将空洞卷积和多尺度信息相结合来提升网络性能。全卷积网络对图像分割改变了以前图像分割的方式，在运行速度和效果上有了重大突破，使得深度学习在工业，科技，军事，日常生活等领域有了更佳的应用效果。在针对裂缝图像识别时，全卷积神经网络分割可以将裂缝所在的具体区域提取出来，精确到像素级的分割有利于对裂缝长度宽度的计算。

    裂缝识别可应用于多种场景，例如：道路检测、墙体/楼宇安全检测、山体监测等等，具有很大的现实意义。