本文是一篇工程论文,本文基于海缆表面质量评级的需求,设计了一个基于深度学习的海缆表面缺陷的程序,并且应用于车间已经生产后的海缆检测中,该程序将深度神经网络模型融入到对海缆表面平滑度的检测以及海缆缺陷引起的危害的预测。
第1章 绪论
1.1 研究背景及意义
当今时代,我国海缆行业飞速发展,产业链日趋完善,已经成为全世界最重要的海缆制造基地之一,也是全世界最重要的海缆消费市场之一。随着世界网络的建设不断取得新进展,世界各国对于海缆都保持着较高的增长需求,由此驱动海缆企业的生产量。全球范围来看,海缆受到下游行业快速发展的影响,市场规模近几年保持较快的发展态势,市场具有较大的发展空间。伴随着科技的不断进步,全世界信息量也愈来愈大,对数据中心互联与网络宽带需求量也持续增长,同时部分海缆公司进入了新老交替阶段,推动了海缆市场的发展。
对于海缆工艺要求而言,挤出类工序如绝缘,需要根据不同电压等级进行变化,且必须在标准要求的范围内。在实际生产过程中,这些厚度都是难以控制的。因此在制造过程中表面难免出现问题。如果没有人及时发现问题并做出适当的处置,海缆将在以后的使用中造成安全隐患,对整条线路产生影响。所以,将海缆表面质量作为商品质量检验的主要成分,是生产制造商不可忽视的一个重点。
目前,海缆生产企业对于其表面缺陷检测主要还是依赖于人工检测,即在海缆生产的挤出类工序阶段,质检人员通过用手触摸并观察产品表面,是否存在缺陷。这种检测方式存在许多弊端,主要表现为以下几点:
1.人工检查的效果是稳定的,没有很大改善;人眼无法发现高速移动的目标,在流水线重复、机械化的检查流程中,检查人员易于疲惫,大大降低检查效果。
2.因为人目的物理限制,就算是用放大镜或显微镜对商品进行检验,也会产生主观性,因此无法提高准确度,而且各种检查员的标准也会有微不同。
3.人工质检的客观性比较大,受质检人员的情绪和感官影响较大,容易造成误判及遗漏的问题。
1.2 国内外研究现状
1.2.1 海缆表面缺陷检测的研究现状
表面检测技术基本上是从人眼检测的方式过度到通过机器来检测表面缺陷的过程。在我国,大部分海缆缺陷检测的方式都是通过人眼的。这种方式的主要优点是成本较低,简单易操作。但是在当今的工业化生产基础上,依靠人眼去识别表面缺陷,很可能因为生产速度过快,或者人眼疲劳而产生漏检,误检。同时长期长时间的检测,对工作人员的身体也是一种损害。由于与世界的联通,不管在国内还是在海外,对海缆的需求量都在日益增加。但是为了在短时间内提高海缆的生产与品质,那肯定就必须摒弃传统的检验方法,来需求更为快捷的检验方式,来面对当前市场巨大的需求。当今已经进入人工智能和大数据的时代,所以未来实现全面自动化还是值得我们期待的。
1.2.2 深度学习在图像检测领域的研究现状
深度学习在图像检测领域主要分为SSD[1]、YOLO[2]、Faster-RCNN[3]三个类别。faster RCNN是先分两步,先提取region proposal[4],也就是判断是前景还是背景的问题,以后再分类,具体看前景是什么东西。SSD和YOLO都是直接一次既产生坐标,又产生每种类别的几率。这样就很明显的可以看出,在三种算法中Faster-RCNN的鲁棒性更强一些,但是同时速度也会较慢一点。因为本文在是在工业生产中进行检测的,所以采用了更加偏向于准确率的Faster-RCNN。
深度学习在当今时代已经属于非常火热的模块了,人们对他的研究也是多种多样的。比如在原有网络模型进行优化[5][6],对参数优化函数进行创新的[7],还有在小样本的情况下进行深度学习[8][9]的等等。随着工业化的发展,深度学习也开始被各大企业重点关注。唐茂俊[5]等人针对传统检测算法在焊缝缺陷检测上的局限性,以及现有检测模型准确率较低等问题,提出了一种Faster-RCNN焊缝缺陷检测模型。该模型通过ResNet101的Faster-RCNN目标检测网络为原型,引入K-means算法对锚框进行优化,来改善目标检测准确率低的问题。朱立忠[6]采用多尺度策略来对网络进行训练测试,大大提升了检测准确率。寇旭鹏[7]通过对巡检图像进行局部分割和增强处理,从而提高图像检测的精准性;周永福等人对LED TV屏进行检测[13]。叶青等人对蜜柚果树航拍进行图像检测[14]。王伊琳将深度学习应用到安检的识别[15]。苗海委等人对粘虫板储粮害虫进行图像检测[16]。
第2章 halcon软件前期处理
2.1 halcon
2.1.1 halcon软件的前景
HALCON是指一种源于德国MVtec公司的图像处理系统软件halcon,在欧洲以及日本以外的行业领域中已经是公认拥有最高效果的Machine Vision软件系统。它发源于美国学术界,但不同于市面常见的商用软件包。实际上,这是一个image processing library,由一千多个各种独特的函数,和底层的各种数据管理内核所构成。当中包括了各种滤波,颜色及其几何,计算数学变换,形状学运算解析,校正,分类辨识,形状搜寻等基础的几何学与影像运算功能,但因为这种功用大都不是根据特殊实际工作而设计的,所以如果用在进行图片加工的地区,就能够利用HALCON强大的运算能力来进行实际工作。
2.1.2 halcon对海缆图像的预处理
在我们采取海缆图像样本的时候,经常会出现因为光照、角度等问题而造成图像曝光过高、过低或者像素模糊等状况。在这个时候需要我们优先对图像的进行优化。在接下的内容中,我们重点描述了halcon是如何对方位不正,色彩灰暗、像素模糊、轮廓不清等问题进行处理的。
2.2 位置校正处理
2.2.1 图像平移、旋转、缩放原理介绍
1.图像的平移
图象加强就是指利用一些图像处理技术对退化后的一些图象特性,如边缘、轮廓、对比度等加以加工处理,从而增强图象的视觉,或者增强图象的视觉清晰度,或者突出图象中的部分内容"有用",压缩其他"无用"的内容,使图象转化为更有利于人或电脑分析处理的形象。具体可以通过RGB三色原理和 HSV原理进行说明。
第3章 相关理论基础 .................................... 17
3.1 rcnn背景介绍 ............................... 17
3.2 CNN 卷积神经网络 ....................................... 18
第4章 海缆表面检测方法 ................................ 34
4.1 基础特征提取网络 .................................. 34
4.1.1 整体设计流程 ........................... 34
4.1.2 IOU代码解析 .............................. 37
总结与展望 ........................... 57
第4章 海缆表面检测方法
4.1 基础特征提取网络
4.1.1 整体设计流程
海缆检测需要对物体和缺陷进行分离之后计算出正确率,需要对图象中的各个成分标定大小,然后再改进Faster RCNN框架并且对数据集进行训练。但是海缆无损区域和缺陷区域的比例较小,通常程序会把颜色深的区域和缺陷区域混淆,这样会带来一定的错误率。针对此问题,设计出一种对区域结合的方法,用来提取基础特征网络,由于Faster RCNN是一个将数据集格式与模式优化的框架,那么多区域结合的方法是用来判断深色区域里面是否有缺陷的一种工具,从而提高检测的正确率。具体流程结构如下图4.1所示:
总结与展望
随着中国电力工业的高速发展,按照我国目前对海底电缆的工程建设现状和沿海经济建设现状及沿海经济建设规模的要求,中国海底电缆工程建设范围和使用区域将会逐步拓展,海底电缆缺陷检测如何实现高效率、高精度、低成本是重中之重。本文基于海缆表面质量评级的需求,设计了一个基于深度学习的海缆表面缺陷的程序,并且应用于车间已经生产后的海缆检测中,该程序将深度神经网络模型融入到对海缆表面平滑度的检测以及海缆缺陷引起的危害的预测。并且对算法模型做出相关的调整和改进,提升了海缆缺陷检测的精确率和效率。本实验前期主要运用halcon软件处理图像,后期在Faster RCNN基础上根据需要改进算法,主要研究方法总结涉及到下面几个方面:
(1)首先介绍了实验研究的背景和意义,以及国内外对于海缆的研究现状,凸出海缆的需求和安全方面都和我们息息相关,从而引出海缆检测必须具有高精确率的必要性。在选定Faster RCNN算法模型的基础之上思考改进之处和创新点,大致规划实验的脉络。
(2)对halcon软件介绍其前景和技术的优缺点,然后对海缆开始做前期处理,一共分为四步。第一步先将图像的位置校正,运用平移、旋转、缩放的矫正原理。第二步运用emphasize算子增强图像的对比度,使海缆图像的色彩达到更加鲜明的效果。第三步对图像进行滤波处理,采用均值滤波的方法让原始图像经滤波之后更加平滑。第四步是将图像进行阈值分割,采用自动分割的原理,目的使图像的轮廓清晰分明。
(3)针对Faster RCNN的组成结构和训练框架有了详细的了解之后,为了改进原有模型的精确率,分为三个方面改进Faster RCNN算法。1.用Res Net50+FPN基础特征提取网络替代VGG16提出特征提取网络,精确率比原来提高了0.9%。2.ROI Align去替换原来的ROI pooling,经过改进之后提高了定位小目标的精确率,mAP值有了一定的提高。3.引入focal loss算法改进损失函数,减少正负样本引起的误差。最后通过SS