本文是一篇机械自动化类论文，本文针对垃圾分类和垃圾资源回收利用等问题，提出了一种基于改进YOLOv5s的环卫机器人双目视觉系统，来识别和定位可回收垃圾。采集了真实道路环境下的可回收垃圾数据图像，并改进了YOLOv5s算法，使得其在复杂的背景环境下，对于可回收垃圾目标检测精度得到提升；
1 绪论
1.1 课题研究背景与意义
近年来，人们的生活水平逐步提升，城市化、工业化规模不断扩大，而在的日常生活中所制造的垃圾也越来越多，环境污染问题越来越严重。为响应我国可持续发展的战略理念，我们要对垃圾污染问题更加重视。垃圾的回收与利用随即成为我国环保事业的热门话题[1]。常见的垃圾主要有干垃圾、湿垃圾以及有害垃圾等，其对环境污染严重，尤其是水体、空气和土壤。垃圾分类与回收利用是有效解决垃圾问题的重要手段之一，有效的废品管理和回收可以极大的限制废品的产生，降低对环境的污染程度，同时实现可回收垃圾资源的再利用，推动可持续发展[2]。每年城市地区和大都市会产生各种各样的垃圾，这些垃圾会对环境造成严重危害，甚至传播多种疾病[3]。其中有各种类型的塑料，金属，玻璃等可回收废品大多数都是可以回收的。全球约有12%的废塑料得到回收利用，25%被焚烧处理，而最终60%的废塑料导致了环境污染。而玻璃和金属也可以反复回收，且回收后永不失其品质[4]。因此，对于废品的回收、分类和再利用为当前急迫的垃圾回收利用提供了一种可行的解决方案[5]。
如图1-1（a）所示，垃圾分拣工作长期以来一直依赖大量的人类劳动力，而这种劳动密集型的工作不仅会让垃圾分类工人身体劳累，还会对其身体健康造成一定的危害。然而，在未来伴随国内人口老龄化日益严重的情况下，未来工作的劳动人口会相对减少，这将使得维护城市环境整洁变得更加困难。如图1-1（b）所示，特别是在一线的工作环境也非常恶劣，环卫工人面临着严寒酷暑、雨雪冰雹等恶劣天气条件[6]，增加了工作的危险性和不确定性。并且，随着人力资源逐渐稀缺，各个单位的用工成本也将随之增加[7]。所以垃圾分类工作的智能化和机械化将是一个重要的发展趋势[8]。此外，随着机器视觉、机器学习技术的不断突破发展，特别是目标检测和图像分类等技术领域，我们已经看到了基于图像的垃圾分类任务取得了显著的进展[9]。
1.2 国内外研究现状
1.2.1 垃圾分拣机器人技术的研究现状
（1）国外研究现状
在欧美日等工业发达国家，垃圾分类机器人的智能化水平已经相当高。这些国家在垃圾分类机器人的研发和应用方面投入了大量资源，建立了完善的实验理论体系和设施设备。这些国家在垃圾分类机器人技术的研究、开发和应用方面积累了丰富的经验，并取得了许多重要的成果，对于推动全球垃圾分类机器人技术的发展具有重要影响力。
ZenRobotics公司最早在2012年研发了Zen机器人用于垃圾分类。经过不断研发创新，在2017年研发了一款基于视觉判断的垃圾分拣机器人―ZRR[11]，如图1-3（a）所示。在这一代产品中，分拣速度提升为每小时3000次，并且将单臂系统升级为双机械臂系统后，其可以抓取宽50cm，重20kg的物体。计算机视觉系统会对各种垃圾进行类型、大小的识别分类，随后机械臂将其准确抓取并放置到相应垃圾桶中。日本FANUC公司推出如图1-3（b）所示的Waste Robot[12]垃圾分类机器人。此机器人借助人工智能技术来实现更加便捷的垃圾分类，机器人能够实时在线扫描和分析物品的化学成分和形状，并完成垃圾的识别和抓取。
美国在垃圾分拣机器人的研究领域处于领先地位，其团队研究的ZenRocycle垃圾回收分选机器人[13]，如图1-4（a）所示。这款垃圾分类机器人，采用触觉代替了视觉作为检测方法。在进行垃圾分类时，这款机器人使用机械臂上的两根带有压力传感器的机械手指对物体进行抓取，然后通过比压力传感器所传回的数据，对纸板、金属和塑料等物体进行分类。同时，国家回收技术部门（NRT）也研究了一款机器人—Max-AI，如图1-4（b）所示。其使用神经网络进行图像识别分类，分类速度和准确率可与人工匹敌。AMP Robotics公司在研究垃圾分拣机器人执行多种人工智能算法方面也取得了进展，他们在佛罗里达州的SSR工厂使用14台智能分拣机器人进行垃圾分拣。
2 双目立体视觉与目标检测算法基本理论
2.1 双目立体视觉基本理论
2.1.1 相机成像模型
如图2-1所示，在理想条件下相机的线性模型可以用小孔成像模型来表达。相机利用小孔成像原理，能够将真实世界坐标系中的物体映射到图像坐标系的二维平面上，且物体和像呈相反状态。其中代表物距，代表焦距。用于描述相机成像过程而且不考虑相机畸变的模型被称为相机的线性模型。
2.2 相机标定与实验
2.2.1 相机标定原理
在诸多相机标定方法中，张正友标定方法脱颖而出，因其广泛适用于各种领域，并且相比其他方法具有更高的精度和鲁棒性。由于其在工业环境中的灵活性和可靠性，本文决定采用该方法进行相机标定。
2.2.2 相机标定实验
相机标定的目的是得出三维重建需要的相机内、外参数。从而实现将图像坐标系中二维数据到世界坐标系下三维数据转换，为后续的三维重建和视觉任务提供准确的基础[34]。
在2014年，Ross GiRshick和他的团队推出了R-CNN模型[45]，该模型第一步使用Selective Search算法，来确定场景中能够包含目标物体的特定候选位置，随后再将它们输入卷积式神经网络，用于对目标物的特征提取与分类。随后在2015年，Ross Girshick等人在原来的模型结构的概念上推出一种新的Fast R-CNN模型概念[46]，该模型的关键在与引入了感兴趣区域（ROI）池化层，从而提高了检测的准确性。相对于R-CNN网络模型，其在PASCAL VOC上的mA P值提升了4%，而测试检测时间提升了213倍。Kaiming He等人在2016年推出了Faster R-CNN模型[47]，该模型的创新之处在与RPN（区域建议网络），它通过在卷积神经网络中引入专门的区域建议网络，使得目标建议和目标分类能够更紧密地整合在一个模型中，进一步提高了整体检测性能。2017年Kaiming He等又相继提出了语义分割区域卷积神经网络（Mask-RCNN）[48]，Mask-RCNN具备生成每个目标实例精确掩码的能力，不仅能够进行目标检测，还实现了目标实例的分割。
3 基于 YOLOv5s 算法改进的可回收垃圾目标检测算法 ................. 21
3.1 建立可回收垃圾数据 ........................... 21
3.1.1 数据集的采集 ................................ 21
3.1.2 数据集的扩充 ................................. 21
4 基于双目视觉的可回收垃圾空间定位方法研究 .............................. 39
4.1 图像预处理 ............................... 39
4.1.1 图像灰度化 ................................... 39
4.1.2 直方图均衡化 ............................... 39
5 可回收垃圾的模拟抓取实验 ............................ 53
5.1 位姿描述及坐标变换 .............................. 53
5.1.1 位姿描述 .............................. 53
5.1.2 坐标变换 ............................ 54
5 可回收垃圾的模拟抓取实验
5.1 位姿描述及坐标变换
5.1.1 位姿描述
（1）位置描述
在空间中，可以通过一个矢量来描述任意一点的位置。如图5-1所示，在空间直角坐标系中，点可用的矢量来表示：
6 总结与展望
6.1 总结
本文针对垃圾分类和垃圾资源回收利用等问题，提出了一种基于改进YOLOv5s的环卫机器人双目视觉系统，来识别和定位可回收垃圾。采集了真实道路环境下的可回收垃圾数据图像，并改进了YOLOv5s算法，使得其在复杂的背景环境下，对于可回收垃圾目标检测精度得到提升；对双目相机采集到的左右两幅可回收垃圾图像，采用改进的SGBM立体匹配算法进行视差求解，求出复杂环境下的可回收垃圾空间坐标；通过对机械臂的手眼标定，得到坐标转换矩阵，确定出可回收垃圾相对于机械臂基座的空间位置坐标，最后通过下位机对舵机发送指令，完成对可回收垃圾的模拟抓取任务。本文的贡献如下：
（1）双目视觉系统的设计。通过深入研究相机的成像原理，建立了相机的成像模型。通过了解坐标系变换的关系，将物体从像素坐标映射到空间坐标。随后对照相机进行张正友标定实验，得出对后续处理至关重要的内部和外部参数。此外，还探索了双目摄像头的测距原理，对双目视觉系统进行测距实验，来推断物体在真实空间中的深度。
（2）提出了一种适用于可回收垃圾检测的模型算法。结合各类算法的特点，选择适用于本文的YOLOv5s算法作为识别定位可回收垃圾的基础算法网络。首先建立了一个包含6000张图像的不同垃圾形状和不同天气环境下的可回收垃圾图像数据集，设置合适的超参数后，对模型进行了训练。针对垃圾的检测精度问题，对原有的算法网络添加CA、SE、CBAM注意力机制，通过实验分析得出，添加CBAM注意力机制对可回收垃圾的检测效果最佳。其次，使用SimSPPF模块、改进的数据增强模块、BiFPN模块等对YOLOv5s网络模型进行优化，使得改进后
