本文是一篇工程管理论文，本文以北京津发科技的驾驶模拟场景作为依托，以两位研究生同学为具体研究对象，在明晰操作流程及驾驶任务的基础上，结合深度学习理论对复杂路况等级状态的识别进行了较为深度的研究。
第1章 绪论
1.1 研究背景与意义
1.1.1 研究背景
智能驾驶汽车是目前各个车企以及国内外学者关注的热点，即将成为人们出行的重要工具，现有研究已经取得了良好的进展。但在复杂路况场景下，由于存在路况识别精度低、人机协同效果差、驾驶权决策模糊等问题，导致人车协同驾驶还存在着一些安全隐患，严重影响着行车安全。因此，研究复杂路况的识别、多模态人机信息融合与驾驶权分配策略具有重要意义，图1.1为智能驾驶人机交互界面。
复杂路况下车辆传感器所获取的信号主要包括天气、车辆和行人信号，致使信号维度高，识别精度低。采用基于YOLOv7的智能驾驶汽车复杂路况识别方法，能够提高路况识别精度；此外，人的生理信息对于路况的识别有着重要作用，通过对于人的生理信息的有效分析，实现对驾驶员生理信息的有效提取并将人机信息进行多模态融合，能够提高车辆驾驶过程中的感知能力。在此基础上，达成驾驶控制权的柔性分配，可以降低驾驶员对于控制系统的监管压力，提高驾驶员行车安全性。因此，研究复杂路况识别方法、人机信号融合方法和驾驶权决策方法。是实现复杂路况场景下人机协同感知及人车驾驶控制分配的重要手段，进而提高驾驶安全性，保障驾驶员行车安全。
1.2考虑复杂路况场景下人车协同感知及人车驾驶控制分配策略国内外研究现状
智能驾驶汽车已成为业界和国内外学者关注的热点，尤其在复杂路况下信号识别、多模态信号融合和控制权分配决策等方面，开展了大量的研究工作，并取得了一定成果。
1.2.1复杂路况场景下人车协同感知的国内外研究现状
针对智能汽车对于复杂路况的感知与识别，当前学者主要从多维信号的处理方面来展开。Bursanescu[1]将一种新的模糊系统应用于路况表面信号的分析和识别。针对从路面中提取的信号进行处理，能够实现复杂路面裂缝的精准识别。Li[2]提出了一种结合有效信号估计路面摩擦的信号融合方法。在估计转向状态的基础上，通过输入特性和来自传感器的车辆和轮胎的状态，可以识别出操纵状态，据此可以相应地获得复杂路况下的摩擦确定因子。Zhang[3]提出了一种基于YCbCr空间的颜色概率模型和一种改进的基于MSER的颜色增强方法来检测复杂路况。将空间信息表达能力强的PHOG特征与SVM相结合进行分类处理，具有分类时间短、分类精度高和泛化能力强的特点。Abd[4]针对复杂路况的多维信号降维，提出了几种降维方法，包括主成分分析(PCA)、核主成分分析(KPCA)、多维标度(MDS)方法等。同时通过使用上述技术从Cs-137辐射信号中提取的特征通过将它们馈送到人工神经网络进行识别。在此基础上使用MATLAB程序根据模式识别率和执行时间对所研究的技术进行了比较，得到了核主成分分析方法对追尾信号的识别率最高的结论。
国内研究中，针对智能汽车对于复杂路况的感知与识别，何晗[5]学者提出了基于多维磁信号特征量的车辆检测算法，针对复杂路况场景中车辆的三个分量信号进行分析，并从中提取特征来完成对行驶过程中周遭车辆的识别，再对多维路况信号进行降维处理，以实现在多种复杂交通环境里维持较高准确率。翟子洋[6]针对当前传统智能车辆安全预警系统缺乏路面湿滑状态、数据传输效率低的问题，基于路面状态检测模块采集路况状态图片，再利用神经网络模型识别出路面湿滑状态信息，使汽车安全辅助系统预警的实用性得到进一步提高。
第2章 智能驾驶的人车协同感知问题分析
2.1 智能驾驶汽车感知技术
2.1.1 智能驾驶汽车感知原理
智能驾驶汽车的路况感知原理主要包括两个方面：车辆状态感知和路况感知。车辆状态感知则是指对车辆自身状态的感知和理解，包括车速、转向角度、位置、加速度等信息。路况感知是指通过传感器和算法对车辆周围环境的感知和理解，包括道路状况、交通标志、车辆行驶方向等信息[49]。
在车辆状态感知方面，智能驾驶汽车通常使用惯性测量单元(IMU)和车载传感器等设备进行感知，它可以感知车辆的角速度、加速度和姿态等信息，车载传感器可以感知车辆的速度、转向角度和位置等信息。通过这些设备，智能驾驶汽车可以实时感知车辆的状态，并根据这些信息进行决策和控制，以更好地应对不同复杂等级的路况和驾驶场景[50]。
2.2 智能驾驶路况感知存在的问题
2.2.1 智能驾驶汽车复杂路况识别问题
智能驾驶汽车在复杂路况下的识别主要针对在复杂交通场景中，通过感知设备获取的数据进行分析和识别，以判断当前道路的复杂状况和交通情况，为车辆的决策和行驶提供指导。复杂路况识别问题的挑战主要包括以下几个方面：
(1)交通路况多车辆情形
在拥挤的城市道路上，汽车之间的交互和相互影响非常复杂。智能汽车需要能够准确地检测和跟踪多辆车辆的位置、速度和行驶轨迹，以便预测和避免潜在的交通冲突。此外，智能汽车还需要能够识别不同类型的车辆，如私家车、公交车、货车等，以便根据不同车辆的特点和行为做出相应的驾驶决策。
(2)交通路况多行人情形
行人在道路上的行为往往更加难以预测和控制。智能汽车需要能够准确地检测和识别行人的位置、行走方向和行为意图，以便在行人与车辆之间保持安全距离并避免潜在的事故。此外，智能汽车还需要能够区分不同类型的行人，如成人、儿童、老年人等，以便根据不同行人的特点和需求做出相应的驾驶决策。
第3章智能驾驶协同感知实验 ............................. 20
3.1 实验需求分析 ....................................... 20
3.2 智能驾驶协同感知实验平台的搭建 ........................... 21
第4章基于YOLOv7的智能驾驶汽车复杂路况识别方法 ....................... 30
4.1 车辆与行人图像数据集标签制作 ................................. 31
4.2 基于YOLOv7的智能驾驶汽车复杂路况识别模型 ................. 32
第5章基于多模态信号融合的复杂路况人车协同感知方法 .............. 30
5.1 基于ErgoLAB平台的驾驶员生理数据预处理 ........................... 47
5.1.1 驾驶员驾驶过程生理数据采集 ................................... 47
5.1.2 基于ErgoLAB云平台的驾驶员生理数据预处理 ............... 48
第6章 基于强化学习的驾驶权分配决策模型
6.1 问题分析
现阶段，自动驾驶的决策技术主要采用基于规则(Rule-based)的分解式方案，多应用于稀疏交通工况[79]，但是面对复杂的交通环境，现有的驾驶权切换方法存在建模误差致使权重分配方法适应性低，易导致决策结果存在偏差，因此，如何合理构建人车驾驶控制分配模型是实现复杂路况场景下驾驶权合理分配的关键问题。
针对复杂交通环境下现有预测模型难以给出涵盖所有交通场景与行为的全部决策的问题，国内外学者从应用强化学习的角度开展了大量研究。强化学习基于马尔科夫过程(Markov decision process,MDP)采用闭环学习的形式，利用回报函数作为激励，采用探索试错的方法自主迭代学习[80]，逐步改善决策能力。基于强化学习的自动驾驶决策技术具备出色的自主决策能力，它能够根据特定的回报函数来指导所需的驾驶行为。强化学习在处理高维信息方面具有出色的能力，通过不断探索和学习，它可以从复杂的交通场景中找出最优策略的隐藏映射。这使得强化学习能够有效地应对那些特征难以明确表达的难题，并降低不确定性对决策过程的影响。因此，在自动驾驶决策领域，强化学习具有巨大的应用潜力[81]。韩嘉懿[82]针对人机协同转向控制问题，提出一种基于强化学习的智能汽车变阻抗人机交互方法。试验结果表明，所提出的方法能够使自动驾驶系统根据驾驶员的操纵行为让渡一定的控制权给驾驶员，能实现有效的人机交互；李学鋆[83]提出了一种基于强化学习的驾驶权动态分配方法，并针对驾驶权分配系数和车辆参数不确定性设计了鲁棒控制器。
第7章 结论与展望
7.1 结论
智能驾驶汽车是目前各个车企以及国内外学者关注的热点，即将成为人们出行的重要工具，基于人车协同感知的路况复杂程度识别并根据识别结果做出驾驶权分配决策的研究已成为增强驾驶系统感知能力与降低驾驶员误操作率，进而保证驾驶员行车安全的有效途径。本文以北京津发科技的驾驶模拟场景作为依托，以两位研究生同学为具体研究对象，在明晰操作流程及驾驶任务的基础上，结合深度学习理论对复杂路况等级状态的识别进行了较为深度的研究，主要取得如下的结论：
(1)提出了一种基于YOLOv7的路况识别方法。首先划分了车辆与行人的标签数据集并进行网络训练；在此基础上，以10段驾驶员模拟驾驶过程的路况数据验证模型实际效果，结果表明车辆与行人的平均检测精度分别为87.21%和88.75%，优于其他目标检测方法。解决了现有模型识别精度低和收敛速度慢等问题，从而实现了复杂路况场景下的精确识别。
(2)建立了基于改进CNN的人车感知协同模型。首先应用ErgoLAB平台对驾驶员驾驶过程中生理信号进行了采集与预处理，并分别对采集到的脑电、眼动以及脉搏等信号进行特征提取；在将驾驶员的多模态生理信号融合的基础上，提出了一种基于加权平均融合的方法将人车感知结果进行融合；最终人车协同感知精度为91.30%，验证了模型的有效性和准确性，解决了人车协同感知过程中同步性差的问题
