本文是一篇计算机论文范文，本文是以《中国制造 2025》和智能制造为大背景，通过融合工业场景和互联网技术，为国家经济稳中有进提供了新的驱动力。实现智能制造目前还有很长的路要走，现有的方法很难在一个可接受时间范围内得到全局优化的答案；在部分工业环节中需要结合工艺知识，而工艺知识严重依赖一些领域专家，远远没有实现智能制造。而更高效、更智能的多 Agent 系统是解决这些问题的一种优秀的方案。关键制造环节的智能化是智能制造的核心。
第 1 章 绪论
1.1 研究背景及意义
1.1.1 研究背景
当前，主要的工业大国都开展了新一代工业革命，中国也提出了《中国制造2025》改革规划[1]。这次改革规划，将实现智能制造作为此次改革的主要方向，通过结合工业中的实际场景与新兴技术来提升制造系统的智能化，促进产业各环节优化升级，为我国经济增长，建设世界工业强国提供了新的驱动力[2]。
多 Agent 系统(Multi-Agent System,MAS)是通过局部相互作用的多个 Agent 耦合组成的统一系统，由于其优秀的集成性、智能性和异步处理能力为实现智能制造提供了新的可行方案[3]。它主要体现了 Agent 的社会性这一基本的特性，在 MAS中，Agent 的社会性不仅体现在多个单独 Agent 之间的交互，还包括多个 Agent 之间的协作，竞争；在 MAS 中也需要保持 Agent 自治性的基本特征，即在 MAS 中每个 Agent 都是独立自主的，使 Agent 在面对环境变化，每个单独的 Agent 都可以做出作用于自身或者环境的行为。
多 Agent 系统的最终目标是模拟人类决策[4]，为了达到模拟人类决策的最终目标，这要求多 Agent 系统具有更强的智能性。当前，随着强化学习的发展，人们发现强化学习相关算法可以在维持 Agent 的自主性及其他特性的同时提升 Agent 的智能水平，所以强化学习逐渐成为了提高 Agent 智能性的主要方法。
强化学习[5]显著的特征是：它没有直接的指导学习的信息，所以 Agent 必须不断尝试与环境交流，从而获得最佳策略。在一系列的情况下，通过多阶段适当决策实现目标是一个连续的多阶段决策问题。在强化学习中，环境提供的增强信号不是用来评估 Agent 的操作质量，而是用来指示 Agent 如何产生正确的操作[6]。强化学习方法主要是由 Agent、环境状态、动作和奖励等元素构成。
..................................
1.2 国内外研究现状
1.2.1 多 Agent 系统的研究现状
多 Agent 系统是通过局部相互作用的多个 Agent 耦合组成的统一系统，多个Agent 之间的有效协同协作完成任务为解决复杂多变的问题及智能制造系统的实现提供了可行的技术支持[7] 。每个 Agent 通过交流、协作来实现系统的整体目标，这也将整个复杂的系统分解成多个相互协调合作的子系统[8]。多 Agent 系统具有降低系统复杂程度，提高系统效率，高鲁棒性等优点，随着多 Agent 系统理论体系的发展，该方法已成为复杂系统分析和设计的有力思维方法和工具[9]。
研究人员[10]为解决多智能体分布式结构中的一致性优化问题，采用交替方向乘子法来解决某些大数据场景中 Agent 之间的通信计算量大的问题。
李飒,王云莉等人[11]为了使系统实现动态的作业调度，建立了一个分层的多Agent 模型。整个系统模拟动态招标、投标的方式实现系统车间的动态调度，此外该系统还可以主动处理车间的意外故障，提高了系统的主动性。
乔少杰,韩楠等人[12]针对文本数据的特点，构建了一个多 Agent 分布式模型，该模型中的 Agent 通过相互通信，相互协作，共同完成文本聚类的任务，依靠分布式结构中系统高效的计算能力和分析处理的能力，最终提升了整个系统的文本聚类效果。
高世一, 赵明扬等人[13]为了提高工业生产系统的控制性能，建立了一个多Agent 混合式控制模型，该模型将整个制造系统分成了三层。在每层的内部是以分布式的结构来实现 Agent 间的交流协作。该模型提高了工业制造控制系统的灵活性和时效性。
图 1.1 技术路线
...............................
第 2 章 相关理论介绍
2.1 智能制造
2.1.1 智能制造的背景
随着人工智能的发展，传统的制造业不能够满足人们的需求，智能化是未来全球制造业的趋势。我国也积极的探索和深入智能化制造的领域。国家规划《中国制造 2025》中也提出了要将智能技术与制造业相融合。制造业是国家的基石工业，如果制造业落后于人就将造成国家的根基动荡。当前国家正在大力发展智能制造领域、为我国的经济发展也提供了新的驱动力[24]。
当前智能制造面临着严峻的挑战，各个工业大国都已经展开了自己的工业改革，中国智能制造面临的国际竞争将更加激烈，特别是受国外关键技术的制约的产业，严重阻碍了中国智能制造的发展。
智能制造的定义目前还存在分歧，一般来讲，智能制造指的是以互联网技术为基础，结合其他新兴技术，以智慧工厂为载体，涉及设备、生产、管理、产品等各个方面，能够获取各环节状态信息和实时数据，拥有智能的自主决策能力的先进制造系统的总称。智能制造中的智能主要包括两个方面：一方面是企业生产过程需要数字化、智能化；另一方面指的是可以实时追踪、追溯管理生产出来的产品及产品零部件信息，实现数据互联。
目前智能制造有以下特点：1.智能制造更加重视工业数据，更全面、准确的工业数据有利于解决复杂系统的不确定性、安全性等问题。2.智能制造的基础设备需要融合 5G 等新通信技术，5G 通信可以为智能工厂提供更高效的网络服务，满足工业需求。3.智能制造需要结合新一代的人工智能技术，进一步提升工业生产工艺的智能性，降低对领域专家的依赖。
与传统的制造系统不同，多 Agent 系统不仅具有更强的学习知识的能力，还有着良好的集成性和灵活性。基于多 Agent 技术的制造系统可以集成如启发式算法、人工智能算法等智能算法，这些智能算法又可以进一步的提高系统的学习，决策和协作能力，最终提高系统整体的智能化水平。由于每个 Agent 通过合作来实现系统的整体目标，这将整个复杂的系统分解成多个相互协调合作的子系统,有利于提高系统鲁棒性。
...................................
2.2 Agent 相关技术
2.2.1 Agent 相关概念及特性
Minsky 最早将社会相关概念引入到计算机领域[25]，并将社会的个体称为 Agent。但是，目前对于 Agent 的定义，还存在着分歧，计算机理论方面的专家把 Agent 理解为封闭的计算机系统，他们还认为这种计算机系统依赖于硬件支持；人工智能方面的专家则将 Agent 技术称为伪人类技术，是以知识体系为基础的推理系统[26]。在这种观点下，又诞生了两种广为熟知认可度较高的定义，即"强定义"和"弱定义"[27]。
关于"强定义"和"弱定义"既有共同点又存在区别,其中两者都包含了以下四个基本的特征。
自治性：Agent 可以单独地运行，根据自己的内在状态和接收到的环境信息，独立地采取行动改变或维持自己的状态。
社会性：社会性最早也是由 Minsky 提出的，它指的是 Agent 可以与环境中其他个体或 Agent 交流信息，并从这个过程中获得信息或知识，利用社会性的特征，Agent 之间可以相互交流协作完成任务。
反应性：Agent 根据环境信号做出回应。
主动性：Agent 根据各种信息或知识主动地采取行动。
"强定义"和"弱定义"的区别："强定义"Agent 不仅有上述的四种特性，还包括不限于智能性、适应性、交互性、持续性等特性。坚持"强定义"的人工智能学者认为 Agent 应该具有更多人的特性，如承诺、意图、甚至情感属性[28]。
"弱定义"下的 Agent 经常与面向对象中抽象的对象进行对比，尽管两者在状态、接口等概念有相似之处，然而 Agent 依靠上述四个基本的特性使得 Agent 可以以接近人的思维的方式，主动的获取信息，完成对应的动作，而对象往往是被动的等待调用、执行，所以 Agent 也被称之为类人的对象即主动、智能的对象[29]。
.................................
第 3 章 面向工业的多 Agent 混合式智能模型 ................... 17
3.1 多 Agent 建模的含义和优势 ........................ 17
3.2 Agent 之间的通信 ......................... 17
第 4 章 基于状态表示学习的多 Agent 协作算法 ................. 29
4.1 研究背景 .................................. 29
4.2 MADDPG 算法概述 ...................... 30
第 5 章 基于 TS_Qlearning 的多 Agent 作业调度 ................ 37
5.1 研究背景 ................................. 37
5.2 作业调度问题描述 ............................... 38
第 5 章 基于 TS_Qlearning 的多 Agent 作业调度
5.1 研究背景
由于作业调度问题（Flow shop scheduling problem ,FSSP）在采购，生产，计算设计，分配，运输，信息处理和通信中的都有重
