本文是一篇工程论文，本文提出了多路径损耗补偿因子的部分功率控制方案，其有效地解决了单一路径损耗补偿因子方案的不足。进一步地，为了使得每个用户得到最优的路径损耗补偿因子，提出使用强化学习的Q-learning算法联合优化NOMA系统远近用户的路径损耗补偿因子，其可同时兼顾处理小区间干扰和NOMA用户间干扰。仿真结果表明，提出的功率控制方案可以获得比已有方案更高的和速率性能。
第一章 绪论
1.1 研究背景及意义
移动通信技术的不断发展给人们生活带来了巨大的便利，从城市交通、医疗到工业控制领域，通信技术已经与现代社会变得密不可分，它促进了时代的进步，对推动世界发展做出了重要的贡献[1,2]。随着移动设备终端数量的急剧增加，以及互联网和人工智能技术的发展，移动通信系统应用范围越来越大。在第五代移动通信系统中，对不同用户和差异化服务的需求进行了充分考虑，提出了增强移动宽带，海量机器通信和超高可靠低时延通信三大应用场景。
非正交多址接入技术（Non-Orthogonal Multiple Access，NOMA）[8]被认为是一项能够极大地提升网络容量和满足大规模接入需求的新型接入技术，作为第五代移动通信系统[9]中的关键技术，其原理是在发射端利用叠加编码技术将多路用户信号同时发送，在接收端根据接收信号功率的不同，利用串行干扰消除（Successive Interference Cancellation，SIC）技术恢复各个用户的信号。相较于正交多址接入技术将单个资源块分配给单个用户，非正交多址接入技术允许在同一个时域/频域/码域资源上承载多个用户信号，因此可以在有限的资源上满足大规模接入的需求，且同一资源块可以同时传输多路用户信号，系统的传输速率也得到了极大的提升。在接收端进行解调时，多个用户信号会导致接收端的解调变得十分复杂，受限于硬件技术的发展，NOMA技术未能在之前的通信系统被使用，但是随着现代硬件技术的不断发展完善，SIC接收机的设计与实现已成为可能，这也推动着了NOMA技术在未来通信系统的应用。
1.2 国内外研究现状
NOMA作为未来移动通信的关键技术，近年来受到研究人员的大量关注，相较于正交多址接入（OMA）而言，NOMA技术打破了不同用户信号调度在正交资源上的要求，使得用户信号可以同时叠加在同一个时域/频域/码域资源上进行传输，因而可以获得比OMA更大的系统容量。Saito等人在论文[12]中提到在未来网络的接入技术中，NOMA会成为一项重要的使能技术。在功率域NOMA系统中，系统的吞吐量、能量效率、频谱效率等性能指标都和用户的发射功率有关，因此研究NOMA系统的功率控制具有重要的意义。现有研究主要集中于单小区和多小区的NOMA系统场景，利用各种优化算法解决NOMA系统中的优化问题是比较常见的，此外，近年来也有研究人员将强化学习方法与NOMA系统相结合，寻求解决NOMA系统参数优化问题的新思路。下面分别从单小区NOMA系统功率控制、多小区NOMA系统功率控制、基于强化学习解决NOMA系统问题三个方面对国内外研究现状进行概述。
1.2.1 单小区NOMA系统功率控制研究现状
如图1.1所示，在单小区NOMA系统中，主要存在小区内用户之间的干扰。目前，较多文献针对单小区NOMA场景展开研究，常见的优化目标有：最大化系统吞吐量、能量效率和频谱效率等。
文献[13]针对两用户下行NOMA系统的通信场景，将小区中心用户当作中继，提出了ON/OFF全双工和ON/OFF半双工的协作传输方案，优化小区边缘用户的性能。通过仿真从中断概率和总吞吐量两个方面证明了提出方案可以有效改善小区边缘用户的性能。文献[14]研究了单小区NOMA上行系统中用户发射功率和接收端译码顺序的联合优化问题，以最大化系统和速率为目标，并提出了一种迭代算法来交替优化发射功率和SIC译码顺序。具体地，利用Majorization Maximization（MM）方法对发射功率进行优化，并利用最小均方误差（Minimize Mean Square Error，MMSE）方法来设计解码顺序，最后通过仿真表明提出方案相较于随机功率和译码顺序的方案更具优势。
第二章 理论研究基础
2.1 NOMA理论基础
区别于OMA中每个用户独占一个资源块，非正交多址接入技术作为一种新型的多址接入技术，允许多个用户共享同一个时域/频域/码域资源，因而提高了无线资源的利用率，使得系统的性能得到了较大的提升。文献[46]已证明了相较于OMA系统，采用NOMA技术的系统和速率指标可以提升50%左右。在NOMA技术的研究中，主要可以分为两类：一是码域NOMA技术，在该类技术中，比较经典的技术包括网格编码多址技术（Trellis Coded Multiple Access，TCMA）、基于交织的交织多址接入技术(Interleave Division Multiple Access，IDMA)、以及基于CDMA的低密度签名序列（Low-Density Signature，LDS）；二是功率域NOMA技术，其主要利用信道的差异性，采用SIC技术在功率域区分不同用户信号。
本文主要针对功率域NOMA技术展开研究，在下面的论述中就以NOMA来替代功率域NOMA，OMA和NOMA场景中资源分配情况如图2.1和图2.2所示。在OMA场景中，整个频带资源被分为彼此之间正交的子频带，图中横轴表示为各个子载波，每个子载波分别承载着一个用户信号。对于整个系统来说，肯定会存在强用户和弱用户，如果用户之间都使用相同的功率，那么整个系统的性能不一定能达到最优，且在小区边缘的用户可能因为功率没有达到其最低速率要求从而无法通信，因而OMA系统中也缺乏对于公平性的考虑。而在NOMA系统中用户功率是有差异性的，由图中可以看出，在同一个子载波上可以承载多个用户信息[47]，所以NOMA系统可以获得比OMA系统更高的信道利用率。
2.2 功率控制算法
由上述叙述可知，NOMA上行系统吞吐量受到用户功率的影响，用户的功率不光会直接影响自身的传输速率，也会对其他用户形成干扰，影响其他用户的速率。用户的功率发生变化会导致其他用户所受的干扰发生变化，进而影响着整个系统性能，因此，功率控制问题是NOMA研究中的一个非常重要的问题。本节主要介绍已有的功率控制算法，并且分别阐述了各种功率控制的特点。
2.2.1 固定功率控制
固定功率控制是将用户的发射功率设置为一个定值，这是一种比较简单易行的功率控制方案，该方案优点在于设置简便，很容易实现，但是缺点也很明显，用户的功率无法动态进行调整，当通信环境发生变化的时候，原先设置的功率控制方式可能无法满足通信条件，因此该方案缺少一定灵活性。在文献[14]中，主要研究了多用户上行NOMA系统的用户功率控制和译码顺序的联合设计问题，并将固定功率控制方案[48]作为对比，文中将对比方案中用户的发射功率设置为最大，仿真结果表明，提出方案可以获得比固定功率方案更优的系统性能。
在本文中，同样与固定功率控制方案进行了对比，为简便起见，采用了最大发射功率策略[49]，即将固定方案中的每个用户设置了最大的路径损耗补偿因子，并与本文所提方案的性能情况进行对比分析。
第三章 基于单智能体算法的多小区NOMA系统离散功率控制 .......................... 26
3.1 引言 ....................... 26
3.2 系统模型和问题建模 ....................... 27
第四章 基于多智能体算法的多小区NOMA系统连续功率控制 .............................. 40
4.1 引言 .................................... 40
4.2 系统模型和优化问题分析 ..................................... 41
第五章 总结与展望 ............................... 56
5.1 本文总结 ........................... 56
5.2 未来展望 ...................................... 57
第四章 基于多智能体算法的多小区NOMA系统连续功率控制
4.1 引言
第三章主要考虑了在离散环境下用户功率的控制问题，使用基于Q-learning算法可以很好地利用Q值表更新行为策略，从而指导智能体寻找到一个最优策略，但是该方法只适合处理离散空间问题。如果环境是连续变量，那么就无法使用表格来对数据进行存储，将连续空间离散化是一种可行的方式，可离散程度过高会导致状态和动作空间的急剧增加，甚至可能严重导致维度爆炸，同时将连续空间离散化也会导致损失一部分空间中的状态。
从20世纪70年代就已经展开了分布式人工智能技术(Distributed Artificial Intelligence，DAI)[67]研究，作为人工智能技术与分布式计算相结合的一种技术方案，它给解决复杂智能系统和多智能体协作控制问题提供了一种求解思路。在近年来，DAI技术已经成功应用于多种领域，比如机器人控制、道路交通监测、城市电网控制等。DAI的特点主要包括：(1)分布性：在系统中数据不是集中存储在单个设备上，而是分散在各个设备中，通过各个设备节点并行地处理问题，从而提高问题的求解速度。(2)协作性：对于复杂性的问题，由于数据量庞大导致单个设备无法进行处理，可以通过多个设备协调工作进行解决，提高整个系统的求解能力，扩大技术的应用范围。(3)容错性：考虑到设备的可靠性，采用分布式计算可以增加系统冗余节点，当出现单点故障的时
