第5章 总结与展望
5.1 本文总结
人脸图像合成是当下计算机视觉领域中备受瞩目的研究方向之一，它涉及到计算机图形学和计算机视觉中许多领域的问题。随着神经网络的出现，人脸属性编辑任务更加地智能化，避免了许多繁琐的操作，也大大节约了人力成本。尽管如此，目前的人脸属性编辑算法仍存在着一些问题，比如，编辑过程中属性之间的相互干扰，人造伪影的产生，目标属性编辑不准确等。针对这些问题，以GAN网络为基础，研究工作主要针对两个方面：人脸参考图像属性编辑效果以及文本控制属性编辑效果，主要工作如下：
（1）本文提出了一种新的属性差分方法，它只需考虑要编辑的属性，将目标属性与源属性向量的差作为编码器-解码器的输入，以增强属性的灵活编辑能力。属性差分向量可以更多地关注待编辑属性所在位置区域的语义信息，以保证属性无关区域不被改变。在约束中加入重建损失来确保图像重建结果与输入图像空间分布一致，以约束图像重建质量。加入属性分类损失指导生成器建立属性标签与生成图像的关联，确保正确编辑目标属性的性能。实验表明，本文提出的属性差分方法能够准确地编辑人脸各属性，且能有效改善生成图像细节模糊等问题。
（2）提出了一种基于文本控制的人脸发型编辑方法。许多现有方法都需要绘制草图或以掩码作为输入条件进行编辑，但是这些交互费时且不直接有效。为了使用户从繁琐的交互过程中解脱出来，本文提出了一种新的头发编辑交互模式，该模式能够根据用户提供的文本或参考图像操纵头发属性。一方面，利用CLIP的文本编码器和图像编码器分别将其编码为512维条件嵌入向量，作为映射器网络的输入，为了实现发型和发色这两种属性的解纠缠，提出了用三个相同的子网络映射器分别对应于隐空间中的不同语义，来实现提升隐层空间中属性子向量的表征独立性；另一方面，为了确保其他无关属性不变的情况下实现基于文本或参考图像条件的头发编辑，引入了三种类型的损失：（1）文本操纵损失用于保证编辑结果与给定文本描述之间的相似性；（2）图像操纵损失用于引导发型或发色从参考图像转移到目标图像；（3）属性保留损失用于在编辑前后保持无关属性（例如身份和背景）不变。实验结果表明该方法能够更好地保留无关属性和图像真实感，在人脸属性编辑任务中效果显著。
参考文献（略）
