计算机论文范文栏目提供最新计算机论文范文格式、计算机论文范文硕士论文范文。详情咨询QQ:1847080343(论文辅导)

人脸素描-照片风格转换及其在人脸识别中的推广思考

日期:2022年03月12日 编辑:ad201107111759308692 作者:无忧论文网 点击次数:488
论文价格:150元/篇 论文编号:lw202202231412531127 论文字数:39566 所属栏目:计算机论文范文
论文地区:中国 论文语种:中文 论文用途:硕士毕业论文 Master Thesis

本文是一篇计算机论文范文,本文对现有的素描照片转换方法进行分析,针对存在的问题提出以下改进方法:一是基于属性约束的素描照片转换方法。通过分析现有素描照片转换方法,我们发现大多数方法只利用素描照片图像信息进行研究,而忽略了人脸属性信息。

第 1 章 绪论

1.1 研究背景及意义

随着数字图像处理的发展,图像风格转换已成为一个热门的研究方向,在科学研究、艺术创作、学习生活等方面都有重要的研究价值。

人脸素描-照片风格转换作为图像风格转换的一种,在数字娱乐和刑侦等许多领域有着广泛的应用。人脸素描照片转换可以将用户人脸转换为素描或者漫画形式, 受到了广大用户的喜爱,因而,在数字娱乐中有重要意义,如图1.1(a)。人脸素描照片转换和识别技术在刑侦领域也起着十分重大的作用。在一些案件中,往往很难获取嫌疑人的真实照片,而只有一些目击证人的证词以及专业人士根据证词所画的嫌疑人人像素描,如图1.1(b)。为了根据嫌疑人素描画像识别其身份,可将嫌疑人画像转为真实照片,再利用现有人脸识别技术进行识别;或者使用风格迁移技术将人脸数据库中的所有照片处理为素描画像风格,直接与嫌疑人画像进行比对。

计算机论文范文怎么写

1.2 国内外研究现状

1.2.1 人脸素描照片转换

人脸素描照片转换是指根据人脸照片(素描)图像,通过一些技术手段,转化为对应的素描(照片)图像。现有的素描照片转换方法可以分为如下两类:数据驱动的方法和模型驱动的方法。

(1) 数据驱动方法

早期的素描照片转换方法主要是利用一些传统图像处理方法[1][2][3] 合成简单的画像。Tang 等[4] 开创了人脸素描合成的数据驱动方法的先驱工作,他们利用主成分分析法对人脸结构信息和纹理信息进行转换,将人脸图像转化为素描图像。这样的方法是线性映射关系,但是无法反映素描图像和照片图像之间的一些非线性的关系。Roweis 等[5]提出局部线性嵌入 (Locally Linear Embedding, LLE),Liu[6] 等利用邻近线性解决非线性问题,提出了一种以分段方式将图像映射到对应草图的非线性映射方法,通过分割得到目标草图。Gao 和 Li[7][8] 介绍了一种自动合成草图的算法,利用嵌入的隐马尔可夫模型(EHMM) 构建了草图与对应照片之间的非线性关系。Wang 和 Tang[9] 提出人脸结构的尺度由图像分块的大小决定,如果分块过小会丢失一些细节信息,所以提出在不同尺度下,利用多尺度马尔可夫随机场模型获取人脸结构。Chang 等人[10] 提出了稀疏表示来进行人脸素描合成,因为稀疏表示选择了相关的最佳样本。有学者提出基于随机采样的快速人脸画像合成算法[11],提高了合成效率。以上方法在实际应用中,需要参考训练时的样本特点,被统称为数据驱动方法。

(2) 模型驱动方法

模型驱动方法是指利用大量训练数据模拟照片和素描之间的映射关系,构建对应的模型。测试时,直接利用构建好的模型对输入数据进行回归。这类方法比数据驱动方法合成效率更高。代表方法主要有,Wang 等[12] 提出将图像分割为多个图像块,利用线性回归方式学习每个图像块的映射关系。随着卷积神经网络(CNN) 的发展,有学者[13] 利用素描照片数据对训练基于端到端的全卷积神经网络结构用于素描照片转换,这样的方法不需要对原图像进行分割,直接学习全局图像的非线性映射关系。然而,由于缺乏更细节的局部信息,该模型未能充分表达人脸照片与人脸草图之间的非线性关系。此外,均方误差的损失函数容易产生感知质量较差的结果。

第 2 章 素描-照片转换和识别基础

2.1 素描人脸数据库及预处理

2.1.1 素描人脸数据库

素描图像需要专业画师绘制,耗时耗力,所以现有的公开人脸素描照片数据库的数量都比较小,而且一些数据库因为年份较早,图像质量较差。现有的公开人脸素描照片数据库如表2.1所示,主要有 CUFS[41], CUFSF[42], IIITD[43],如图2.1。CUFS 共有 606 对素描-照片,其中包括:CUHK student data set(188)、AR data set(123)、XM2GTS dataset(295)。由于 AR 和 XM2FGTS 的真实照片需要付费获得,所以能够免费公开使用的图像仅有 188 张;每一张人脸,都有一张照片和由艺术家根据正面姿势,在正常光照下,以中性表情绘制的素描。CUFSF 共有 1,194 对素描-照片,其中包括来自 FERET 数据库的 1,194 人。其中,照片图像的光照差异较大,对应的素描图像风格也更加夸张。IIITD 共有 568 对素描-人脸,包括:viewed sketches(238), 参照照片进行绘制的素描;semi forensic sketches(140), 画师看过一次照片后,凭记忆绘制的素描;forensic sketches(190),仅凭描述者口述进行绘制的素描。由于人脸数据采集环境、采集设备以及方式不同,导致图像质量尺寸格式区别很大,在很多实验中需要输入大小质量角度相似的图像,不然对实验结果影响很大,所以需要对图像进行预处理操作。

2.2 风格迁移算法

风格迁移是指将一张图像转换成风格化的图像,输入包括内容图像和风格图像,输出是带有风格图像的目标图像,如图2.5。早年间的风格迁移方法都是基于人工建模的方法,主要是研究如何表示一种纹理,以往的人工纹理建模方法主要为两大类,第一类是将纹理定义为像素点的 n 阶统计量,利用统计学原理计算出该图像纹理的表达方式,第二类是将纹理定义为相邻像素之间的关系,通过计算邻近像素的值为原像素点赋值。纹理建模解决了如何提取风格图像的风格,后续工作就是如何将风格特征运用到内容图上,这就涉及到了图像重建算法,该算法解决的问题是如何将内容图的特征向量还原为一张指定风格的图像。

Gatys[45] [46]于 2015 年提出将卷积神经网络应用到风格迁移算法,其核心思想是利用大量图片预训练过的 VGG 网络提取图片特征,将风格图像输入 VGG 网络得到特征图,并对特征图计算格拉姆矩阵,利用得到的格拉姆矩阵表示纹理;将内容图输入到VGG 网络中,利用其高层特征表达作为内容图的高层特征表达。

为解决 Gatys 的方法的耗时问题,后续有学者提出一种快速的转换方法设计一个新的网络结构,输入大量数据进行训练,目的为了减少图像重建的迭代次数,即当将一个图像特征输入网络时,只需要经过前向传递一次网络就能得到重建的图像。后续生成对抗网络的出现,也使风格迁移算法有了新的思路。

第 3 章 基于属性引导的人脸素描-照片转换............................ 17

3.1 引言................................... 17

3.2 本章方法 ..................... 17

第 4 章 结合分割的人脸素描-照片转换 ........................... 31

4.1 引言........................................ 31

4.2 本章方法 .................................. 31

第 5 章 多模态融合的素描人脸识别............................... 43

5.1 引言...................................... 43

5.2 多模态人脸识别基础............................... 43

第 5 章 多模态融合的素描人脸识别

5.1 引言

尽管现有的人脸识别方法[64][65][66] 已经有很高的准确率,但是在异构人脸识别领域,素描人脸识别仍然具有很大挑战。在上两章的图像转换实验中,重点在于将素描图像转换为照片图像后,利用现有的人脸识别算法进行实验评估验。本章将从改进人脸识别算法进一步提高识别结果。本章将从两部分进行实验。

第一,单模态人脸识别。利用上文中训练的网络,对普通的人脸数据库进行扩充,生成照片对应的素描人脸,利用这样的数据对现有的人脸识别模型进行微调,对素描人脸进行不同域的识别测试。

第二,多模态人脸识别。首先,由上两章的人脸识别结果看出,不同图像在不同风格域上的识别准确度差异较大,所以本章提出将两个图像域的识别结果融合以提升单域识别的结果。其次,在第三章实验引入属性信息使得最终识别率提高,所以本章提出在人脸识别阶段引入人脸属性信息,以提高最终的识别率。

计算机论文范文参考


第 6 章 总结与展望

6.1 工作总结

人脸素描照片转换和识别技术可以应用到很多领域,如在娱乐领域,可用于人脸照片风格化,动画制作等;在刑侦领域,素描人脸识别技术可用于嫌疑人追踪,寻找走失儿童等。近年来,相关研究越来越受到学者的重视。

本文工作主要由素描照片转换和素描人脸识别两个方面组成,具体的工作包括:

(1)素描照片转换本文对现有的素描照片转换方法进行分析,针对存在的问题提出以下改进方法:

一是基于属性约束的素描照片转换方法。通过分析现有素描照片转换方法,我们发现大多数方法只利用素描照片图像信息进行研究,而忽略了人脸属性信息。本方法将环形对抗生成网络 (CycleGAN) 作为基础网络,引入人脸属性信息以约束生成网络的生成结果。在实现过程中,首先选取了一个人脸属性提取的方法,对其有效性进行了实验,证明该方法基本可以准确提取目标人脸的属性信息;然后在素描照片转换网络训练过程中,引入人脸属性信息,将人脸属性编码为 01 向量接入图像生成阶段,和判别阶段;最后利用消融实验证明了引入属性信息的有效性,再对该方法进行定量和定性实验,分析实验结果。实验证明了引入属性信息能够改善生成图像中