图 2-8 部分灌水农田展示(左面图像拍摄于 2019 年 5 月 Field 3,右面图像拍摄于 2019 年 5 月Field 4)
...................................
第三章 融合重叠度的全局相似性先验遥感图像拼接方法. . . . . . . . .. . . . . 23
3.1 全局相似性先验拼接模型 . . . . . . . . . . . . . . . . . . . 23
3.2 农田热红外遥感图像的 NISwGSP 拼接分析 . . . . . . . . . . . . . . . 25
3.3 基于重叠度先验的 NISwGSP 改进拼接方法 . . . . . .. . . . . . . . . 28
第四章 实验结果分析与讨论 . . . . . . . . . .. . . . . . . . . 33
4.1 OP-GSP 图像拼接模型综合分析 . . . . . . . . . . . . . 33
4.1.1 与代表性拼接算法相比. . . . . . . . . . . . . . . . 33
4.1.2 与商业拼接软件相比 . . . . . . . . . . . . . . . . 34
第五章 总结与展望 . . . . . . . . . . . . . .. . . . . 45
5.1 总结 . . . . . . . . . . . . . . . . 45
5.2 展望 . . . . .. . . . . . . . . . . 46
第四章 实验结果分析与讨论
4.1 OP-GSP 图像拼接模型综合分析
为了验证本研究提出的 OP-GSP 方法的有效性和鲁棒性,基于所构建的 4 块研究区域共 24 组大规模热红外遥感数据,分别利用本章提出的 OP-GSP 方法、代表性图像拼接算法 (AutoStitch 和 NISwGSP) 和商业图像拼接工具 (Pix4Dmapper 和 PTGui) 进行图像拼接实验, 实验平台配置为 3.4 GHz CPU 和 8 GB RAM。使用开源 VLFeat (Vedaldiand Fulkerson 2010) 视觉库提取图像 SIFT 特征点,在本研究的所有实验中 NISwGSP和提出的 OP-GSP 的网格大小均设置为 40 × 40 像素,同时根据大量实验结果分析,将删除具有高重叠度但图像匹配度较低的图像匹配对的阈值设置为 60。图4-1、图4-2和图4-3展示了三组图像拼接的例子和局部细节的比较 1,三组图像数据对应的实验环境分别为(多云、幼苗期),(多云、现蕾期)和(小雨、成熟期)。
4.1.1 与代表性拼接算法相比
将提出的 OP-GSP 方法与代表性图像拼接算法 AutoStitch 和 NISwGSP 进行对比。AutoStitch 进行图像拼接时,每幅图像采用单个全局单应性矩阵通过球面投影的方式映射至参考平面,在图像匹配对非重叠区域很容易造成严重的扭曲变形。标准的 NISwGSP算法采用常规的构造图像匹配对的方法,使得图像匹配对数量较少,容易在优化过程中陷入局部最优解,造成全景图像局部错位现象。
与同一时期研究区域的可见光全景影像 (由 Pix4Dmapper 拼接得到) 对比 (4-1f 和图4-2f),可以发现,每组数据中 AutoStitch 算法均产生了多处严重的图像扭曲变形 (图4-1c、图4-2c 和图4-3e);标准 NISwGSP 算法虽然在图像畸变方面优于 AutoStitch,但是由于图像对齐能力减弱以及缺少图像的空间位置约束信息,全景图像中均出现了不同程度的错位现象 (图4-1d、图4-2d 和图4-3b)。可以看到,本章提出的方法在图像畸变以及错位方面均优于 AutoStitch,同时比 NISwGSP 图像拼接模型对齐能力和鲁棒性更强,均得到了细节保留更好畸变较少的研究区域全景图像,说明了所提出算法的有效性和鲁棒性。
图 4-1 2018 年 5 月 Field 2 数据图像拼接结果(拍摄于上午,天气为多云,284 幅图像,航向重叠率为 70%,幼苗期),图中红色方框标注了图像拼接错位和畸变的现象。(a) Pix4Dmapper; (b) PTGui;(c) AutoStitch; (d) 标准 NISwGSP; (e) OP-GSP; (f) 同一时期可见光图像
..........................
第五章 总结与展望
5.1 总结
本文研究了基于重叠度先验的无人机遥感图像拼接方法,研究内容主要针对无人机热红外遥感图像拼接容易出现错位、畸变甚至失败的问题,对无人机热红外遥感图像数据集的构建、适用于大规模无人机热红外遥感图像拼接的模型选择以及融合重叠度先验的无人机热红外遥感图像拼接模型三个方面进行研究。本文研究内容总结如下:
(1)针对目前没有公开的可用于测试热红外遥感图像拼接效果的数据集,本研究首先基于 4 块研究区域,分别于 2018 年和 2019 年每年的 5 月、7 月和 9 月获取热红外遥感图像,共制作了 24 组包含不同作物生育期(幼苗期、现蕾期和成熟期)、不同气象条件(晴天、多云和小雨)以及每天不同拍摄时间段(上午、中午和下午)的热红外遥感数据,并公开了所制作的数据集。
(2)针对以 AutoStitch 为代表的每幅图像采用单个单应性矩阵进行投影变换加光束平差法的传统图像拼接模型,在拼接热红外遥感图像时带来的畸变严重丢失图像原始结构的问题,本研究通过比较以网格优化为基础的现代图像拼接模型 APAP和 NISwGSP 在所构建的热红外遥感数据集的拼接效果以及拼接效率,实验结果表明NISwGSP 图像拼接模型由于采用了对齐、局部相似性和全局相似性三方面的约束信息,提高了图像拼接质量并弱化了以往图像拼接模型对光束平差的优化,提高了图像拼接效率,更适用于进行大规模无人机热红外遥感图像的拼接工作,且模型的可扩展性较强。
(3)重点研究了在全局相似性先验的基础上融合无人机在飞行期间的先验信息以改进 NISwGSP 图像拼接模型,减少图像错位和畸变。本研究主要利用图像经纬度估算相邻图像间的重叠度为每幅图像构造包含多个方向约束的图像匹配对,为每幅图像添加更多的约束信息,以防止因热红外分辨率低,匹配误差较大带来的局部畸变和错位严重的问题。同时将重叠度作为权重信息融入 NISwGSP 模型的对齐项中,使具有较高重叠度的图像匹配对在优化过程中提供更多的信息,提高图像对齐的质量。
参考文献(略)