本文是一篇软件工程硕士论文，本文研究了基于重叠度先验的无人机遥感图像拼接方法，研究内容主要针对无人机热红外遥感图像拼接容易出现错位、畸变甚至失败的问题，对无人机热红外遥感图像数据集的构建、适用于大规模无人机热红外遥感图像拼接的模型选择以及融合重叠度先验的无人机热红外遥感图像拼接模型三个方面进行研究。
第一章 绪论
1.1 研究背景与意义
红外谱段是位于可见光和微波区域之间的，波长在 0.76-1000 𝜇𝑚 范围内的区域。通常将 3-15 𝜇𝑚 范围内的称为热红外。在热红外波段范围内，物体的热辐射能量大于太阳的反射能量，因此，热红外遥感主要使用遥感手段感应地面物体发射热辐射能的差异，以反应地物以及作物冠层温度。热红外图像的这一特性，使其在农林领域能广泛应用于土壤水分平衡评估与水分胁迫 (张智韬等 2019; Messina and Modica 2020; Weisset al. 2020; Zarco-Tejada et al. 2012)，农作物倒伏识别 (T. Liu et al. 2018)) 等方面，促进了精准农业的发展。同时，还可应用在城市热环境精细研究 (Feng et al. 2020; Weng 2009)和实时地面语义分割 (Mehdi and Reza 2019) 等领域。
图像拼接是将多幅图像拼接成具有较宽视场全景图像的过程 (Szeliski 2007)。近年来，由于自动化程度高、使用方便，无人机平台的使用正在迅速增加 (Candiago et al.2015)。与卫星或地面测量相比，无人机遥感技术能同时获得空间分布和几何高度分辨率的地面影像信息 (Vasterling and Meyer 2013)，能够灵活的获取研究区域精细的温度信息。利用图像拼接技术可得到研究区域的全景图像，为研究工作带来了新的手段。但与可见光和多光谱图像不同的是，热红外遥感图像容易受到风和温度漂移的影响 (Kelly etal. 2019)，几何分辨率低。同时图像成像质量较差 (Boesch 2017; Sledz et al. 2018; Websteret al. 2018)，导致图像特征点提取不准确，图像匹配的误差较大，因此目前在拼接热红外遥感图像时往往得不到令人信服的全景图像。并且一般要求采集热红外数据时的图像航向重叠度在 85% 以上 (Pix4D 2021b)，严重降低了无人机热红外遥感图像数据的采集效率。低质量的全景图像将影响基于热红外全景图像的研究的进一步开展，如何获取高质量的研究区域热红外遥感全景图像在相关领域内是迫切需要解决的问题。
本文研究的无人机农田热红外遥感图像拼接技术，可以获得图像细节保留更好畸变较少的研究区域热红外全景图像，为进一步研究提供良好的数据支撑，促进了精准农业的发展。
...............................
1.2 国内外研究现状
近年来，图像拼接技术得到了快速发展，形成了较为成熟的图像拼接体系，一些针对特定应用领域的图像拼接算法也取得一定的进展，如农林业、航空遥感领域以及军事领域等。随着图像拼接技术的日益成熟，现阶段已经有了大量基于图像拼接融合的商业工具，在特定的应用领域内获得更高质量的图像拼接结果成为了研究领域内的热点问题，受到了国内外研究人员的广泛关注。本文将分别对图像拼接模型，无人机遥感图像拼接方法和图像拼接商业软件的研究现状进行调研分析。
1.2.1 图像拼接模型
在图像拼接算法方面，经典算法假定拍摄场景具有有限的深度变化且相机具有固定的投影中心，以 AutoStitch 为代表的经典图像拼接算法大都是基于单个全局单应性变换矩阵将图像映射至同一参考平面 (Brown and Lowe 2003; M. Brown and D. Lowe 2007;Szeliski and Shum 1997)。但是在实际数据采集过程中，这些要求往往难以满足，通常会造成图像拼接错位、畸变等现象。为了解决这一问题，更好的满足实际应用的需求，Gao et al.(2011) 提出了一种包含两个主导平面的图像拼接模型 DHW(Dual HomographyWarping)，将待拼接图像中的场景划分前景和背景两个平面，使用两个单应性矩阵分别进行投影变换对齐前景和背景，解决了多数场景的图像拼接问题。W. Lin et al.(2011) 提出了一种基于平滑变化的仿射变换拼接区域 SVA(Smoothly Varying Affine) 图像拼接算法，首先利用全局单应性矩阵保持图像的原始结构信息，然后将图像划分为网格，每个网格的投影变换为全局变换矩阵添加一个偏差，增强图像拼接的局部对齐能力。
近年来，为了解决大视差图像拼接错位和畸变的问题，提高图像对齐能力，减少全景图像的畸变，Zaragoza et al.(2014) 提出了以基于局部变换模型为基础的图像拼接算法 APAP(As-Projective-As-Possible)。该模型首先将待拼接的源图像划分为均匀的网格，然后通过移动直接线性变换 (Direct Linear Transformation,MDLT) 估算出平滑变化的一组变换矩阵，有效的解决了具有视差图像的拼接问题，该模型被认为是现阶段对齐能力较强且高效的拼接模型，但当数据量大时容易造成畸变；Chang et al.(2014) 提出了一种 SPHP(Shape-Preserving Half-Projective) 图像拼接模型，该算法结合投影变换和相似变换，将图像重叠区域计算得到的投影变换矩阵平滑的外推到图像非重叠区域，在一定程度上减少了图像失真和畸变的问题；C. Lin et al.(2015) 提出了 AANAP(AdaptiveAs-Natural-As-Possible ) 算法，该算法在整个参考图像平面上使用平滑的拼接域，同时结合图像所有的局部变换，减轻非重叠区域的畸变问题，最终得到比 SPHP 更自然的全景图像。Chen and Chuang(2016) 等提出的全局相似性优先模型 (NISwGSP) 模型中，同时考虑局部图像对齐，局部相似性，全局相似性三个方面的约束，显著提高了多幅图像的拼接质量。
..................................
第二章 背景知识与数据集构建
2.1 图像拼接基础
2.1.1 SIFT
SIFT(Scale Invariant Feature Transform) 局部特征点提取算法由 D. Lowe(2004) 提出，该算法通过高斯差分金字塔构建图像尺度空间，在尺度空间内检测候选点保证了特征点的尺度不变性。同时根据主方向旋转候选点邻域窗口的策略确保了特征点的旋转不变性，保证了特征点提取的稳定性。算法具体实现原理与步骤如下:
如图2-2b所示，坐标轴旋转后在关键点 8 × 8 的邻域窗口内计算每个像素点的梯度幅值和方向，图中将梯度方向表示为箭头所指向的方向，梯度幅值用线段的长度表示。同时将邻域窗口划分为 2 × 2 的块区域，每个区域内包含 4 × 4 = 16 个像素点，计算每个像素点的梯度，每个区域块计算像素点梯度的累加值，得到一个具有 8 个梯度方向描述的邻域块，每个结点可以得到 4 个邻域块 (图2-2b右图所示)，SIFT 算法每个关键点使用 4 个这样的结点进行描述，最终得到 4 × 4 × 8= 128 维的特征描述向量。使用邻域块的局部特征进行特征点的描述，减轻了特征提取时对噪声的敏感性，提高了特征提取的精度。最后，为保证算法对光照的敏感程度，归一化处理特征点的 128 维描述符，进一步确保特征点的稳定性。
图 2-2 图像特征点描述。(a) 将坐标轴旋转至关键点主方向；(b) 特征点描述示意图
...........................
2.2 农田热红外遥感数据集构建
无人机农田热红外遥感数据的采集地点为中国内蒙古河套灌区西部解放闸灌域中沙壕渠灌域，位于北纬 40◦52′ ～ 41◦00′，东经 107◦05′ ～ 107◦10′，总面积约 52.4 平方公里，地处干旱与半干旱、荒漠与草原的过渡地带，具备中温带高原、大陆性气候特征，气候干燥，蒸发量大，属于无灌溉即无农业地区。数据采集区域为其中的 4 块研究区域为 Filed 1、Filed 2、Filed 3 和 Filed 4。研究区域面积在 15 万至 25 万平方米之间，研究区域的土地盐分较高，土壤盐碱化现象较为严重，四块研究区域含盐量逐渐增加，其中 Filed 1 盐分最低，Filed 4 盐分最高，地物信息主要为农作物 (包含葵花、玉米和小麦)、覆膜农田、灌水地膜和未耕作的土地，其中以葵花的种植面积最大，研究区域分布如图2-7所示。
数据采集设备为大疆经纬 M600 型多旋翼无人机，搭载禅思 Zenmuse XT 型热红外相机系统（分辨率 640 × 512, 地面采样距离为 129.52mm（在 100m 高度时））。每块研究区域按照预先规划好的飞行航线和重叠率获取热红外遥感图像。图3-6a 为 Filed 1 区域中无人机飞行航线以及拍摄点位置，采集数据时的无人机飞行高度均为 120m.
无人机热红外遥感数据拍摄于 2018 和 2019 年，为了使数据集包含不同地物高度的图像数据，以分析图像拼接算法对地物高度，地物场景类型的拼接效果，本数据集以农作物葵花的生育期为参考，选取在葵花不同生育期（幼苗期 5 月, 现蕾期 7 月和成熟期 9 月）时获取
