第 1 章 绪论
在最近几场高技术局部战争中：阿富汗战争、伊拉克战争、利比亚战争以及 2014 年以来的叙利亚反恐战争，航空侦察为战地指挥官实时提供准确的战术情报和作战地形，为战斗机精准对地攻击任务提供了信息保障，这些对战局的胜败起到了关键作用，展现了现代局部战争中―零地面部队‖的新模式。近年来，航空成像系统在国民经济建设领域也得到大力推广，特别是在抗震救灾、虫害检测、森林防育、数字地球、环境监测、资源勘察等领域得到广泛关注。图 1.1 给出了无人侦察机及典型机载光电平台的外形图。
(1) 航空航天遥感侦察领域：超分辨率重建技术能够有效突破现有光学成像系统的设计和制造水平限制，提高航空航天光学遥感图像的真实空间分辨率，增强遥感图像高频细节信息，更有利于基于遥感侦察的目标发现和识别。增强了遥感图像在航空航天侦察、军事目标跟踪与识别、战场环境监测和打击效果评估等军事领域的应用效果。如图 1.3 所示，戴顿大学计算机视觉实验室利用快速维纳滤波超分辨率方法[15]实现航空图像 3 倍分辨率提高，左图为低分辨率图像插值结果，右图为 3 倍超分辨率重建的结果。
受美国空军资助，美国戴顿大学(Dayton University)和Wright 实验室利用红外 CCD 相机输出的 20 幅低分辨率图像进行超分辨率重建实验，相比于原始红外 CCD 相机的空间分辨率，其重建图像的空间分辨率提高了近 5 倍。哈尔滨工业大学李金宗教授带领的课题组在不改变星载光学成像系统硬件的前提下，利用图像复原技术大幅提高卫星图像的空间分辨率和清晰度。该项目取得了开创性研究成果，在航天遥感侦察、环境检测等领域具有广泛的应用价值。
......
超分辨率重建技术本质上是信息融合技术，其充分利用获取的低分辨率图像序列所包含的非冗余(non-redundant)信息，利用图像模型和降质先验进行亚像素级信息融合，进而重建高分辨率的清晰图像，同时消除由成像器件引入的模糊、噪声[16][17]。它可以实现图像频谱外推和信噪比提升，最终仅以较少的代价克服光学成像系统的固有局限。根据这一原理，为了获取包含非冗余信息的图像序列，应该保证低分辨率图像之间存在亚像素级的相对位移。如图 1.6(a)所示，在实际应用工程中，尤其是航空航天遥感领域，由于载机运动或拍摄角度变化使得数字成像系统能够获得多角度、多时相的目标场景图像序列，这些图像序列之间包含亚像素级相对运动，并存在互补信息。在高分辨率网格(图 1.6(b)左图)中，通过图像配准技术获取它们之间的亚像素运动信息(图 1.6(b)右图)，并通过信息融合技术在高分辨率网格中融合图像序列的非冗余信息，进而实现图像的分辨率提高。这就是超分辨率重建的物理机制，它包含了以时间分辨率换取空间分辨率的哲学魅力和能量守恒的永恒真理。
超分辨率重建的概念最初是由 Harris(1964)[18]和 Goodman(1968)[19]提出，他们利用带限信号外推的方法实现单帧图像超分辨率复原。许多学者对此进行了较深入研究并相继提出了各自的方法，包括解析延拓方法、长椭球波函数法、线性均方外推法、叠加正弦模板法等[20]。虽然这些方法重建速度快且在一定程度上提高了图像清晰度，但在实际应用中，受噪声因素影响重建效果不甚理想，甚至被称为―超分辨率神话‖[21]，因此并没有被广泛推广和应用。
......
第 2 章 航空图像超分辨率重建问题分析
由第一章的分析可知，航空光学成像系统已经发展到一个前所未有的高度，在诸多军事领域和民用领域得到广泛应用和推广。当前的航空图像在实际应用中存在以下难点：第一，航空图像对高分辨率清晰图像的需求在不断增长，而现有光学成像系统仍然无法完全满足实际需求；第二，航空成像环境复杂，曝光期间飞机高速运动或机载振动导致成像系统不可避免地与目标场景发生相对运动造成运动模糊，由于光学系统装调误差导致的离焦模糊等，导致捕获的图像出现模糊失真；第三，暗电流、传输系统等导致图像受噪声污染。因此，针对捕获的图像，研究利用图像超分辨率算法突破成像系统的固有限制，得到高分辨率的清晰图像，对提高航空成像系统性能具有非常积极的意义，有利于目标识别和跟踪。现有的超分辨率重建技术主要包含序列重建方法和单帧学习的方法。序列图像超分辨率重建是指将同场景中存在亚像素级相对位移的低分辨率图像序列信息融合，重建一幅高分辨率图像，使得图像中原本模糊的部分更加清晰。针对单帧图像进行超分辨率重建主要是通过样本库的学习建立高-低分辨率字典，并通过字典模型学习得到超分辨率图像。不管是单帧重建还是多帧重建，其实质都是根据图像观测模型在高分辨率尺度下寻找图像缺失的高频信息。航空图像超分辨率重建是超分辨率技术在航空成像领域中的具体应用。
本章将具体分析航空成像环境下的图像超分辨率重建问题，建立航空图像观测模型，介绍航空成像的降质因素以及各因素对重建的影响。研究了影响超分辨率重建效果的关键因素：图像配准、点扩散函数。然后，分析了超分辨率重建的不适定性及其解决办法，并给出常用的正则化表达式。最后介绍超分辨率重建结果的评价方法。
......
图像超分辨率重建利用单幅或者多幅混叠的、降质的低分辨率图像序列重建出一幅高分辨率图像，其目的是要超过成像系统的光学衍射极限。根据解析延拓理论和信息叠加理论以及非线性操作理论，只要找到合适的先验约束条件，就能实现超分辨率重建。实现超分辨率图像重建的首要任务是对图像获取的退化过程进行合理建模，以数学理论刻画实际光学成像系统获取数字图像的过程，尽可能真实地描述图像的降质因素。
2.2.1 航空图像观测模型
在实际超分辨率重建过程中，对于 4 帧 100×100 大小的低分辨率图像，如果空间辨率提高倍数 r=2，待求高分辨率图像f 的大小为 200×200，降质矩阵 Wk达到 10000×40000。如此巨大参数矩阵，直接进行矩阵存储和计算需要非常高的计算机硬件配置。尤其是，随着迭代次数(传统迭代法超分辨率重建的迭代次数一般超过 20 次)、输入低分辨率图像数量的增加，整体运算量成指数级增长。因此，在超分辨率重建实际操作中，必须采取适当的策略来简化模型和求解过程，提高整体运算效率和速度。
航空成像在这个过程中，目标信息由于在不同的介质进行传输并最终转化成电信号，从而遭受一定的信息损失。因为航空成像的最终结果是获取航拍图像，要分析或提高图像的质量，就必须研究每一个介质对图像质量的影响，或者根据图像的质量，分析哪一个介质影响最大，以便针对具体情况，设法的改进图像质量。对于航空图像超分辨率重建而言，具体受到的制约因素如下：
(1) 运动变形矩阵。航空成像过程中，成像靶面与地面目标之间发生相对位移。当飞机拍摄静态目标时，图像帧间相对运动为全局运动，例如平移、旋转、放缩等刚性变换，一般以参数化仿射变换模型表示；当飞机拍摄动态目标时，场景中存在局部运动，这种复杂成像过程很难以刚性变换模型进行精确描述，一般以光流场等非刚性变换模型表示。但在图像局部区域内，运动变形比较平缓，光照条件基本一致，并且不存在遮挡的情况下，仿射变换模型能较精确地描述图像帧间运动参数。精确鲁棒的图像运动配准及运动参数估计是超分辨率重建成功的基石。
......
3.1 引言 ............................................39
3.2 成像特性分析 ........................................40
第 4 章 图像序列配准及超分辨率重建...............69
4.1 引言 .............................................69
4.2 改进 BRISK 特征的快速图像配准算法 .................70
第 5 章 融合单帧增强的多帧超分辨重建................93
5.1 引言 ..........................................93
5.2 复杂运动环境中的超分辨率重建 ...............94
第 6 章 基于多相组重建的超分辨率技术
实际工程应用中，往往环境复杂，噪声和模糊类型多样、程度不一。在假设环境下，传统的超分辨方法通常可以取得理想的结果，但在实际应用中这些方法往往表现得不够鲁棒，即一旦实际情况与算法所依据的模型假设存在一定程度的偏差，则可能会导致算法最终无法获得令人满意的结果。从早前的非局部均匀插值到 21 世纪初的基于稀疏表示的字典学习方法，研究人员不断地
