1.1 引言
现代社会对大规模摄像机监控网络的需求不断增加，一套成熟而高效的视频监控系统在城市交通管理、公共区域监测和城市安防预警等方面均发挥着重要作用。而传统的视频监控系统多属于集中式架构，系统中的各路监控摄像机处于独立工作的状态，缺乏协同运算的能力。一方面，摄像机受自身监控视角的限制，在一些大范围监控场景中无法做到全区域监控[1,2]；另一方面，监控人员通常需要对这些分立的监控摄像机进行复杂的配置，管理效率低下[3,4]。随着计算机科学技术和计算机视觉算法的快速发展，基于分布式网络的多摄像机协同监控与全景视频数据融合技术越来越受关注。使用分布式架构所构建的宽视场全景融合与视频监控系统能将不同类型、不同区域的摄像机视场统一到一个全景坐标系中[5,6]，从而实现宽视场全景视频监控。
........
1.2 研究背景与意义
全景视频监控技术的出现丰富了传统安防监控系统的应用场景，同时有效解决传统监控系统所出现的智能侦测程度低、协同处理能力弱、系统规模较小等一系列问题。从二十世纪七十年代起，国外的研究机构就已经开展针对大规模全景安防与监控网络的技术探索。1970 年，D Rees 提出了一套全景成像方案并设计了应用于该系统的视觉传感器，并利用该系统在电视机上显示全景监控画面[7]。近年来，国外大型高科技企业与高校研究院在全景与智能视频监控领域也取得了不少的研究成果。1999 年日本学者结合机器人技术，开发了一套基于分布式视觉的 DVS 导航系统[8]。同年，欧洲研发了高级视频监控 AVS-PV 系统[9]。2000 年，美国的 IBM 公司联合马里兰大学开展相关研究，通过建立人体模型并识别人体行为，实现了 W4 实时监控系统[10]。 国内针对全景视频监控技术的研究起步相对较晚。2001 年，清华大学图像处理研究所提出了一种基于单摄像机的全景生成方案，通过旋转摄像机进行拍摄并完成全景图像拼接[11]。中国科学院总结了当前最先进的视频拼接技术，并设计了一种高分辨率的宽视场视频监控系统架构[12]。华中科技大学利用待拼接图像之间的几何与辐射关系，提出了一种图像校正与全景图像生成方案[13]。中科院研究所通过提取视频帧的纹理并将纹理信息融合到全景图中，从而实现动态全景图的构造[14]。国防科技大学基于 DSP 嵌入式图像处理平台，实现了高分辨率全景视频监控系统[15]。此外，国内的新兴互联网企业纷纷与知名大学研究机构进行深入合作，共同成立全景视频监控相关的研发项目。 在获取全景视频时，需要将多路监控摄像机的视频帧画面投影到全景底图的坐标系中进行实时全景监控[16-18]，这一过程需要运用图像配准技术。图像配准[19]的核心思想是针对不同拍摄视角的两张或多张图像，寻找图像之间的最佳匹配信息，从而得到待配准图像的空间映射关系。网络摄像机的标定与配准工作是实现全景数据生成的基础环节，标定与配准方法的精确性和稳定性将决定整个全景视频计算系统的运行结果。目前，常用的图像标定与配准方法主要可分为以下几类：基于图像灰度信息的方法，如互相关法；基于图像特征的方法，如特征点匹配、边缘法等等；基于变换域的方法，如傅立叶变换法。而根据配准方法对于图像的处理方式，又可分为频域配准和空域配准。基于频域的图像配准算法主要是以傅里叶变换为基础，利用频域内的信息寻求待配准图像之间的最佳匹配，并结合相位相关、互相关等算法进行图像配准。文献提出了一种基于模式匹配算法及傅里叶变换的医学图像配准方法[20]。文献提出了一种基于分数阶傅立叶变换的图像配准方法[21]，该方法对噪声敏感性较小，算法时间复杂度较低。
........
第 2 章 全景视频处理中心的分布式网络计算节点系统架构
2.1 引言
传统的视频监控网络系统主要是由网络监控摄像机、网络硬盘录像机和终端监控显示屏等多种设备所构成。多台监控摄像机经由网络交换机与网络硬盘录像机相连，并通过硬盘录像机对视频数据进行编解码，最终在监控显示屏上实现多路视频监控画面的实时预览。近年来，一些新型的网络监控摄像机在传统设备的基础上逐渐集成了目标移动监测、区域入侵监测、车辆速度监测、目标与车牌识别等计算机视觉算法，提供了基本的智能分析功能；而网络视频监控系统经过了多年的演变，呈现出了以下特点： 1) 视频监控系统的规模增大：当前大规模视频监控的应用场景越来越多，随着网络摄像机等传感器的数量日益庞大，监控设备高清化趋势不断增强，网络监控系统中的数据量和运算量成倍增加。 2) 分布式协同计算的需求日益增加：在传统的视频监控系统中，由于多个摄像机所拍摄的角度不同，其画面视场不在同一标准坐标系上，因此在人工值守时很难从一个全局的角度去观察大范围监控区域的实时动态；另一方面，传统监控系统中各个摄像机独立工作，多摄像机协同工作的能力较为欠缺，难以胜任多摄像机联合识别、跟踪目标等实际任务。 3) 智能侦测程度偏低：在传统的视频监控系统中，工作中心与网络摄像机的组成为集中式结构，来自不同视频处理节点的视频码流统一汇总到网络硬盘录像机进行处理，各路视频处理节点本身缺乏独立完成视频处理和智能侦测的功能。
.........
2.2 分布式网络计算节点的系统架构
2.2.1 全景视频处理中心的整体框架
图 2-1 中给出了全景视频处理中心的整体架构，系统主要由以下几个部分组成：网络监控摄像机、分布式网络计算节点、拓扑计算工作站、流媒体服务器与数据库、网络设备（如交换机）、终端显示屏阵列，以及运行于节点上的远程标定与配准软件，其中分布式网络计算节点又分为前端网络视频分割节点和后端网络视频融合显示节点。分布式网络计算节点是全景视频处理中心的基础，承担着整个系统中的大部分调度工作和运算任务。拓扑计算工作站是分布式网络计算节点的任务发起者，作用是产生分布式节点的工作参数和操作指令并上传至服务器的数据库管理系统。每个计算节点在工作的过程中，都需要周期性与数据库建立网络连接，获取必要的工作参数和操作指令。 本文的主要工作是基于已有的拓扑计算工作站和数据库管理系统的前提下，设计并实现图 2-1 中虚线部分的基础模块，即两类分布式网络计算节点以及运行于节点上的摄像机标定与配准软件。
第 3 章 网络摄像机参数的分布式标定方法设计与实现 .... 13
3.1 引言 ............ 13
3.2 分布式标定方法的流程框架 ........ 14
3.3 图像的投影变换与插值运算 ........ 15
3.4 课题组已提出的互信息图像配准方案 .......... 17
3.5 网络摄像机参数的粗略标定与配准流程 ...... 17
3.6 网络摄像机参数的精细标定与配准流程 ...... 20
3.7 全景视频计算中的标定与配准软件设计与实现 ............ 22
3.8 实验结果与分析 .......... 27
3.9 本章小结 .... 32
第 4 章 全景视频中网络视频分割节点计算方法的设计与实现 .......... 33
4.1 引言 ............ 33
4.2 视频数据分割模块的设计与实现 ......... 33
4.3 视频压缩编码模块的设计与实现 ......... 42
4.4 网络视频数据发布模块的设计与实现 .......... 47
4.5 本章小结 .... 52
第 5 章 全景视频中网络视频融合显示节点计算方法的设计与实现 .......... 53
5.1 引言 ............ 53
5.2 节点远程获取工作参数与数据分析 ..... 54
5.3 远程视频流拉取模块的设计与实现 ..... 54
5.4 视频数据解码模块的设计与实现 ......... 56
第 5 章 全景视频中网络视频融合显示节点计算方法的设计与实现
5.1 引言
全景视频计算中的网络视频融合显示节点承担着多路数据融合、全景视频拼接和全景预览等后期工作。与前端节点的运行机制相类似，网络视频融合显示节点的工作参数是通过远程访问数据库来获取的，其运行框架如图 5-1 所示。与第 3 章节点的工作流程相对应，完成工作参数配置的网络视频融合显示节点首先需要从流媒体服务器中获取一路或多路的压缩视频流数据。由于直接获取到的 H.264 格式压缩视频数据无法直接被处理或播放，节点需要执行基于 FFmpeg 的视频数据解析流程。在得到原始视频帧数据后，节点根据工作参数中的网络摄像机标定与配准参数，计算视频帧图像到全景底图的投影变换矩阵并逐帧进行投影变换运算，使得视频帧图像和全景底图处于同一坐标系。接着，利用投影变换运算得到的图像掩模，节点进一步将每一帧图像拼接到全景底图中。考虑到视频播放需要兼顾处理性能和画面质量，本文使用了加权平均算法对图像数据进行融合。在
