职称论文发表栏目提供最新职称论文发表格式、职称论文发表硕士论文范文。详情咨询QQ:1847080343(论文辅导)

基于微服务与OpenAcc的遥感信息加速提取系统研究与实现

日期:2021年01月15日 编辑:ad201107111759308692 作者:无忧论文网 点击次数:1115
论文价格:50元/篇 论文编号:lw202101081510308563 论文字数:32055 所属栏目:职称论文发表
论文地区:中国 论文语种:中文 论文用途:职称论文 Thesis for Title

本文是一篇职称论文发表,本文以遥感图像的植被指数提取算法为背景开展研究,以归一化植被指数为例,将原有提取算法改进。在分析多种并行方式的优缺点后,本文提出了基于单卡和双卡的异步多流的 OpenAcc 并行模式,将加速算法集成至遥感信息加速提取系统中并最终验证了基于异步多流的 OpenAcc 并行模式的真实有效性。


第 1 章 绪论


1.1 研究背景及意义

1.1.1 研究背景

随着大数据时代的到来,云端互联与服务计算等技术的飞速发展,具有丰富功能,为社会生产生活带来便捷性的各种软件系统应运而生。众多软件企业采用不同的软件开发模式与软件开发体系,逐渐丰富并完善了软件生态系统。在此基础上,随着软件功能不断扩展、用户负载量逐渐增长等发展问题,软件生态系统中模块与组件之间的调用依赖关系也变得越来越复杂[1]。为了在软件系统组件与数据迅速迭代的情况下确保软件生态系统的稳定性,解决点对点集成中扩展能力弱,维护成本高与多接口开发的问题,开发人员提出了面向服务体系架构,即 SOA。SOA 中包含了多个服务,服务之间相互独立且相互依赖,各服务通过网络相互调用。随着移动互联网的发展,面向服务体系架构逐渐出现了服务治理有效性差、系统更新能力弱、系统可用性差等弊端。因此,开发人员提出了使业务更加服务化和组件化的微服务架构。

微服务的概念是 2014 年 Martin Fowler 首先提出的。微服务架构的核心理念是将复杂的应用系统以独立业务单元的形式分解为多个服务,每个服务可以采用不同的实现技术,以轻量级、更灵活的方式进行独立设计、开发、部署。运行于独立的进程中,形成高度内聚的自治单元,可以避免服务之间争用数据库和缓存资源带来的问题。代码易理解且开发效率高,服务可扩展性强。微服务架构由多个组件共同构成,其中的每个组件都是独立的单位,可以进行独立部署。微服务提供了服务注册与发现、负载均衡等组件。服务注册与发现组件可以注册并保存各个服务所在的机器和端口号;负载均衡组件可以从一个服务的多台机器中选择一台达到负载均衡的目的。

.......................


1.2 国内外研究现状

1950 年代以来,以苏联和美国为首的国家发射了人造卫星、TIROS、ESSA、ATS的气象卫星和载人宇宙飞船,进而不断发展遥感行业。20 世纪末期,美国发射的 IKNOS卫星成为了有史以来第一颗遥感图像精度达到 1 米的遥感卫星,这是人类遥感史上的里程碑。我国于 1970 年首次发射了人造地球卫星,在 1975 年首次利用返回式卫星得到了卫星的遥感图像。遥感专题产品已经在地理数据的研究、资源信息的获取、自然灾害的防治、农业遥感监测以及水质监测等多方面得到了广泛应用。

1.2.1 微服务研究现状

微服务是近年来新兴的服务架构。2010 年,南京大学的翟晓娟、聂娜等人研究面向服务架构理论,运用面向服务的分析方法设计了具有松散耦合、独立自治等特性的编目微服务,并在代码层实现了微服务的自由组配[5]。2011 年,中国科学院的吴振新对当时长期保存系统的架构进行研究,并指出了其灵活性和扩展性方面的不足。其次介绍了微服务的特点以及发展过程。通过对微服务在长期保存系统的两个典型应用的研究,指出微服务在长期保存领域的独特优势和发展前景[6]。2015 年,上海交通大学的李会一设计了基于微服务架构的智慧社区应用服务与资源管理系统。实现了支持长服务的资源管理子系统,实现了应用服务的注册、发现、监控、调用统计、容量评估等功能[7]。2019 年,电子科技大学的吴为通过对现阶段微服务的主流框架以及消息中间件在系统中的使用等各方面的介绍,分析设计了基于微服务的 AP 设备云管理系统,使系统性能满足如今需求[8]。

遥感行业不断发展,遥感信息加速提取系统整体架构也在不断地发展与提升,遥感信息加速提取系统在遥感图像的加载、处理、信息提取等方面有着长期的应用与发展。

2009 年,相关人员开发了基于 ASP.NET 架构的 Web 遥感信息提取系统并实现了专题信息提取,该体统架构与 IDL 相结合调用 The Environment for Visualizing Images 遥感影像处理平台进行开发[9]。2016 年,电子科技大学分析设计了全球生态环境遥感专题产品生产与服务系统,该系统为 javaweb 系统,以 Hadoop 分布式计算平台作大数据的分析和处理。系统主要对全球环境监测指数以及草原干旱指数产品算法集群并行化[10]。随着移动互联网的快速发展以及系统功能的逐渐丰富,当前遥感信息加速提取系统的服务便捷性以及开发可扩展性有所不足,微服务架构以其按需伸缩、快速扩容等特点能够满足不断发展的社会生产需求。

..........................


第 2 章 基于微服务的系统架构设计


2.1 系统分析与设计

2.1.1 系统分析

遥感信息加速提取系统根据用户的需求可以划分为以下三部分:遥感速递、核心加速、遥感数据展示。系统的具体功能划分如图 2-1 所示。

图 2-1 遥感信息加速提取系统服务划分

遥感速递是遥感信息加速提取系统中一个关于遥感信息的服务模块。该服务的主要功能是展示遥感信息,介绍遥感技术。遥感速递服务模块主要用于向使用该系统的用户展示最新的遥感新闻。该服务模块主要分为三个小模块,分别是遥感新闻列表,遥感新闻展示和遥感技术介绍。遥感新闻列表将展示国内为最新的多项遥感新闻资讯供用户选择;遥感新闻展示则具体展示用户选择的相关遥感新闻内容;遥感技术介绍对国内外前沿的遥感技术进行详细说明。

.........................


2.2 数据库设计

遥感信息加速提取系统的数据库设计从微服务的架构出发,每个核心微服务设计单独的数据库表,满足系统中用户以及管理员的需求。从用户的需求以及可行性分析出发,对遥感信息加速提取系统的数据库进行分析和设计。用 UML 图中的 E-R 图来展示数据库设计的实体关系。

遥感信息加速提取系统是使用 MySQL 数据库进行数据库的搭建以及设计,同时搭建FTP 文件服务器存储遥感图像文件,满足用户上传遥感图像文件,请求并行加速计算以及得到遥感图像计算结果等功能;管理员具备上传遥感速递,介绍遥感技术等功能。系统的 E-R 图如图 2-5 所示。

图 2-5 遥感信息加速提取系统微服务 E-R 图

数据库设计分为多张表,将用户和管理员设计为两张表,使用户和管理员的系统管理方便快捷化。在遥感信息加速提取系统中,用户主要需求是对遥感信息的获取以及对遥感图像文件的处理。管理员的主要功能是管理后台执行算法的数据以及上传遥感速递,介绍遥感技术等。

.........................


第 3 章 基于 OpenAcc 的并行模式研究.................19

3.1 算法流程设计.........................19

3.1.1 图像处理技术.....................19

3.1.2 算法流程概述.......................20

第 4 章 系统实现................................33

4.1 开发环境...................................33

4.2 核心功能模块....................................34

第 5 章 总结与展望.................................45

5.1 总结..............................45

5.2 展望.............................46


第 4 章 系统实现


4.1 开发环境

为了使用户在视觉、时间上具有良好的体验感,遥感信息加速提取系统需要有较高的实时性,并具有快速应对多用户同时访问的能力,且整体界面设计简便友好。同时由于硬件需要,算法的加速需要在一台具有两块或两块 GPU 以上的计算节点中执行。现将遥感信息加速提取系统分为高性能计算服务器节点、系统开发服务器节点以及 FTP文件服务器节点。高性能计算服务器节点负责对遥感图像的植被指数提取算法进行并行加速,系统开发服务器节点负责项目整体的开发,FTP 文件服务器节点负责存储参与并行加速计算前后的遥感图像。

系统开发服务器节点整体性能参数指标见表 4-1。

表 4-1 网站开发节点性能参数指标

.......................


第 5 章 总结与展望


5.1 总结

本文以遥感图像的植被指数提取算法为背景开展研究,以归一化植被指数为例,将原有提取算法改进。在分析多种并行方式的优缺点后,本文提出了基于单卡和双卡的异步多流的 OpenAcc 并行模式,将加速算法集成至遥感信息加速提取系统中并最终验证了基于异步多流的 OpenAcc 并行模式的真实有效性。下面将逐一叙述本人完成的各个科研任务:

(1) 设计了基于单卡异步多流、双卡异步多流的 OpenAcc 并行模式,并对两种 OpenAcc 并行模式进行实验认证。以归一化植被指数算法为研究对象,对比分析了串行模式与两种 OpenAcc 并行模式的消耗时间,列举单卡异步多流、双卡异步多流的加速比,并对两种 OpenAcc 并行模式进行标准偏差检测,论述说明了两种 OpenAcc 并行模式的可行性。

(2) 依据制定出的异步多流的 OpenAcc 并行模式,分析并设计了遥感信息加速提取系统。采用分布式、多节点协同的设计理念搭建了完整的微服务框架,并将系统中的核心加速与遥感数据展示服务集成至框架中。系统划分为三个核心模块:遥感速递服务模块,该模块为用户提供实时的遥感热点信息以及前沿遥感技术。加速处理服务模块,该模块是系统的核心,将基于单卡异步多流、双卡异步多流的 OpenAcc 并行模式应用在加速处理