1.1 研究背景
为了满足社会的公共需求和日常政务工作的进行,国家政府以借款的方式或财政资金向社会或企业购买产品、工程、服务等活动统称为政府采购。在网络技术和电子商务快速发展的今天,互联网在人们的工作和生活的各个方面都带来了很多的便利,成为了现代生活工作不可分割的一部分[1]。倘若政府能够通过互联网实施好政府采购,那么,不仅能够让政府采购工作流程 公开透明,而且能够为采购工作带还很大的便利,采购工作得以有序的完成。政府财购是公财财政的一个重要组成部分,在采购的同时,对于市场也能进行有效的监管和引导。随着政府对电子政务的广泛采用[2],政府采购网络化也成为一种必然。当前,利用先进的云计算技术搭建政府采购系统是政府信息化建设的发展需求,也适应了时代的发展[3]。 但是,关于政府采购的一些法律法规目前还不是很完善,电子睫毛务也是不很规范,并且发展也较为缓慢,实现政府采购网络化,还是一个漫长的过程,还有珠多的问题需要解决。比如,政府采购如何利用互联网确保采购过程的公开透明;如何通过网络化运作实现政府与合作企业的双赢;如果通过网络化运作协调好各政府部门的关系,避免在实际的工作中重复采购[4]。对于以上问题,我们进行了一段时间的调研,调研发现,政府采购网络化,节省了采购的时间和人力成本,同时避免了重复采购,过度采购的问题,提高了政府办公效率。同时可以更好的接受媒体和社持的监督,使得政府采购更加的公平、公开、透明,提升了政府形象,对维护政府公信力起到了不可估量的作用。政府采购网络化不仅对于采购工作起了很大的帮助,而且在发展电子政务上也起了很大的促进作用[5]。 “政府采购云”是利用新兴技术云计算与政府采购应用结合,“政府采购云”在全国范围内的建设覆盖,将会是解决当前政府采购信息化问题,快速提高政府采购监管水平和能力,创新服务模式,推动制度改革的一种有效途径[5]。为了“政府采购云”系统能够适应大数据时代对系统性能的要求,系统必须具有一定的可扩展性和伸缩性。
.......
1.2 国内外研究现状
政府采购作为政府有偿获取货物的一种方式,已经在各个国家普遍得以应用,而随着信息技术的迅速发展和互联网技术的广泛应用,政府采购管理网络化也成为一种必然的发展趋势[6]。在当前网络技术发展的高峰期,我国实施政府采购网络化的趋势也相当明显,通过网络技术的应用琮实现政府采购的公平公正性和节省成本提高采购效率已经是政府在采购方面急需解决的问题。而在其他发达国家,也有很多技术和方法可以借鉴。 在一些发达国家,网络技术起步比我国较早,网络信息技术应用也较早地应用到政府采购管理中,例如美国,在在上世纪 90 年代,随着互联网技术的快速发展和在商业中的应用,美国政府就利用网站将政府采购信息进行公开管理,尝试将互联网技术应用到政府采购中。政府采购网络化发展较早,且作出空出贡献的还有智利和澳大利亚等国家,在发达国家,政府采购网络化成为优先考虑的事项。国外发达国家的政府采购网络化在 21 世纪初已经没逐步成熟,随着技术的完善和发展,在近几年,逐渐成为发达国家政府采购的主流形式[7]。政府采购系统网络化也为发达国家政府提供了一些解决问题的措施,国外政府采购网络化相比较国内而言,具有更强的开发性,这是我国目前还无法相提并论的,而与外界进行良好的沟通,才能使系统不断的升级完善。 美国是最先起用电子采购(也称电子商务)的国家,电子数据交换系统是电子所有电子交易系统的前身,一直到上世纪 90 年代中期,电子采购才正式开始。下面介绍一下发达国家使用过的较为突出的电子采购系统[8]。美国的FACNET 系统,该系统主要用于发布采购信息,收集公开招标采购,接受电子投标,能接受并处理在线支付,可在线查看产口目录,并对各个产品在价格、性能以及交付方式等多方面进行比较[9]。
.......
第二章 系统相关技术分析
2.1 MVC 结构分析
MVC 架构是典型的三层架构模式,得到了软件总体架构设计的广泛应用。采用 MVC 架构具有良好的可扩展性,可方便对系统模块的二次开发、升级、维护等操作[24]。在 MVC 架构中,控制器是核心部分,控制器接受用户提交的请求信息,调用模型中的某个逻辑功能处理用户请求,并将数据处理结果通过视图层展示给用户[24]。Model 层被称为实体层,该层通过对应用业务逻辑抽象为系统提供了应用功能接口[25],进而实现业务逻辑功能和数据处理。Model 层实现了数据对象的访问和操作,并通知视图信息的变更。View 层被称为视图层,是系统向用户的展示数据的部分,也可以理解为系统各个模块界面[26]。随着系统功能的复杂,视图层所显示的数据也变得复杂,其所显示的数据是依据模型数据创建。视图层中的模型可为多个视图提供数据,同时允许控制层选择视图。Controller 层被称为控制层,主要用于控制应用程序对数据的处理。控制层连接模型层和视图层,接收用户从视图层传递的交互信息,调用模型层的功能接口实现数据处理,并选择视图实现数据展示。 利用 MVC 架构便于软件系统的开发,降低了系统各模块间的耦合性,有利用系统扩展升级、维护、移植等操作[27]。同时,MVC 架构明显提升了应用系统的鲁棒性和模块代码的重用性[27]。
........
2.2 Hadoop 技术路线分析
通过前面关于 Hadoop 应用现状的了解分析,可知 Hadoop 架构是分布式计算和海量数据处理的开源平台。Hadoop 架构的核心组成部分主要包括 HDFS 和Map Reduce 两部分:HDFS 是 Hadoop 架构的分布式文件管理系统,Map Reduce是海量数据处理的编程模型[28]。简单而言,Hadoop 架构的实现受到了 Google云计算系统的基础上设计开发,除具备了 HDFS 和 Map Reduce 外,还扩展开发了用于分布式数据库开发的 HBase、分布式系统服务应用的 Zoo Keeper、数据层开发预约 Pig 等,因此,利用 Hadoop 架构能够实现大规模数据操作。根据图 2-2 所示的 Hadoop 集群简化结构图可知,Hadoop 包含了多个区块,每个区块主要实现的功能不尽相同。然而,在所有的区块中,HDFS 和 Map Reduce 具备的功能是最能体现 Hadoop 架构特点的区块[28]。 HDFS 是 Hadoop 架构的分布式文件管理系统,由于其具有较强的容错性,因此,可被应用于相对低廉的通用硬件系统中,与当前的分布式文件系统具有很多的相同点,然而,也存在很多的不同点。HDFS 具有极强的海量数据访问及处理能力,能够轻松应对 PB 级别的数据处理。在处理数据的过程中,将存储的数据在每个数据节点上进行复制,则每个数据节点具有 3 份相同的数据,即便其中的一份数据存在问题,并不影响其他数据的完整性,具有良好的防灾容错能力。
.........第三章 系统需求分析 ..... 13
3.1 政府采购系统存在的问题 ............ 13
3.2 政府采购系统用户角色 ....... 15
3.3 系统需求分析 ..... 17
3.4 本章小结 .... 20
第四章 系统设计 .... 21
4.1 系统总体架构设计 ...... 21
4.2 Hadoop 处理采购业务设计 ........... 25
4.3 功能模块设计 ..... 28
4.4 数据库分析与设计 ...... 33
4.5 本章小结 .... 38
第五章 系统实现与测试 .......... 39
5.1 系统发布 .... 40
5.2 系统主要模块展示 ...... 40
5.3 系统测试 .... 50
5.4 本章小结 .... 55
第五章 系统实现与测试
由于本系统设计与实现的目的在于利用 Hadoop 平台实现数据处理,由于本系统是原型系统,缺乏海量的采购数据,且因研究实验环境有限,因此,本系统利用 4 台 PC 机模拟演示分布式数据计算环境。
5.1 系统发布
根据图 5-1 所示的系统网络拓扑图。1 号机为 master 主机,用于政府采购系统部署,而 2、3、4 号机为 slave 机,在上面部署 Hadoop 软件,实现协同业务处置工作。因此,主要的测试工作是针对主机 1 进行的。由于此次测试过程中,缺乏海量级的数据,因此对于 Hadoop 平台的性能测试没有明显的效果,也是本次论文的明显不足。 由于系统是在 Windows 系统上开发,通过 Tomcat 实现系统的发布。因此,系统发布与既往应用软件系统部署没有明显的区别,应用系统源代码依旧位于 Tomcat 下的 Web App 目录下。所需注意的是:在启动服务器的同时,还需将 Hadoop 平台和 Postgre SQL 的服务同时启动。 在完成上述部署工作后,即可启动 Tomcat 服务、Hadoop 服务和数据库服务,实现系统的运行。
.........
总结
本文通过对现有政府采购系统的深入研究分析,提出构建基于 Hadoop 平台的政府采购系统。文中深入研究了 Hadoop 平台对政府采购数据