本文是一篇物流管理论文，笔者认为近年来，我国的经济水平和城市化水平持续提高，许多有关推动消费升级和扩大国内市场的政策也逐渐实施起来。预料我国经济将继续保持稳定增长，消费需求将继续升级，城镇化将继续加速，中产阶级的数量将增加，食品安全意识将继续提高，一系列因素将促进我国农产品冷链物流产业的持续发展。
第一章绪论
1.1 课题背景与意义
随着社会经济的不断发展，市民们对农产品消费的需求水平日益提高。农产品消费者对农产品配送类别的需求不断增加，配送服务的个性化要求逐渐提升，对配送人员的专业水平和完善的业务流程等提出了更高的要求。从农产品流通企业的价值实现角度来看，为了使农产品物流相关公司获得更高的收益，这些公司应该根据不同类型的用户特有的需求给出内容多样且质量高的农产品冷链物流配送服务。
根据《中国冷链物流发展报告(2020)》得知，近几年我国的冷链物流行业市场规模发展增速已达到了 14％，但仍存在着大量的产品损失，单单每天农产品的损失量，就能够让将近两亿的人饱腹。究其原因是我国冷链物流运输的能力不够强，使大量货品在流通环节中受到破坏。中国是农业大国，拥有庞大的人口数量，其农产品的年消费量也非常巨大[1]。《中国冷链物流发展报告(2020)》显示，我国的易腐产品的年消费量大概有十亿吨，要借助冷链物流来流通的货品占比将近有一半。近几年，冷藏食品的使用量每年增加了 10%左右，但是，冷藏运输量却不大，才达到全程的 15%左右。与部分发达国家已达到 80%〜90%的状况相比，差距甚远[2]。
农产品冷链物流需要将分散的农产品需求源和供给源给连通起来。由于农产品供需双方的参与者很多，信息交流的数量也很多，因此在农产品冷链物流的流通全程中会产生海量的数据。为了有效的维持农产品冷链物流供需两端的信息交流及有效的管理这些信息数据，有必要借助大数据技术对这些信息数据进行处理，以此来提高农产品冷链物流的效率。虽然这几年来我国的冷链物流发展已十分迅速，大数据相关技术也已经比较成熟，但是对于基于大数据的农产品冷链物流管理仍然存在较多问题：比如，对于冷链全程整个低温的状态缺乏深刻正确的认识，农产品缺少预冷的步骤，导致农产品的保质期大大缩短；间断的关闭制冷设备、中转站装卸货物时操作不当导致冷链中断状况时有发生，没有保持全程制冷损害农产品质量。因此，有必要实时检测和获取农产品冷链物流中的相关数据，并能够合理地划分数据以及及时的进行分析，以采取适当的措施。
1.2 课题来源
本课题的内容是基于校企合作项目——“农业物联网系统”衍生而来。来源项目的目的是开发一个基于农业物联网的数据可视化系统。
如今农业现代信息化发展迅速，其相关的农业数据信息也越来越多。但由于这些数据信息涉猎多领域且易被天时、地理等因素影响，导致这些数据呈现出较高的维度、不易进行整体分析、对系统的实时性要求较强等特点[4]。因此，需要一个数据平台来对这些数据进行有效的利用，该平台应能够集成农业领域的数据,并能够对这些数据进行分析及处理和可视化展示。开发一个基于农业物联网的数据可视化系统具有很好的现实意义。
本文课题在来源项目的基础上进行衍生，研究“基于大数据的农产品冷链物流管理系统”，引用来源项目的部分技术和数据。
第二章 相关技术研究
2.1 大数据基础技术
大数据是指海量的数据，这些数据具有不同的表示形式和来源，如商业交易系统、移动应用程序、网站、客户数据库、机器生成的数据和物联网环境中使用的传感器生成的实时数据等，大量的数据通过可横向扩展的软件进行处理。广义上，“大数据”被认为是一种社会经济现象，与在一些问题领域出现的分析大量数据的技术能力以及由此产生的变革效应相关联。大数据处理流程有：对采集来的数据进行预处理、存储、清洗、分析和可视化[5]。大数据市场的增长率比全球信息技术市场的增长率高三倍以上，每年约为 5%。这一领域如此高的增长率是因为近年来对大数据的投资给投资者带来了可观的利润[6]。大数据技术被广泛应用。它被用于搜索引擎、运输和物流、数据存储、视频和图片分析、电信、网络和社交媒体、医药和医疗保健、科学和研究以及社会生活等[7]。
（1）数据采集与预处理
数据采集和预处理阶段吸收从各种来源大量生成的原始数据。这些原始数据是分散的，操作和维护也比较困难，并且可能会因异常而混乱，包括损坏的值、格式不良和不适合由大数据应用程序使用。将分散的数据整合在一起并写入数据仓库，便是数据采集的过程。此类数据需要过滤和清理、重新格式化和结构化、删除重复数据、移除非法值和数据压缩，这些预处理步骤对于将数据转换到适合或有价值的分析水平至关重要[8]。
Flume NG 作为一种实时的日志收集系统，能够自定义数据发送者，以此来进行数据收集，并对数据进行粗略处理和写入接收器[9]。NDC，即网易数据运河系统，是一种平台解决方案，用于实时数据迁移，同步和预订结构化数据库。Chukwa:是一种构建在 HDFS 和 MapReduce之上的数据收集机制，用于监控大型分布式集群；能够对大规模的日志进行记录和分析，它用一个灵活且强大的工具箱来显示、监控和分析收集到的数据并给出结果。SQOOP:一个旨在Hadoop 和结构化数据库之间高效传输大量数据的工具。以 Strom，Spark Streaming 为代表的流计算工具，能够实时的清洗，聚合并分析不止一个的高吞吐量的数据源，而且能够及时的处理和反馈数据流[9]。
2.2 农产品冷链物流的现状及问题
2.2.1 农产品冷链物流现状
如今，人们的生活质量越来越高，对农产品冷链物流的需求量也在不断上升，但全国各地的发展并不均衡[16]。现阶段我国农产品冷链物流的主要特点有如下几点：
（1）农产品冷链物流建设成本高、规模大。
（2）为了保证系统的敏捷性和高收益性，减少农产品在生产和流通过程中的损失，对系统的网络信息技术的能力有较高的要求。因为冷链物流的高要求以及农产品本身的特点，冷链物流必须利用信息技术，对农产品的整个流程进行多方位的监测[17]。
（3）冷链物流的每个环节都需要有较好的组织协调性，因为农产品冷链有较严格的时效性，且冷链物流的环节较多，每个环节的主要功能差异也较大。
（4）高能耗。因为冷链物流要求产品在低温环境下进行冷藏和运输，所以需要耗费大量的电源等能量。
（5）高风险。农产品冷链物流容易受到市场供求，季节与天气，运输等因素的影响，而收益受损，有较高的风险性。
当前，我国经济已进入新常态，各行各业正在深入发展。其中，作为国家物流业的重心，冷链物流的发展已取得初步成果。2011 年中央一号文件对冷链物流的发展以及冷链物流体系的建设高度重视[18]。2014 年，国家就印发了《关于进一步促进冷链运输物流企业健康发展的指导意见》，指出要加强把先进的信息技术用到冷链物流领域中去[19]。在 2018 年，提到冷链物流，快递物流和电子商务物流是三大重点发展领域，现代物流的转型与发展将迎来大战。2019 年以北方铁路物流节点建设为契机助推“一带一路”设施联通。2020 年哈欧集装箱出口冷链班列开运[20]。根据《中国冷链物流发展报告(2020)》得知，中国冷链运输行业的需求正在以每年 30％的速度增长。目前，我国冷链物流体系尚未完善，运输规模小而分散，基础设施建设滞后，容易产生产品损耗。因此，应该开始探索农产品冷链物流体系的建设路径，以帮助农产品冷链物流经济的快速发展[21]。
第三章 系统总体设计.................................12
3.1 需求分析...............................................12
3.1.1 功能性需求........................................12
3.1.2 非功能性需求...................................14
第四章 改进的冷链物流小文件合并策略及设计........................ 27
4.1 小文件存储需求及现有合并策略............................27
4.1.1 HDFS 小文件存储需求分析.................................27
4.1.2 现有小文件合并策略分析.................................27
第五章 处理冷链物流数据的改进谱聚类算法...................... 40
5.1 用于物流领域的聚类算法........................40
5.2 谱聚类算法的研究......................................42
第六章 系统测试
6.1 平台测试
为了证实本文所设计的基于大数据的农产品冷链物流管理系统的可用性和有效性，应对该系统的各种功能和服务进行测试与分析。
6.1.1 测试环境
平台测试采用四台服务器集群，服务器环境如下：
⚫ 操作系统：Cent OS-6.8⚫ CPU：Intel(R) Core(TM) [email protected]，8 核 16 线程⚫ 内存：8G、机械硬盘 60G⚫ Java v1.8.0_111⚫ Scala v2.1.1.8⚫ Python v2.7.10⚫ Spring Cloud 版本 Finchley.Release⚫ Hadoop v2.7.2⚫ Spark v2.2.0⚫ Samza v0.13.1⚫ Kafka v0.9.0&#
