6.1.2 环境安装
实验环境测试系统集群由 4 台机器搭建而成，需要首先搭建 Hadoop 集群。集群共有四个节点。其中 Master 为 NameNode 节点，其他节点为数据节点。配置信息如表 6.1 所示：
第七章 总结与展望
7.1 总结
人们的日常生活不能离开新鲜农产品，而冷链物流是农产品新鲜度和安全性的重要保证。随着农产品冷链物流的迅猛发展，农产品冷链物流全程所产生的数据的种类和数量也将越来越多，这也对农产品冷链物流管理系统的存储和分析海量数据的能力提出了挑战。本文深入分析了基于大数据的农产品冷链物流管理系统的需求，提出了适用于农产品的冷链物流信息系统项目管理框架，利用开源技术构建农产品冷链物流大数据中心。
本文在参考大量文献的基础上首先分析了本项目的研究背景，明确了项目研发的目标、构建原则及意义。再对本项目开发前的理论基础进行研究，了解大数据技术应用的相关知识和主流框架等，研究国内外农产品冷链物流现状及基于大数据的农产品冷链物流的研究成果，为后续的系统设计打下了理论基础。在系统的总体设计方案上，根据农产品冷链物流现实中的情况来确定项目需求。选用 hadoop 和 spark 框架来管理本大数据项目，在获取海量冷链物流信息后，对这些数据进行存储、清洗、分析等操作。
农产品冷链物流的相关环节会产生大量且类型多样的小文件，而 Hdfs 存储大量小文件时会致使存储和计算性能大幅度的下降，基于此本文提出了一种改进的基于文件类型和大小分组的均衡合并及索引缓存策略。农产品冷链物流的全过程中，采集的农产品相关信息数据、订单等图像数据、冷藏车以及冷库的环境信息相关数据、路径信息的变化等构成了复杂大量的高维物流信息，找到合适的数据分析方法，科学合理的结合大数据技术特点，收集有价值的数据信息并用聚类分析的方法对高维度冷链物流数据进行降维，智能统计和分析冷链物流的相关数据，分析其共同特征，挖掘隐蔽在冷链物流信息中的规律及知识，为农产品冷链物流管理系统的进一步优化给出指导意见。基于此本章提出了一种改进的基于局部标准差和优化初始中心的自适应谱聚类算法（DCSC-NJW）进行冷链物流数据分析，可以促进我国冷链物流行业持续、高效、协调发展。基于上述，完成可视化系统的开发，对主要的功能界面进行测试和展示。最后对本文的工作进行总结并进行展望。
参考文献（略）
