基于Hadoop架构的海量工程数据存储与计算平台构建

摘要：针对当前海量的工程数据信息,如何对这些数据进行存储,是当前思考的重点。论文提出利用Hadoop在存储和计算方面的优势,构建一个可用于对多个工程数据信息进行海量存储和管理的平台。利用Hadoop对存储平台进行搭建,并重点对系统功能、内部模块运行逻辑,以及客户端与服务器端数据同步等问题进行详细的设计,同时创新地提出对MapReduce并行参数进行优化,引入PSO蚁群算法,从而大大提高了存储平台作业的效率,为海量数据的处理提供了新的借鉴,可促进工程数据的共享与后续的深入分析。