Hadoop云平台MapReduce模型优化研究OA北大核心CSCDCSTPCD
Research on optimized MapReduce model of Hadoop cloud plat-form
针对Hadoop平台MapReduce分布式计算模型运行机制中的顺序制约而产生的计算资源浪费问题，从提高平台中每个执行节点的细粒度并行数据处理角度出发，结合Java共享内存多线程编程技术，对该模型进行了优化，提出一种MapReduce+OpenMP粗细粒度相结合的分布式并行计算模型。并在由四个节点组成的Hadoop集群环境下对不同规模大小的出租车GPS轨迹数据分析处理，验证该模型的性能和效率，实验结果证明MapReduce+OpenMP分布式并行…查看全部>>
Sequential control of running mechanism of MapReduce model on Hadoop platform can lead to waste of com-puting resources. From the perspective of the fine-grained parallel data processing of each node, combined with multi-threads technique of Java shared memory, this paper optimizes MapReduce model and puts forward a MapReduce+OpenMP framework. This model is a distributed and parallel computing architecture based on Hadoop cloud platform, which combines compu…查看全部>>
张红;王晓明;曹洁;马彦宏;郭义戎;王慜
兰州理工大学 电气与信息工程学院，兰州 730050 兰州理工大学 计算机与通信学院，兰州 730050兰州理工大学 电气与信息工程学院，兰州 730050兰州理工大学 计算机与通信学院，兰州 730050国网甘肃省电力公司，兰州 730030兰州理工大学 电气与信息工程学院，兰州 730050
信息技术与安全科学
HadoopMapReduceOpenMP分布式并行
HadoopMapReduceOpenMPdistributedparallel
《计算机工程与应用》 2016 (22)
22-25,4
甘肃省自然科学基金（No.148RJZA019）；甘肃省科技支撑计划基金（No.1304GKCA023）。
评论