异构Hadoop集群下自适应平衡数据存储的大数据放置策略OA北大核心CSTPCD
A big data placement strategy for adaptive balance data storage in heterogeneous Hadoop cluster
Hadoop是一种处理和存储大数据的平台,针对异构Hadoop集群下采用均等数据分配方法易降低系统计算性能的问题,提出一种自适应平衡数据存储的大数据放置策略.根据异构集群中各节点的计算能力比例,将数据分配到节点中.在任务处理过程中,根据反馈的任务完成时间信息,动态更新节点的能力比例,自适应调整数据分配,从而使异构Ha-doop集群中各节点处理数据的时间大致相同,降低节点之间的数据移动量,提高了节点利用率.实验结果表明,该策略能够有效缩减任务完成时…查看全部>>
张少辉;张中军;于来行
周口师范学院 网络工程学院,河南 周口 466001周口师范学院 计算机科学与技术学院,河南 周口 466001大连理工大学 计算机科学与技术学院,辽宁 大连 116024
信息技术与安全科学
异构Hadoop集群大数据放置数据存储平台平衡数据存储
heterogeneous Hadoop clusterbig data placementdata storage platformbalance data storage
《现代电子技术》 2016 (10)
49-53,57,6
河南省科技厅软科学研究计划项目(142400411213)河南省高等学校重点科研项目(15A520118)河南省教育厅科技重点项目(14B520014)
评论