异构环境下平滑加权轮询Reduce任务调度算法研究OACSTPCD
Research on Reduce task scheduling algorithm for smooth weighted polling in heterogeneous environment
传统MapReduce在处理倾斜数据时会造成负载不均衡,降低MapReduce框架的执行效率.虽然利用贪心算法分区减轻了MapReduce应用中的数据倾斜,但是忽略了Reduce异构性,因为MapReduce的计算环境通常是异构的,即使中间数据没有倾斜,由于计算能力不同,任务在不同节点上的执行时间也是不同的.为了避免异构性导致Reduce性能下降的问题,提出一种在异构环境下动态平滑加权轮询调度算法.该算法根据节点的计算能力和数据本地性这两个因素选…查看全部>>
黄伟建;贾孟玉;黄亮
河北工程大学 信息与电气工程学院,河北 邯郸 056038河北工程大学 信息与电气工程学院,河北 邯郸 056038河北省信息安全测评中心,河北 石家庄 050071
信息技术与安全科学
Reduce任务调度负载均衡异构集群平滑加权轮询算法节点选取并行图像处理
《现代电子技术》 2020 (23)
139-142,4
河北省自然科学基金项目:云计算中分布式Jobtracker节点模型的建立与优化(F2015402077)河北省高等学校科学技术研究项目:基于复杂网络的空气质量动态分析和预测方法研究(QN2018073)
评论