Flink环境下基于负载预测的弹性资源调度策略OA北大核心CSCDCSTPCD
Load prediction based elastic resource scheduling strategy in Flink
为了解决大数据流式计算平台中存在计算负载剧烈波动,但集群因资源不足而遇到性能瓶颈的问题,提出了Flink环境下基于负载预测的弹性资源调度(LPERS-Flink)策略.首先,建立负载预测模型并在此基础上提出负载预测算法,预测集群负载的变化趋势;其次,建立资源判定模型,以判定集群出现资源瓶颈与资源过剩的问题,由此提出弹性资源调度算法,制定弹性资源调度计划;最后,通过在线负载迁移算法执行调度计划,实现高效的节点间负载迁移.实验结果表明,该策略在负载剧烈波动的应用场景中有较好的优化效果,实现了集群规模和资源配置对负载变化的及时响应,降低了负载迁移的通信开销.
李梓杨;于炯;王跃飞;卞琛;蒲勇霖;张译天;刘宇
新疆大学软件学院,新疆 乌鲁木齐 830008新疆大学信息科学与工程学院,新疆 乌鲁木齐 830046新疆大学软件学院,新疆 乌鲁木齐 830008新疆大学信息科学与工程学院,新疆 乌鲁木齐 830046成都大学计算机学院,四川 成都 610106广东金融学院互联网金融与信息工程学院,广东 广州 510521新疆大学信息科学与工程学院,新疆 乌鲁木齐 830046
信息技术与安全科学
流式计算资源调度负载预测性能瓶颈Flink
《通信学报》 2020 (10)
92-108,17
国家自然科学基金资助项目(No.61862060,No.61462079,No.61562086,No.61562078)新疆维吾尔自治区自然科学基金项目(No.2017D01A20)新疆大学博士生科技创新项目(No.XJUBSCX-201902)
评论