流式大数据平台下的弹性数据迁移能效优化策略OA北大核心CSTPCD
针对流式计算框架在最初设计时缺乏能效方面的考虑,导致其存在高能耗与低效率的问题,提出一种流式大数据平台下的弹性数据迁移节能优化策略。首先,建立负载预测模型与资源判定模型,并进一步设计负载预测算法,通过预测负载变化趋势确定节点资源占用,找到资源过载与过剩节点;其次,建立资源约束模型与最优数据迁移模型,由此提出最优数据迁移算法,以提高节点资源利用率为目的进行数据迁移;最后,建立能耗模型,计算集群进行数据迁移后节约的能耗。实验结果表明,数据迁移节能优化策略能够对集群内节点资源变化做出及时响应,并在提高节点资源利用率的基础上,有效提高集群数据处理的能效。
蒲勇霖;许小龙;于炯;李梓杨;国冰磊;
南京信息工程大学软件学院,江苏南京210044新疆大学软件学院,新疆乌鲁木齐830002湖北文理学院计算机工程学院,湖北襄阳441053
电子信息工程
流式计算负载预测资源约束数据迁移能效
《通信学报》 2024 (002)
P.188-200 / 13
国家自然科学基金资助项目(No.62262064);新疆维吾尔自治区重点研发计划基金资助项目(No.2022295358);江苏省高等学校自然科学基金资助项目(No.23KJB520019);新疆维吾尔自治区自然科学基金资助项目(No.2022D01C56);湖北省自然科学基金资助项目(No.2022CFB805)。
评论