首页|期刊导航|通信学报|异构边缘计算环境下异步联邦学习的节点分组与分时调度策略

异构边缘计算环境下异步联邦学习的节点分组与分时调度策略OACSCD

Client grouping and time-sharing scheduling for asynchronous federated learning in heterogeneous edge computing environment

中文摘要英文摘要

为了克服异构边缘计算环境下联邦学习的3个关键挑战,边缘异构性、非独立同分布数据及通信资源约束,提出了一种分组异步联邦学习(FedGA)机制,将边缘节点分为多个组,各个分组间通过异步方式与全局模型聚合进行全局更新,每个分组内部节点通过分时方式与参数服务器通信.理论分析建立了 FedGA 的收敛界与分组间数据分布之间的定量关系.针对分组内节点的通信提出了分时调度策略魔镜法(MMM)优化模型单轮更新的完成时间.基于FedGA的理论分析和MMM,设计了一种有效的分组算法来最小化整体训练的完成时间.实验结果表明,FedGA和MMM相对于现有最先进的方法能降低30.1%~87.4%的模型训练时间.

To overcome the three key challenges of federated learning in heterogeneous edge computing,i.e.,edge heter-ogeneity,data Non-IID,and communication resource constraints,a grouping asynchronous federated learning(FedGA)mechanism was proposed.Edge nodes were divided into multiple groups,each of which performed global updated asyn-chronously with the global model,while edge nodes within a group communicate with the parameter server through time-sharing communication.Theoretical analysis established a quantitative relationship between the convergence bound of FedGA and the data distribution among the groups.A time-sharing scheduling magic mirror method(MMM)was pro-posed to optimize the completion time of a single round of model updating within a group.Based on both the theoretical analysis for FedGA and MMM,an effective grouping algorithm was designed for minimizing the overall training com-pletion time.Experimental results demonstrate that the proposed FedGA and MMM can reduce model training time by 30.1%~87.4%compared to the existing state-of-the-art methods.

马千飘;贾庆民;刘建春;徐宏力;谢人超;黄韬

网络通信与安全紫金山实验室未来网络研究中心,江苏 南京 211111网络通信与安全紫金山实验室未来网络研究中心,江苏 南京 211111中国科学技术大学计算机科学与技术学院,安徽 合肥 230026||中国科学技术大学苏州高等研究院,江苏 苏州 215123中国科学技术大学计算机科学与技术学院,安徽 合肥 230026||中国科学技术大学苏州高等研究院,江苏 苏州 215123网络通信与安全紫金山实验室未来网络研究中心,江苏 南京 211111||北京邮电大学网络与交换技术国家重点实验室,北京 100876网络通信与安全紫金山实验室未来网络研究中心,江苏 南京 211111||北京邮电大学网络与交换技术国家重点实验室,北京 100876

计算机与自动化

边缘计算联邦学习非独立同分布数据异构性收敛分析

edge computingfederated learningNon-IIDheterogeneityconvergence analysis

《通信学报》 2023 (11)

79-93,15

国家自然科学基金资助项目(No.U1709217,No.61936015,No.92267301) Foundation Item:The National Natural Science Foundation of China(No.U1709217,No.61936015,No.92267301)

10.11959/j.issn.1000-436x.2023196

评论