物联网边缘计算网络中基于深度强化学习的动态SFC部署策略OA北大核心

针对物联网(Internet of Things,IoT)终端的移动性和服务请求的随机性所导致的IoT网络的动态变化,在物联网边缘计算网络(IoT-mobile edge computing,IoT-MEC)中对物联网服务功能链请求流(IoT-service function chain request,IoT-SFCR)进行动态SFC部署是一个具有挑战性的问题。首先将IoT-MEC网络中的动态SFC部署问题分解为两个子问题,即虚拟网络功能(virtual network function,VNF)部署子问题和路由路径确定子问题。然后利用马尔可夫决策过程(Markov decision process,MDP)对其进行建模。为了使IoT-SFCRs的资源消耗成本和端到端时延的加权和最小,并考虑网络的负载均衡,接着提出了一种采用目标网络和经验重放方法的深度强化学习(deep reinforcement learning,DRL)算法,对每个到达的IoT-SFCR实现动态SFC部署。仿真结果表明,在三种典型网络类型下,与现有算法相比,该算法的SFC部署成功率提高了17%,平均奖励提高了23.8%,高效地解决了IoT-MEC网络中SFC的动态部署问题。