基于深度强化学习的TSN流排序和调度OA北大核心CSTPCD

针对现有研究寻找数据流最佳排序这一过程本身花费时间过多,没有工程可行的寻找最佳排序的有效方法的问题,提出基于深度强化学习的流排序和调度框架PSNDRL.该框架包括3个关键模块,即创建时间触发(Time-Triggered,TT)流之间关系图的预处理模块、挖掘和量化TT流之间复杂的相关关系并选择概率值最高的TT流的代理模块、进行TT流调度和奖励计算的环境模块,利用图卷积网络和强化学习从大量的TT流中智能探索流特征以及流之间的复杂相关关系对基于可满足性模理论(Satisfiability Modulo Theories,SMT)流调度算法求解时间的潜在影响.通过训练该框架,学习得到一个高效率的TT流策略排序网络,用于在利用SMT流调度算法调度TT流时进行TT流选择.通过与随机排序和基线排序方法进行对比,验证PSNDRL的有效性.结果表明:与随机排序方法的总调度时间、基线排序方法的最大总调度时间相比,PSNDRL的总调度时间分别减少了24.63%和25.95%.所提框架为提高时间敏感网络(Time Sensitive Networking,TSN)流调度效率的研究提供了新的方向.