基于深度强化学习的联合通信感知系统波束优化方法OA

在不远的未来,ISAC系统将同时提供通信和感知服务。ISAC系统需要通过先进的波束优化算法保证所提供服务的质量,并满足形式多样的服务目标和资源约束。通常,波束算法可建模为一个优化问题。然而,基于传统优化理论设计的优化算法仅能处理带有瞬时约束的资源分配问题,而不能处理带有长时间约束的优化问题,从而降低了系统性能。一种可行的解决方案是基于RL理论设计相应算法来解决上述问题。然而,现有的工作主要致力于解决无约束RL问题,对约束强化学习问题关注较少,这限制了强化学习在波束优化问题中的应用。为了克服上述挑战,提出了一种基于CSSCA的RL方法。该方法将原有的目标函数和约束函数替换为对应的凸近似函数,通过求解一系列的凸近似问题,最终可以保证收敛到原问题的KKT点。最后,通过仿真结果展示了所提出方法的优越性。