基于任务资源需求预测的人工智能算力调度OA北大核心CSTPCD

为提升人工智能(AI)算力的任务执行效率和资源利用率,本文提出一种基于任务资源需求预测的AI算力调度方法,指导资源调度过程。相比于以往大多数研究工作仅围绕着图形处理器(GPU)资源设计的AI算力调度方法,本文充分考虑了多个维度资源对用户任务运行效率和计算集群资源利用的影响。本文基于机器学习方法构建任务资源需求预测模型,分析多维度资源对任务性能的影响,进而完成自适应资源伸缩调度,解决用户超额申请问题。实验结果表明,在相同时间内,该方法实现了更多任务的部署和执行。任务部署量提升25.3%,部署任务的完成率提升15.2%,GPU和内存利用率分别提升7.2%和8.0%,提升了算力资源的总体利用率。