基于RISC-V架构的强化学习容器化方法研究OA北大核心CSCDCSTPCD

RISC-V作为近年来最热门的开源指令集架构,被广泛应用于各个特定领域的微处理器,特别是机器学习领域的模块化定制.但是,现有的RISC-V应用需要将传统软件或模型在RISC-V指令集上重新编译或优化,故如何能快速地在RISC-V体系结构上部署、运行和测试机器学习框架是一个亟待解决的技术问题.使用虚拟化技术可以解决跨平台的模型部署和运行问题.但是,传统的虚拟化技术,例如虚拟机,对原生系统性能要求高,资源占用多,运行响应慢,往往不适用于RISC-V架构的应用场景.讨论在资源受限的RISC-V架构上的强化学习虚拟化问题.首先,通过采用容器化技术减少上层软件构建虚拟化代价,去除冗余中间件,定制命名空间隔离特定进程,有效提升学习任务资源利用率,实现模型训练快速执行;其次,利用RISC-V指令集的特征进一步优化上层神经网络模型,提高强化学习效率;最后,实现整体优化和容器化方法系统原型,并通过多种基准测试集完成系统原型性能评估.容器化技术和传统RISC-V架构下交叉编译深度神经网络模型的方法相比,仅付出相对较小的额外性能代价,能快速实现更多、更复杂的深度学习软件框架的部署及运行;与Hypervisor虚拟机方法相比,基于RISC-V的模型具有近似的部署时间,并大量减少了性能损失.初步实验结果表明,容器化及其上的优化方法是实现基于RISC-V架构的软件和学习模型快速部署的一种有效方法.