隐私计算环境下深度学习的GPU加速技术综述OA北大核心CSTPCD
随着深度学习技术的不断发展,神经网络模型的训练时间越来越长,使用GPU计算对神经网络训练进行加速便成为一项关键技术.此外,数据隐私的重要性也推动了隐私计算技术的发展.首先介绍了深度学习、GPU计算的概念以及安全多方计算、同态加密2种隐私计算技术,而后探讨了明文环境与隐私计算环境下深度学习的GPU加速技术.在明文环境下,介绍了数据并行和模型并行2种基本的深度学习并行训练模式,分析了重计算和显存交换2种不同的内存优化技术,并介绍了分布式神经网络训练过程中的梯度压缩技术.介绍了在隐私计算环境下安全多方计算和同态加密2种不同隐私计算场景下的深度学习GPU加速技术.简要分析了2种环境下GPU加速深度学习方法的异同.
秦智翔;杨洪伟;郝萌;何慧;张伟哲;
哈尔滨工业大学网络空间安全学院,哈尔滨150001哈尔滨工业大学网络空间安全学院,哈尔滨150001 哈尔滨工业大学(深圳)计算机科学与技术学院,广东深圳518055 鹏城实验室新型网络研究部,广东深圳518055
计算机与自动化
深度学习GPU计算隐私计算安全多方计算同态加密
《信息安全研究》 2024 (007)
P.586-593 / 8
国家重点研发计划项目(2020YFB1406902);国家自然科学基金青年基金项目(62202123);国家自然科学基金联合重点项目(U22A2036)。
评论