基于差分隐私的联邦大模型微调技术OA北大核心CSTPCD
随着私有数据可用性的降低,基于联邦学习的大模型参数微调成为备受关注的研究领域.尽管联邦学习本身具有一定程度的隐私保护能力,但其中的梯度泄露攻击和针对大模型的嵌入反转攻击等隐私安全问题仍然威胁着参与者的敏感信息.在当前对隐私保护意识不断增强的背景下,这些潜在的隐私风险显著阻碍了基于联邦学习的大模型参数微调在实际应用中的推广.因此,提出一种联邦大模型嵌入差分隐私控制算法,通过全局和本地双重隐私控制机制,在高效参数微调过程中为大模型的嵌入模型添加可控的…查看全部>>
曾辉;熊诗雨;狄永正;史红周
移动计算与新型终端北京市重点实验室(中国科学院计算技术研究所),北京100190 中国科学院大学计算机科学与技术学院,北京100190移动计算与新型终端北京市重点实验室(中国科学院计算技术研究所),北京100190 中国科学院大学计算机科学与技术学院,北京100190移动计算与新型终端北京市重点实验室(中国科学院计算技术研究所),北京100190 中国科学院大学计算机科学与技术学院,北京100190移动计算与新型终端北京市重点实验室(中国科学院计算技术研究所),北京100190
计算机与自动化
联邦学习大模型高效参数微调差分隐私数据隐私泄露
《信息安全研究》 2024 (7)
P.616-623,8
评论