基于差分隐私的联邦大模型微调技术OA北大核心CSTPCD

随着私有数据可用性的降低,基于联邦学习的大模型参数微调成为备受关注的研究领域.尽管联邦学习本身具有一定程度的隐私保护能力,但其中的梯度泄露攻击和针对大模型的嵌入反转攻击等隐私安全问题仍然威胁着参与者的敏感信息.在当前对隐私保护意识不断增强的背景下,这些潜在的隐私风险显著阻碍了基于联邦学习的大模型参数微调在实际应用中的推广.因此,提出一种联邦大模型嵌入差分隐私控制算法,通过全局和本地双重隐私控制机制,在高效参数微调过程中为大模型的嵌入模型添加可控的随机噪声,以增强基于联邦学习的大模型参数微调的隐私保护能力.此外,通过对不同联邦设置的实验比较,展示了该算法在大模型参数微调中的隐私保护效果,并通过中心化和联邦化的性能比较实验验证了该算法的可行性.