基于逐层增量分解的深度网络神经元相关性解释方法OA北大核心CSTPCD
神经网络的黑箱特性严重阻碍了人们关于网络决策的直观分析与理解.尽管文献报道了多种基于神经元贡献度分配的决策解释方法,但是现有方法的解释一致性难以保证,鲁棒性更是有待改进.本文从神经元相关性概念入手,提出一种基于逐层增量分解的神经网络解释新方法LID-Taylor(Layer-wise increment decomposition),且在此基础上先后引入针对顶层神经元相关性的对比提升策略,以及针对所有层神经元相关性的非线性提升策略,最后利用交叉组合策略得到最终方法SIG-LID-IG,实现了决策归因性能的鲁棒跃升.通过热力图对现有工作与提出方法的决策归因性能做了定性定量评估.结果显示,SIG-LID-IG在神经元的正、负相关性的决策归因合理性上均可媲美甚至优于现有工作.SIG-LID-IG在多尺度热力图下同样取得了精确性更高、鲁棒性更强的决策归因.
陈艺元;李建威;邵文泽;孙玉宝;
智能信息处理与通信技术省高校重点实验室(南京邮电大学),南京210003 南京邮电大学通信与信息工程学院,南京210003南京信息工程大学教育部数字取证工程研究中心,南京210044
计算机与自动化
神经网络可解释性决策相关性逐层相关性传播类激活图积分梯度
《自动化学报》 2024 (010)
P.2049-2062 / 14
国家自然科学基金(61771250,61972213,62276139,U2001211),青蓝工程资助。
评论