时空语义驱动的渐进多视角行为去偏置研究OA北大核心

在实际应用中,单视角摄像头采集数据由于物体存在遮挡而失去对某些区域的可见性,因此结合多个视角下的数据进行行为分析对于维护社会稳定及民生安全至关重要。针对多视角行为识别中存在的偏置问题,即不同视角下空间语义不一致导致的视角间行为表征差异以及同一行为执行过程中的时序语义不一致导致的行为表征差异,提出一种渐进去偏置的多视角方法。首先,在多视角下的同一行为样本中以证据理论为引导,结合不同视角下的行为同构性进行视角间行为去偏置,优化不同视角下关注的行为特征权重,以获得更全面的无偏行为表示。其次,结合多粒度解耦策略,分析不同粒度对行为特征无偏表达的影响,准确分离行为相关和行为无关特征,以避免视角内行为无关信息扰乱行为表征导致的显著差异。最后,在时序维度上构建不同行为特征权重,增强同一视角内行为特征一致性,减弱同一行为的行为表征差异。在多个数据集上的实验结果验证了所提方法的有效性,在N-UCLA和NTU-RGB+D数据集上的跨视角准确率分别达到了97.4%和96.4%,并且所提方法在满足多视角下对行为识别进行准确分析应用需求的同时通过一种新的去偏置思路为多视角行为识别问题提供了一种有效的解决方案。