基于核主成分分析的半监督日志异常检测模型OA北大核心
对于具有“组异常”和“局部异常”分布特点的系统日志数据,传统的ADOA(anomaly detection with partially observed anomalies)半监督日志异常检测方法存在为无标签数据生成的伪标签准确性不佳的问题.针对此问题,提出一种改进的半监督日志异常检测模型.对已知异常样本采用k均值聚类,采用核主成分分析计算无标签样本的重构误差;运用重构误差和异常样本相似分计算出样本的综合异常分,作为其伪标签;依据伪标签计算LightGBM分类器的样本权重,训练异常检测模型.通过参数试验探究了训练集样本比例变化对模型性能的影响.在HDFS和BGL这2个公开数据集上进行试验,结果表明该模型能够提高伪标签的准确性,相较于DeepLog、LogAnomaly、LogCluster、PCA和PLELog等已有模型,精确率和F 1分数均有提升.与传统的ADOA异常检测方法相比,该模型F 1分数在2类数据集上分别提高了0.084和0.085.
顾兆军;叶经纬;刘春波;张智凯;王志
中国民航大学信息安全测评中心,天津300300中国民航大学计算机科学与技术学院,天津300300 中国民用航空中南地区空中交通管理局湖北分局,湖北武汉432200中国民航大学信息安全测评中心,天津300300中国民航大学计算机科学与技术学院,天津300300南开大学网络空间安全学院,天津300350
信息技术与安全科学
系统日志日志异常检测组异常局部异常半监督重构误差核主成分分析伪标签
《江苏大学学报（自然科学版）》 2025 (1)
P.64-72,97,10
国家自然科学基金资助项目(U2333201,61872202)国家重点研发计划项目(2021YFF0603902)民航安全能力建设项目(PESA2020100,PESA2021007,PESA2021009)中国科学院重点部署项目(KFZD-SW-440)天津市自然科学基金资助项目(19JCYBJC15500)。
评论