基于大数据技术的网络日志分析系统研究OA北大核心CSTPCD
Research on network log analysis system based on big data technology
传统的日志分析技术在处理海量数据时存在计算瓶颈.针对该问题,研究了基于大数据技术的日志分析方案,即由多台计算机完成日志文件的存储、分析和挖掘工作;建立了一个分层的网络日志分析系统:Syslog完成日志采集,Hadoop负责分布式存储和并行计算,在MapReduce框架下重新实现了IP统计算法.实验结果表明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和系统的可扩展性.
任凯;邓武;俞琰
南京大学金陵学院,江苏南京210089大连交通大学软件学院,辽宁大连 116028东南大学成贤学院,江苏南京210088
信息技术与安全科学
大数据日志采集MapReduce日志分析IP统计
big datalog acquisitionMapReducelog analysisIP statistics
《现代电子技术》 2016 (2)
面向枢纽机场停机位动态分配优化模型及智能调度算法研究
39-41,44,4
国家自然科学基金项目(U1433124)
评论