基于K-means的大数据相似重复记录检测OA

目前大型企业存储了大量的数据,但是数据质量令人担忧,集中表现在相似重复冗余的数据特别多,以及多个数据源的合并加重数据的冗余。大数据相似记录检测环节是数据清洗研究的重要方向。针对大数据中存在的相似重复数据的检测问题,文章提出了一种基于k-means分组聚类的检测算法,实验分析表明,该方法在确保精度不变的情况下提高了检测效率。