国家科技期刊平台

相关度

相关度
发表时间

每页显示10条

每页显示10条
每页显示20条
每页显示30条

已找到 30 条结果

基于Spark和AMPSO的并行深度卷积神经网络优化算法CSCD
作者：刘卫明罗全成毛伊敏彭喆
发表期刊：计算机应用研究 2023年10期
关键词：并行DCNN算法Spark框架PDCNN-SAMPSO算法负载均衡策略
摘要：针对并行DCNN算法在大数据环境下存在冗余参数过多、收敛速度慢、容易陷入局部最优和并行效率低的问题,提出了基于Spark和AMPSO的并行深度卷积神经网络优化算法PDCNN-SAMPSO。首先,该算法设计了基于卷积核重要性和相似度的卷积核剪枝策略(KP-IS),通过剪枝模型中冗余的卷积核,解决了冗余参数过多的问题;接着,提出了基于自适应变异粒子群优化算法的模型并行训练策略(MPT-AMPSO),通过使用自适应变异的粒子群优化算法(AM…查看全部>>
基于分布式数据集的并行计算框架内存优化方法CSTPCD
作者：夏立斌刘晓宇姜晓巍孙功星
发表期刊：计算机工程 2023年4期
关键词：内存计算并行计算内存优化Spark框架消息传递接口
摘要：随着科学计算和人工智能技术的快速发展,分布式环境下的并行计算已成为解决大规模理论计算和数据处理问题的重要手段.内存容量的提高以及迭代算法的广泛应用,使得以Spark为代表的内存计算技术愈发成熟.但是,当前主流的分布式内存模型和计算框架难以兼顾易用性和计算性能,并且在数据格式定义、内存分配、内存使用效率等方面存在不足.提出一种基于分布式数据集的并行计算方法,分别从模型理论和系统开销两个角度对内存计算进行优化.在理论上,通过对计算过程进行…查看全部>>
基于Spark和NRSCA策略的并行深度森林算法CSTPCD
作者：毛伊敏刘绍芬
发表期刊：计算机应用研究 2024年1期
关键词：并行深度森林算法Spark框架邻域粗糙集正弦余弦算法多粒度扫描
摘要：针对并行深度森林在大数据环境下存在冗余及无关特征过多、两端特征利用率过低、模型收敛速度慢以及级联森林并行效率低等问题,提出了基于Spark和NRSCA策略的并行深度森林算法——PDF-SNRSCA.首先,该算法提出了基于邻域粗糙集和Fisher score的特征选择策略(FS-NRS),通过衡量特征的相关性和冗余度,对特征进行过滤,有效减少了冗余及无关特征的数量;其次,提出了一种随机选择和等距提取的扫描策略(S-RSEE),保证了所有…查看全部>>
基于Spark和三路交互信息的并行深度森林算法CSTPCD
作者：毛伊敏周展陈志刚
发表期刊：通信学报 2023年8期
关键词：Spark框架并行深度森林算法特征选择多级负载均衡
摘要：针对并行深度森林在处理大数据时存在冗余及无关特征过多、类向量过长、模型收敛速度慢以及并行化训练效率低等问题,提出了基于Spark和三路交互信息的并行深度森林(PDF-STWII)算法.首先,提出基于特征交互的特征选择(FSFI)策略过滤原始特征,剔除无关及冗余特征;其次,提出多粒度向量消除(MGVE)策略,融合相似类向量,缩短类向量长度;再次,提出级联森林特征增强(CFFE)策略提高信息利用率,加快模型收敛速度;最后,结合Spark框…查看全部>>
基于互信息和融合加权的并行深度森林算法北大核心CSTPCD
作者：毛伊敏李文豪
发表期刊：计算机应用研究 2024年2期
关键词：Spark框架并行深度森林互信息负载均衡
摘要：针对大数据环境下并行深度森林算法中存在不相关及冗余特征过多、多粒度扫描不平衡、分类性能不足以及并行化效率低等问题,提出了基于互信息和融合加权的并行深度森林算法(parallel deep forest algorithm based on mutual information and mixed weighting,PDF-MIMW)。首先,在特征降维阶段提出了基于互信息的特征提取策略(feature extraction strat…查看全部>>
Spark框架下利用分布式NBC的大数据文本分类方法北大核心CSCDCSTPCD
作者：臧艳辉赵雪章席运江
发表期刊：计算机应用研究 2019年12期
关键词：文本分类MapReduceSpark框架分布式朴素贝叶斯分类器机器学习
摘要：针对现有面向大数据的计算框架在可扩展性机器学习研究中面临的挑战,提出了基于MapReduce和Apache Spark框架的分布式朴素贝叶斯文本分类方法.通过研究MapReduce和Apache Spark框架的适应性来探索朴素贝叶斯分类器(NBC),并研究了现有面向大数据的计算框架.首先,基于朴素贝叶斯文本分类模型将训练样本数据集分为m类;进一步在训练阶段中,将前一个MapReduce的输出作为后一个MapReduce的输入,…查看全部>>
基于Spark框架的能源互联网电力能源大数据清洗模型北大核心CSTPCD
作者：曲朝阳张艺竞王永文赵莹
发表期刊：电测与仪表 2018年2期
关键词：能源大数据数据清洗异常识别异常修正Spark框架
摘要：对能源大数据清洗可提高能源大数据质量的正确性、完整性、一致性、可靠性.针对能源大数据清洗过程中的提取统一异常检测模式困难、异常数据修正连续性及准确性低下等问题,提出了一种基于Spark框架的能源能源大数据清洗模型.首先基于改进CURE聚类算法获取正常簇;其次,实现了正常簇的边界样本获取方法,并设计了基于边界样本的异常识别算法;最后通过指数加权移动平均数实现了异常数据修正.通过对某风电场风力发电监测数据进行了数据清洗实验分析,验证…查看全部>>
基于Spark平台的分类算法性能比较分析CSTPCD
作者：赵蕾夏吉安吴洋崔辉
发表期刊：计算机与数字工程 2024年3期
关键词：大数据Hadoop框架Spark框架机器学习性能评估
摘要：针对目前大数据与机器学习技术的快速发展,使用基于Spark平台的MLlib机器学习库实现前馈神经网络(Feedforward Artificial Neural Network)、支持向量机(Support Vector Machine)与随机森林(Random Forest)三种机器学习算法,并分析与评估三种算法在大数据平台下的运行与分类性能.实验结果表明,随着节点数的增加,三种算法在大数据平台上消耗的时间都逐步变少.当数据集小于1…查看全部>>
Spark框架下支持差分隐私保护的K-means++聚类方法北大核心CSTPCD
作者：石江南彭长根谭伟杰
发表期刊：信息安全研究 2024年8期
关键词：数据挖掘聚类算法差分隐私Spark框架指数机制
摘要：针对差分隐私聚类算法在处理海量数据时其隐私性和可用性之间的矛盾,提出了一种分布式环境下支持差分隐私的K-means++聚类算法.该算法通过内存计算引擎Spark,创建弹性分布式数据集,利用转换算子及行动算子操作数据进行运算,并在选取初始化中心点及迭代更新中心点的过程中,通过综合利用指数机制和拉普拉斯机制,以解决初始聚类中心敏感及隐私泄露问题,同时减少计算过程中对数据实施的扰动.根据差分隐私的特性,从理论角度对整个算法进行证明,以满足ε…查看全部>>
基于Spark框架的图书馆微信服务平台设计研究CSTPCD
作者：黄铁娜戴文静曹君
发表期刊：现代电子技术 2021年15期
关键词：平台设计微信服务平台Spark框架特征提取并行化聚类运行稳定性微时代
摘要：图书馆微信服务平台运行稳定性较差,导致平台的数据处理效率较低,对此,基于Spark框架设计一种新的图书馆微信服务平台.分析图书馆微信服务平台运行的基本原理,根据级别、分类设置和创建菜单,同时设置URL和USB两种消息接口,分别设计主动推送功能、业务办理模式、查询帮助服务、在线咨询和社交平台、智能问答系统五项功能.通过预处理、特征提取以及并行化聚类三个阶段实现基于Spark框架的图书馆微信服务平台工作流程.实验结果表明,基于Spark框…查看全部>>

12 3 >