- 年份
- 2023(1)
- 2021(1)
- 2020(2)
- 2019(4)
- 2018(1)
- 2017(4)
- 2016(4)
- 2015(6)
- 2014(8)
- 2013(7)
- 更多...
- 核心收录
- 中国科技论文与引文数据库(CSTPCD)(33)
- 中国科学引文数据库(CSCD)(27)
- 北京大学中文核心期刊目录(北大核心)(23)
- 刊名
- 计算机工程(14)
- 计算机工程与应用(3)
- 吉林大学学报(理学版)(2)
- 数字技术与应用(2)
- 计算机与数字工程(2)
- 计算机与现代化(2)
- 计算机应用研究(2)
- 中南民族大学学报(自然科学版)(1)
- 华中科技大学学报:自然科学版(1)
- 华侨大学学报(自然科学版)(1)
- 更多...
- 作者单位
- 吉林大学(3)
- 东华大学(2)
- 南京航空航天大学(2)
- 玉林师范学院(2)
- 中南民族大学(1)
- 中国科学技术大学(1)
- 中国科学院高能物理研究所(1)
- 北京交通大学(1)
- 华北电力大学(1)
- 南京大学(1)
- 更多...
- 语种
- 汉语(43)
- 关键词
- MapReduce模型(43)
- 云计算(11)
- 大数据(7)
- Hadoop(6)
- 并行计算(4)
- Hadoop平台(3)
- Hadoop云平台(2)
- 分布式计算(2)
- 大数据分析(2)
- 高性能计算(2)
- 更多...
- 作者
- 周国军(2)
- 曾青华(2)
- 袁家斌(2)
- 贾瑞玉(2)
- 丁卫平(1)
- 严国全(1)
- 乐嘉锦(1)
- 付园(1)
- 任家东(1)
- 任青(1)
- 更多...
相关度
- 相关度
- 发表时间
每页显示10条
- 每页显示10条
- 每页显示20条
- 每页显示30条
已找到 43 条结果
- 基于Hadoop的社交网络服务推荐算法CSTPCD摘要:为高效处理社交网络产生的海量数据,并保证社交网的可扩展性,将TF-IDF(Term Frequency-Inverse Document Frequency)算法进行MapReduce化设计,并在Hadoop云平台上实现分布式的TF-IDF算法.利用该算法提取用户微博中的关键词,再根据关键词发现用户的兴趣,并对用户做相应的推荐.为验证分布式TF-IDF算法的有效性和可扩展性,与TextRank算法的结果做对比.实验结果表明,分布式TF…查看全部>>
- 分布式计算环境遥感图像水体识别技术摘要:随着社会的进步和国民经济的发展,国民节能环保意识逐渐增强,逐渐认识到水资源对社会发展的重要性。为实现对水资源的科学管理与合理调度,必须要通过水体识别技术对水资源实际情况形成更为准确的了解。本文主要分析了一种分布式计算环境下的遥感图像水体识别技术。
- 基于HBase的数据完全本地化分析平台设计与实现北大核心CSCDCSTPCD摘要:为充分利用I/O资源并提高数据分析效率,针对高能物理数据分析过程及数据存储特点,利用Java本地接口技术,提出基于HBase C++访问接口的数据完全本地化分析平台,并设计MapReduce模型的相关算法及组件,根据Mapper任务的优化分配及组合提高CPU资源的利用率.通过集成高能物理数据分析环境、作业管理系统、ROOT绘图模块等,实现全新的Web用户接口,简化用户操作.测试结果表明,与传统基于文件存储的数据分析系统相比,该平台的数…查看全部>>
- 基于Hadoop的多关键字排序方法研究北大核心CSCDCSTPCD摘要:在单机环境下按多关键字对大数据排序需要较长的执行时间,为了提高按多关键字对大数据排序的效率,根据Hadoop的MapReduce模型,给出了两种基于Hadoop的多关键字排序方法。方法一在Reduce函数中使用链式基数排序算法按多关键字对大数据并行排序,利用多个节点的计算能力提高排序的效率。方法二通过定义组合键和比较器实现了对记录的多个关键字按字节比较,节省了将字节流反序列化为对象的时间。通过实验测试了两种方法的性能,实验结果表明,两…查看全部>>
- 基于Hadoop的贝叶斯过滤MapReduce模型CSCDCSTPCD摘要:传统分布式大型邮件系统对海量邮件的过滤存在编程难、效率低、前期训练耗用资源大等缺点,为此,对传统贝叶斯过滤算法进行并行化改进,利用云计算MapReduce模型在海量数据处理方面的优势,设计一种基于Hadoop开源云架构的贝叶斯邮件过滤MapReduce模型,优化邮件的训练和过滤过程。实验结果表明,与传统分布式计算模型相比,该模型在召回率、查准率和精确率方面性能较好,同时可降低邮件过滤成本,提高系统执行效率。
- 基于Hadoop平台的事实并行处理算法北大核心CSCDCSTPCD摘要:针对传统的抽取、转换和加载工具在面临数据仓库中海量事实数据时效率较低的问题,从事实表查找代理键和多粒度事实预聚合2个角度出发,提出在渐变维度表上的多路并行查找算法和在不同粒度上对事实数据进行聚合的算法。第1种算法综合考虑了渐变维度和大维度的情况,运用分布式缓存方法将小维度表复制到各个数据节点的内存中,同时对事实数据和大维度数据采用相同的分区函数进行分区,从而解决内存不足的问题,在Map阶段实现多路查找代理键,避免由于数据传输产生的网络…查看全部>>
- 基于MapReduce的量子蚁群算法CSCDCSTPCD摘要:量子蚁群算法是在蚁群算法的基础上结合量子计算而提出的,该算法具有较好的全局寻优能力和种群多样性。应用MapReduce的key/value编程模型,将量子蚁群算法并行化,提出了基于MapReduce的量子蚁群算法(MQACA),并将其部署到Hadoop云计算平台上运行。对0-1背包问题的测试结果证明,随着数据规模的扩大和并行程度的提高,MQACA具有良好的加速比和并行效率。
- 基于MapReduce模型的并行量子进化算法CSCDCSTPCD摘要:利用MapReduce模型可自动编写串行程序及编程接口简单的优点,实现量子进化算法在MapReduce模型下的并行化,提出基于MapReduce模型的并行量子进化算法MRQEA,并将其部署到Hadoop云计算平台上运行.对0-1背包问题的测试结果证明,MRQEA算法在处理大型数据集时具有良好的加速比和并行效率.
- 基于 MapReduce 的分布式 AP 聚类算法CSTPCD摘要:随着网络的普遍应用,网络中产生的数据急剧增长,大规模数据处理面临严峻挑战。本文在对AP聚类算法进行研究的基础上,利用MapReduce编程模型思想对AP聚类算法进行改进,设计在云平台Hadoop环境下运行的基于MapRe-duce的分布式AP聚类算法,并在实验中对不同规模的图数据进行聚类测试,实验结果表明分布式的AP聚类算法具有很好的时间效率和加速比。
- KNN分类算法的MapReduce并行化实现北大核心CSCDCSTPCD摘要:为了提高k-nearest neighbor algorithm(KNN)算法处理大数据集的能力,本文利用MapReduce并行编程模型,同时结合KNN算法自身的特点,给出了KNN算法在Hadoop平台下的并行化实现.通过设计Map、Combine和Reduce 3个函数,实现了KNN算法的并行化.Map函数完成每个测试样本与训练样本之间的相似度计算,Combine函数作为一个本地的Reduce操作,用以减少中间计算量及通信开销,Re…查看全部>>