基于Hadoop MapReduce的大规模数据索引构建与集群性能分析OA
Large scale data index construction and cluster efficiency analysis based on Hadoop MapReduce
为了满足搜索引擎构建索引的时空开销需求,构建高效的分布式索引,利用Hadoop搭建分布式集群环境,基于MapReduce编程实现大数据倒排索引.采用不同的网络带宽、数据量和集群节点数来评估Hadoop集群的性能.实验结果表明:网络带宽越大,集群处理效率越高;集群节点数越多,处理大数据的能力越强.可见,网络通信带宽对Hadoop集群性能有一定影响,高速集群链路有利于发挥集群的性能.
In order to satisfy the search engine's requirements of time and space and build effectively distributed index, Hadoop is used to build a distributed cluster environment) and large data inverted index can be achieved based on the MapReduce programming. The performance of the Hadoop cluster is evaluated by different network bandwidth) data volume and number of cluster nodes. Experimental results show that the greater network bandwidth is, the higher efficienc…查看全部>>
谌超;强保华;石龙
桂林电子科技大学 计算机科学与工程学院,广西桂林541004桂林电子科技大学 计算机科学与工程学院,广西桂林541004桂林电子科技大学 计算机科学与工程学院,广西桂林541004
信息技术与安全科学
MapReduce倒排索引Hadoop集群
MapReducer inverted index Hadoop cluster
《桂林电子科技大学学报》 2012 (4)
基于社会性标注及本体的深层网语义搜索方法研究
307-312,6
国家自然科学基金(61163057)
评论