Spark Streaming写入HBase的实现和优化OA
海量数据的实时处理不仅要求计算框架快速高效，同时要求流处理过程中产生的中间数据的存储过程同样高效，因此，可通过提高Spark Streaming对中间结果数据的处理速度来提升流处理效率。为提高Spark Streaming处理中间结果的效率，文中选择HBase作为中间数据存储系统，并通过分析Spark Streaming的架构及HBase的存储原理，给出了Spark Streaming向HBase写入数据的方法并进行优化。通过对Spark Str…查看全部>>
陈晓;朱志祥;梁小江
西安邮电大学，陕西 西安 710061西安邮电大学，陕西 西安 710061陕西省信息化工程研究院，陕西 西安 710061
信息技术与安全科学
Spark StreamingHBase大数据内存计算流处理
《物联网技术》 2016 (4)
93-95,3
评论