细粒度的流计算执行效率优化方法OACSTPCD
Fine-grained optimization method for execution efficiency of stream computing
流计算引擎如Storm被广泛地应用于大数据实时处理中,以提高数据处理的执行效率,但该引擎因统计信息粒度粗、无法准确定位性能瓶颈,造成了难以提高数据处理的执行效率问题.为此,本文提出了一种细粒度流计算执行效率优化方法,该方法以元组为中心进行细粒度的性能分析,包含性能瓶颈识别算法和性能瓶颈缓解算法,支持量化地选择最优参数配置以提高执行效率.实验结果表明,在3个标准程序32个不同配置场景下,该方法能够准确地识别流应用的性能瓶颈,识别率为100％,应用的执行效率提高了70％.
魏波;刘晓东;阎雨庭;赵晓芳;袁雨馨;唐宏伟
中国科学院计算技术研究所 北京100190公安部第一研究所 北京100044中国科学院大学 北京100049中国科学院计算技术研究所 北京100190中国科学院计算技术研究所 北京100190中国科学院计算技术研究所 北京100190
流计算引擎执行效率优化细粒度元组
《高技术通讯》 2021 (1)
21-30,10
国家重点研发计划(2018YFB0904503)资助项目.