面向大数据处理应用的广域存算协同调度系统OACSTPCD
A wide-area collaborative scheduling system oriented to big data processing applications
以我国研发的高性能计算虚拟数据空间系统为基础,针对大数据处理应用如何统筹利用广域存储和计算资源的问题,设计并实现了一套面向大数据处理应用的广域存算协同调度系统.该系统可依据应用的计算特征和数据布局,通过存算协同、负载均衡、数据局部性感知等策略,在广域环境中协同调度应用数据和计算任务,统筹利用广域计算和存储资源,有效提升大数据处理应用的运行性能.在国家高性能计算环境中实际测试的结果表明,提出的调度方法可有效地支撑大数据处理应用,跨域目标协同识别、分…查看全部>>
张晨浩;肖利民;秦广军;宋尧;蒋世轩;王继业
软件开发环境国家重点实验室,北京 100191北京航空航天大学计算机学院,北京 100191软件开发环境国家重点实验室,北京 100191北京航空航天大学计算机学院,北京 100191北京联合大学智慧城市学院,北京 100101软件开发环境国家重点实验室,北京 100191
信息技术与安全科学
广域存算协同调度大数据处理应用虚拟数据空间高性能计算环境
《大数据》 2021 (5)
82-97,16
国家重点研发计划资助项目(No.2017YFB1010000)
评论