存算分离架构下Part元数据的单独管理策略OACSTPCD

针对ClickHouse存在的硬件资源无法被充分利用、缺少弹性和节点启动过慢的问题,在存算分离架构下,提出了一套针对描述数据信息的元数据(Part元数据)的管理策略. Part元数据是元数据中最重要的组成成分.为了能够有效管理远程共享存储上的数据,采集了所有Part元数据文件,并将其合并后,经过键值映射、序列化和反序列化,存入分布式键值数据库中.此外,还设计了一套同步策略,以确保远程共享存储上的数据与分布式键值数据库中的元数据的一致性.利用Par…查看全部>>