永洪社区

标题: vooltDB工作过程是怎样的 [打印本页]

作者: hah 时间: 2022-8-16 15:00
标题: vooltDB工作过程是怎样的

作者: yhdata_lyaa 时间: 2022-8-16 15:00
VooltDB运行原理及机制

VooltDB设计了高效的列式存储引擎，实现数据分片分区、主键索引、主从复制等丰富功能。在vooltdb.xml 中定义了集群分布。

单节点

客户端通过查询请求到达Server实例，Server通过解析查询生成执行计划，先找到分区、字段，再根据索引、偏移等信息定位到数据的压缩存储块，取到内存中进行解压。通过元数据能够快速定位数据且只取需要的数据块，提高查询效率。取出数据后执行聚合、过滤等操作，计算完毕返回给客户端。

集群

VooltDB集群是多主对等网络结构。每个集群分片会部署两个实例，借助zookeeper实现副本协调和数据同步。

当查询所需要的数据在不同的分片实例上，请求节点会发送查询请求到相应分片，并行计算后取回数据到原始节点进行数据的合并。因此，分片执行的结果会通过网络传输，数据量的大小会影响查询总耗时。在制作组合/自服务数据集要考虑到这种情况，尽量减少不同分片的计算，减少分片查询结果数据量。

欢迎光临永洪社区 (https://club.yonghongtech.com/)