关于亿级别的数据性能怎么优化问题,分几种方式
1. 下推到数据库里面计算的
- 不建议直接拿亿级别的数据来直接汇总计算,不管什么数据库都卡,应该在数仓层面处理好,BI层拿汇总后的数据来进行分析
- 如果是BI层连接亿级别的数据,那可以采取你说的方式,页面上有个开始和结束时间的参数,在SQL数据集中引用到这两个参数来进行过滤,这样保障我单次查询的只是一个区间的数据; -> 但就算这种方式还是会存在一定的性能损耗,毕竟从亿级别的数据中查数据本身就很消耗性能,优先考虑第一种方式,BI拿汇总后的数据
2. 入vootldb/MPP集市:如果有购买了这个模块的话,可以将数据入到永洪的高性能引擎中,然后再做后续的分析,性能上会快很多
|