永洪社区

标题: 数据优化展示 [打印本页]

作者: yhdata_ISrmYmdV 时间: 2022-4-28 09:26
标题: 数据优化展示
由于数据量是千万级,查询起来会有延迟,请问有什么优化方案吗,查询报告时,是实时展示,数据源定时每天抽取,无数据集市,参数都写在数据源sql那块了,有个别表格展示数据在筛选器固定写死过滤条件(如,部门='研发部',这种会影响性能吗),

作者: 永洪tech-Lerry 时间: 2022-4-28 09:26

yhdata_ISrmYmdV 发表于 2022-4-28 09:49
嗯,这边客户没有购买数据集市,抽数据主要是数据库那边处理,每天更新我数据源查询的宽表
请问,设置索引实在 ...

嗯，是的。并且需要保证您设置的过滤以及计算列这些都是能下推数据库的，这样会对性能有所帮助。

作者: 永洪tech-Lerry 时间: 2022-4-28 09:35
如果您过滤的条件列设置为索引了一般而言是不会太影响性能的，确认下您这边提到的定时每天抽取但是无数据集市您这边这个抽取指的是什么呢？可以试下将数据抽取到集市里面，再利用集市数据制作报告，在数据量大时这样会有助于提升报告性能。

作者: yhdata_ISrmYmdV 时间: 2022-4-28 09:49
嗯,这边客户没有购买数据集市,抽数据主要是数据库那边处理,每天更新我数据源查询的宽表
请问,设置索引实在数据库,例如impala那边设置的是吗

作者: yhdata_ISrmYmdV 时间: 2022-4-28 10:01
多谢

欢迎光临永洪社区 (https://club.yonghongtech.com/)