永洪社区

标题: 如何清除报表的缓存 [打印本页]

作者: kingtiy 时间: 2019-11-27 16:08
标题: 如何清除报表的缓存
打开报表后,再次打开同一报表,发现速度明显有提升.
猜测可能是做了缓存了,具体缓存了什么不清楚了(数据集,报表页面)

现在需要测试同一个报表,使用SQL数据集同步数据集和基于SQL数据集创建集市数据集这两种不同的数据集的性能差异.

请问我应该如何测试会比较好一些?

作者: Frankie 时间: 2019-11-27 16:33
清除缓存，我们有参数_REFRESH_,他是布尔类型的，我们可以在数据集处添加此参数并将值设置未true，在数据集处就不会走缓存，而是获取的实时数据，在报告中同样可以加这个参数，也可以在报告设置中选择获取实时数据，这样就不会走缓存

作者: kingtiy 时间: 2019-11-27 16:56

Frankie 发表于 2019-11-27 16:33
清除缓存，我们有参数_REFRESH_,他是布尔类型的，我们可以在数据集处添加此参数并将值设置未true，在数据集 ...

谢谢.
我在数据集设置了这个参数值为true
再编辑报表,发现报表自动就有这个参数.

那报表里面还需要如何设置?

作者: Frankie 时间: 2019-11-27 16:58
问题二，首先要了解两种方式有什么区别，我们同步数据集是把从数据库查询到的数据全部保存到本地，也就是我们平常说的入集市，这样的数据是历史数据不会经常发生变化的，这样的数据我们才会推荐入集市。我们入集市有两种方式，一种是同步数据集，就是把所有数据全部同步到本地来进行保存，还有一种方式是增量入集市，就是已经入了集市的数据集，我们还要再往后面追加数据，这种情况我们就使用增量入集市。每次增量入集市，我们都会生成对应的文件，我们如果后面需要用的增量入集市的这些数据，但是我们只想用部分的数据，不用全部的数据，我们就可以用的集市数据集，然后选择对应文件拿到增量入集市的数据，这样就能提高效率了。

作者: Frankie 时间: 2019-11-27 17:03

kingtiy 发表于 2019-11-27 16:56
谢谢.
我在数据集设置了这个参数值为true
再编辑报表,发现报表自动就有这个参数.

在报告里，上方有个报告设置，报告中选择高级选择获取实时数据

作者: kingtiy 时间: 2019-11-27 17:24

Frankie 发表于 2019-11-27 16:58
问题二，首先要了解两种方式有什么区别，我们同步数据集是把从数据库查询到的数据全部保存到本地，也就是我 ...

非常感谢你的详细回复.

其实我们也就是有问题
想要知道入集市后,怎么最大化提高性能.

首先数据都是入集市的.尽管它每天都更新,仍然全量同步数据集.因为集市查询性能好于直连数据库的SQL查询.

后面发现入集市后,还可以对集市的数据集按列进行分组分割处理猜测这样分割后,性能有提升.
现在就是在做测试,想证明猜测.

如果你们可以帮给到集市数据集关于性能方面详细的操作方式说明,我们就不用去猜,然后再测试证明了.

对集市数据集分割后,还可以添加参数.
这个时候如果参数和分割列之间的关系,且报表上如果使用分割列作为报表过滤参数
是不是有性能提升?

另外,数据集上的用户自定义参数(比如地域的省份,城市等) 是为了性能考虑的,还是为入集市的时候,控制入集市的数据范围设计的,如果是后者,则数据集的参数可能和性能无关.

说了这么多,不知道您明白我们的疑问没有,就是想最大化的利用集市数据集的性能,
而不管同步的代价是多大,数据变化频率有多快.因为我们的报表是T+1模式的,理论上说一晚上的时间是足够同步数据数据集的.

谢谢

作者: kingtiy 时间: 2019-11-27 17:48

Frankie 发表于 2019-11-27 17:03
在报告里，上方有个报告设置，报告中选择高级选择获取实时数据

我在数据集加了_REFRESH_参数,设置为true
报告-高级-获取实时数据也勾选了.

然后重启bi服务,发现第一次报表打开10s左右
后面再次打开却不到1s.

这是不是说明还是有缓存呢?

作者: kingtiy 时间: 2019-11-27 17:51

kingtiy 发表于 2019-11-27 17:24
非常感谢你的详细回复.

其实我们也就是有问题

期待您的回复,这一块一直没有弄明白.

作者: Frankie 时间: 2019-11-27 18:15

kingtiy 发表于 2019-11-27 17:48
我在数据集加了_REFRESH_参数,设置为true
报告-高级-获取实时数据也勾选了.

你清除下系统缓存和浏览器缓存再看下，系统缓存在管理系统模块中

作者: Frankie 时间: 2019-11-27 18:25

kingtiy 发表于 2019-11-27 17:24
非常感谢你的详细回复.

其实我们也就是有问题

我们用分割列做为过滤参数还有自定义的参数这些都是对性能有影响的，比如你的数据量很大，你只查看你分割列的其中一个数据，数据量小了，当然对性能能够提高，同理，用自定义参数也是也同样的道理，一方面确实用来过滤范围的，另一方面，也是可以提高性能的，比如省份有几十个，数据量有几百万，我只看一个省份的数据和看所有省份的数据，当然性能是不一样的

作者: kingtiy 时间: 2019-11-27 18:29

Frankie 发表于 2019-11-27 18:25
我们用分割列做为过滤参数还有自定义的参数这些都是对性能有影响的，比如你的数据量很大，你只查看你分割 ...

嗯,分割列作为报表参数列对性能有影响,这个不难理解,毕竟数据是按条件分区了,可以提前过滤.

但数据集上面用户自定义参数(可能不是分割列),配合报表页面的参数组件的参数.
和只在报表页面上面用参数组件来过滤.

这两种也会有性能差别?数据集参数会更好一点吗?

作者: kingtiy 时间: 2019-11-27 18:35

Frankie 发表于 2019-11-27 18:15
你清除下系统缓存和浏览器缓存再看下，系统缓存在管理系统模块中

好的,我试下.

作者: Frankie 时间: 2019-11-28 10:59

kingtiy 发表于 2019-11-27 18:29
嗯,分割列作为报表参数列对性能有影响,这个不难理解,毕竟数据是按条件分区了,可以提前过滤.

但数据集上 ...

是的，在数据集上加参数过滤确实会好一点，理由还是你数据集上加了参数过滤出了数据，数据量肯定是比你没加参数过滤的数据量会小的，数据量小了，在报告里，特别是查看报告时，我们是显示的全部数据，数据量小了，咱们的速度就会更快，单独再报告上加参数，咱们的数据集处的数据量还是比较大，如果是入了集市的数据还好，如果是没有入集市的数据获取的是实时数据，数据量大了，打开报告就会很慢了

作者: kingtiy 时间: 2019-11-28 14:32

Frankie 发表于 2019-11-28 10:59
是的，在数据集上加参数过滤确实会好一点，理由还是你数据集上加了参数过滤出了数据，数据量肯定是比你 ...

还是不是很理解.
A:

比如一个集市数据集包含有省份列,在数据集上面用省份做一个参数.
再基于这个数据集创建报表,报表页面添加参数组件绑定省份对报表进行过滤.
默认参数值选中为空,报表一般设置参数为空显示所有的值.

B:和A一样,只是数据集是没有参数的.

报表使用场景
1:省份过滤未选中,默认加载所有数据
2:省份过滤选中单个,或多个值

这两种使用场景下,数据集使用参数和不使用参数,性能也有差别么?

欢迎光临永洪社区 (https://club.yonghongtech.com/)