永洪社区

标题: 【内存优化】内存优化之我要省省省！！！！ [打印本页]

作者: 美滋滋 时间: 2021-12-14 17:51
标题: 【内存优化】内存优化之我要省省省！！！！
最近客户这边遇到了几次宕机问题，主要原因就是内存溢出了。
所以关于优化内存方面，我想随便聊一聊，如有不对的地方，还请不吝赐教。
永洪BI服务的内存分配是在安装产品是默认服务器的一半来设定的，比如你的服务器硬件内存是16G，那么安装BI的时候，默认最大内存就是8G，这个数值在产品安装完成后，也可以手动修改，具体修改方法我就不阐述了。可以参考下这个帖子。

https://club.yonghongtech.com/forum.php?mod=viewthread&tid=15979&highlight=%E5%86%85%E5%AD%98

不过这个是基于物理内存的前提下进行的设置，今天我要聊的是在不变更BI可使用内存设置的前提下，我们该做些什么来减少BI的内存使用。

---------敲黑板----------

我们要做的事情，就是给BI服务器减负，需要做的事情，能不让BI做就尽量不要让BI来做！！
BI要做的事情，就应该只是负责展示数据！让数据可视化！让数据有价值！让数据飞。。。。。。

-------黑板敲完了--------

那么我们都该用什么手段来惯着BI，让他这么懒下去呢：）

1.从数据集下手

我们大部分接触和使用的都是SQL数据集，而在建立SQL数据集的时候，我们应该注意以下几点：

1.1 不需要的项目不要抽取
      我们在做数据集的时候，要注意我们报表要使用哪些信息，不使用的信息坚决不要，因为你从数据库抽取出来的数据都是放在BI端的内存中供报表使用的。
      所以你抽取的项目越多，占用的内存自然也就越多。

      例：我有一个数据表，表中有年度字段，月度字段，产品分类字段，销售额字段。该表记录了所有每个年度中每个月度每个产品分类的销售情况。
      如果我们的报表不考虑月度的分析，只关心每个年度的销售情况，那么我们在抽取数据时，就不要抽取月度字段。只抽取年度，产品分类，销售额就够了。
      在此我也想特别说明一下，有些同学为了省事，直接写 select * from table ，这样的话，你会无条件把对应数据表中的所有项目全抽出来，虽然这样在写SQL时很简单，不用一个一个去写要抽取的数据字段，后期用着也方便，不用考虑哪个字段少抽取了，还得修改数据集，但是这样做带来的就是最大的浪费内存。
      这个做法是最不可取的。

1.2 别人能做的事情就让别人做，我懒我自豪
      啥意思呢？其实就是在抽取数据的时候，能让数据库做的事情，我们就尽量让数据库去做，而不是我们抽取完数据后，在通过新建表达式等方式来新增一些报表需要用来展示的字段。

      比如数据库表中有预计销售额和实际销售额两个字段，那么我们在报表展示的时候，想展示达标率，如果我们在创建数据集的时候，只抽取了这两个字段，我们就需要新增计算列，用实际销售额/预计销售额来计算达标率，这个计算就变成了在BI端来实施，就会占用BI端的内存，而如果你在创建数据集的时候，就把这个计算一并抽取出来，比如 select 实际销售额.预计销售额,实际销售额/预计销售额 as 达标率 from table ，这样的话，就相当于把计算达标率这个工作推给了数据库去做，就不会占用BI的内存了。所以能让别人去做的事情，我们为啥要傻傻的自己去干呢：）

1.3  减少数据抽取行数
      顾名思义，其实宗旨也是不需要的坚决不要。啥意思呢？比如我们报表只关心当前年度的数据展示，那么我们在创建数据集抽取数据时，就应该加上限定条件，只抽取当前年度的数据，不要一股脑的把所有数据都抽取出来。那么有同学问了，我在报表展示的时候，不仅想展示当前年度的，我也想看历史年度数据该怎么办呢？

      这个时候，我们该选择使用参数数据集，关于参数数据集的具体做法，有别的帖子介绍过，可以参考这个帖子。

https://club.yonghongtech.com/forum.php?mod=viewthread&tid=15942&highlight=%E6%95%B0%E6%8D%AE%E9%9B%86

      通过在数据集的抽取SQL中，增加参数设定，来达到抽取某些范围内的数据，从而减少与数据库的数据吞吐量来达到减少BI服内存使用的结果。

2.从报表下手

   关于这一点，我能想到的就是尽量减少脚本的使用，因为你所有的脚本运行都是要在BI端执行的，会吃BI端的内存。还有就是如何优化你的脚本，同样的功能，不同的脚本可能带来同样的效果，那么谁的脚本写的漂亮，写的更精简，谁的内存使用更合理，这都是有直接关系的。这个就要靠多年的编程经验来积累了。总之，原则上能不使用脚本的尽量不使用，必须使用的时候，就要考虑如何编写的更精简，变量使用上更合理。

   好了，今天就浅谈这些吧，关于内存优化肯定还有很多方方面面可以挖掘的，还希望各位看官楼下补充  ：）

作者: Hey·Siri 时间: 2021-12-14 18:57
强{:11:}

作者: Yonghong-Club 时间: 2021-12-15 16:50
牛

作者: 小赞 时间: 2021-12-16 18:25
好厉害哦

作者: Carl.Hui 时间: 2022-6-10 15:02
本帖最后由 Carl.Hui 于 2022-6-10 15:04 编辑

file:///C:\Users\DONGLI~1\AppData\Local\Temp\SGPicFaceTpBq\43788\1B2602D1.png

作者: 7岁并入国家电网 时间: 2022-6-15 10:39
虽然不懂，但是大受震撼

欢迎光临永洪社区 (https://club.yonghongtech.com/)