永洪社区

标题: 内存不够，抽数失败 [打印本页]

作者: 喵了个汪 时间: 2024-9-19 09:39
标题: 内存不够，抽数失败
发现当内存使用率超过60%的时候，调度任务就一直跑不出来，重启服务器之后就可以了，但是过两天又会出现这种情况，甚至有时候直接报错503，目前服务器内存64G,分配永洪40G,分配永洪的内存还能扩大吗，能扩多少

作者: 朝花夕拾 时间: 2024-9-19 09:57
不建议括了，还得剩下一些空间为核心组件运行用。如果可以的话，还是扩容下总内存。

作者: 喵了个汪 时间: 2024-9-19 10:00

朝花夕拾发表于 2024-9-19 09:57
不建议括了，还得剩下一些空间为核心组件运行用。如果可以的话，还是扩容下总内存。 ...

不扩的话每次启动服务器也不太现实，而且还是生产环境，有什么内存优化的建议吗

作者: 朝花夕拾 时间: 2024-9-19 10:02
可以设置一个脚本每天重启下服务器？避开调度任务时间

作者: yhdata_lyaa 时间: 2024-9-19 10:09
内存的分配并不是将所有的内存都给到 BI 就是最好的，在服务器运行过程中，服务器自身程序也会占用一部分，一般建议，永洪 BI 的服务器内存分配为：服务器可用物理内存的1/2-2/3。
所有任务的执行时间尽量安排在闲时，并且把时间分散开来，避免同一时间执行多个任务，以免在忙时影响用户使用。如果在忙时导数，可以采用单独节点导数，和用户访问区分开。风险：导数的定时任务，非常耗用资源，占用线程以及内存，如果在忙时导数，用户所发出的请求会出现排队的情况，内存不足

作者: 喵了个汪 时间: 2024-9-19 10:10

朝花夕拾发表于 2024-9-19 10:02
可以设置一个脚本每天重启下服务器？避开调度任务时间

是执行调度任务的时候内存不够，重启完之后需要手动执行调度，还有其他办法吗

作者: yhdata_lyaa 时间: 2024-9-19 10:14
优化参考，如果总内存还是不够也是需要扩了
执行任务的 C 节点和制作报表访问的 C 节点分开
入集市尽可能做增量追加，增量时尽量打 meta（标签）
meta 可以对数据进行分类，打了 meta 我们在读取数据的时候，就不需要读取所有的文件，只需要读取有 meta 过滤后的文件就可以，减少查询文件的个数，减少花费的总时长。

作者: 喵了个汪 时间: 2024-9-19 10:14

yhdata_lyaa 发表于 2024-9-19 10:09
内存的分配并不是将所有的内存都给到 BI 就是最好的，在服务器运行过程中，服务器自身程序也会占用一部分， ...

有没有地方可以查看所有导数定时时间，而不是一个一个去翻定时设置

作者: yhdata_lyaa 时间: 2024-9-19 10:21
抽取的数据嘛，调度任务在调度任务那里看

作者: 喵了个汪 时间: 2024-9-19 10:32

yhdata_lyaa 发表于 2024-9-19 10:14
优化参考，如果总内存还是不够也是需要扩了
执行任务的 C 节点和制作报表访问的 C 节点分开
入集市尽可能做 ...

除了优化，40G的内存不能在扩了吗？现在主要是先解决这个问题，尽量不通过重启来释放资源

欢迎光临永洪社区 (https://club.yonghongtech.com/)