永洪社区

标题: 自定义SQL数据集报错 [打印本页]

作者: 月球上的鲨鱼头 时间: 2024-12-2 14:54
标题: 自定义SQL数据集报错
自定义SQL数据集偶发性报错报错内容如下图辛苦帮忙看下(sql在其他平台能够正常执行)

作者: yhbi老6了 时间: 2024-12-2 15:10
你这个数据是不是小时级或者分钟级进行刷新的？

作者: yhbi老6了 时间: 2024-12-2 15:13
看着像是因为你打开那会，hive正在更新数据，所以你查询不到数据。如果这个数据是离线数据，不是微批或者是实时的。可以考虑入一下mpp或者vlootdb。然后如果是微批或者实时的话，不建议使用hive作为数据库，考虑doris、sr、ck之类的

作者: 月球上的鲨鱼头 时间: 2024-12-2 15:16

yhbi老6了发表于 2024-12-2 15:10
你这个数据是不是小时级或者分钟级进行刷新的？

sql直连的每打开一次报告就会刷新一次或是手动刷新报告更改过滤条件都是读取一次

作者: 月球上的鲨鱼头 时间: 2024-12-2 15:18

yhbi老6了发表于 2024-12-2 15:10
你这个数据是不是小时级或者分钟级进行刷新的？

还有一个情况就是现在偶尔会报服务器内存不足80% 有没有可能是内存不足导致存盘读写性能从而导致数据集sql执行失败

作者: yhbi老6了 时间: 2024-12-2 15:21

月球上的鲨鱼头发表于 2024-12-2 15:18
还有一个情况就是现在偶尔会报服务器内存不足80% 有没有可能是内存不足导致存盘读写性能从而导致数据 ...

有可能，建议让运维的同学排查一下hadoop的状态，磁盘，网络是否掉包。

作者: 月球上的鲨鱼头 时间: 2024-12-2 15:23

yhbi老6了发表于 2024-12-2 15:21
有可能，建议让运维的同学排查一下hadoop的状态，磁盘，网络是否掉包。

好的辛苦了

欢迎光临永洪社区 (https://club.yonghongtech.com/)