月球上的鲨鱼头青铜二
2024-12-2 14:54:41 发布在问答
【数据处理】 自定义SQL数据集报错
自定义SQL数据集偶发性报错 报错内容如下图  辛苦帮忙看下(sql在其他平台能够正常执行)

277
6
精彩评论6
yhbi老6了铂金二
发表于 2024-12-2 15:10:43 显示全部楼层
你这个数据是不是小时级或者分钟级进行刷新的?
回复

使用道具 2#

yhbi老6了铂金二
发表于 2024-12-2 15:13:56 显示全部楼层
看着像是因为你打开那会,hive正在更新数据,所以你查询不到数据。如果这个数据是离线数据,不是微批或者是实时的。可以考虑入一下mpp或者vlootdb。然后如果是微批或者实时的话,不建议使用hive作为数据库,考虑doris、sr、ck之类的
回复

使用道具 3#

月球上的鲨鱼头青铜二
发表于 2024-12-2 15:16:08 显示全部楼层
yhbi老6了 发表于 2024-12-2 15:10
你这个数据是不是小时级或者分钟级进行刷新的?

sql直连的 每打开一次报告就会刷新一次 或是手动刷新报告 更改过滤条件都是读取一次
回复

使用道具 4#

月球上的鲨鱼头青铜二
发表于 2024-12-2 15:18:26 显示全部楼层
yhbi老6了 发表于 2024-12-2 15:10
你这个数据是不是小时级或者分钟级进行刷新的?

还有一个情况就是 现在偶尔会报服务器内存不足80%  有没有可能是内存不足导致存盘读写性能 从而导致数据集sql执行失败
回复

使用道具 5#

yhbi老6了铂金二
发表于 2024-12-2 15:21:06 显示全部楼层
月球上的鲨鱼头 发表于 2024-12-2 15:18
还有一个情况就是 现在偶尔会报服务器内存不足80%  有没有可能是内存不足导致存盘读写性能 从而导致数据 ...

有可能,建议让运维的同学排查一下hadoop的状态,磁盘,网络是否掉包。
回复

使用道具 6#

月球上的鲨鱼头青铜二
发表于 2024-12-2 15:23:55 显示全部楼层
yhbi老6了 发表于 2024-12-2 15:21
有可能,建议让运维的同学排查一下hadoop的状态,磁盘,网络是否掉包。

好的 辛苦了
回复

使用道具 7#

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
100W

用户等你来哦

Copyright   ©2012-2025  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |《永洪社区协议》
返回顶部