找文章 / 找答案
精选问答 更多内容

[数据处理] 抽取18万的数据,执行了十几分钟也执行不出来,是为什么

Silvia青铜二 显示全部楼层 发表于 2023-3-2 08:45:28 |阅读模式 打印 上一主题 下一主题
本帖最后由 Silvia 于 2023-3-2 08:49 编辑

抽取18万的数据,执行了十几分钟也执行不出来,是为什么

回复

使用道具 举报

精彩评论3

yhdata_ruby铂金一 显示全部楼层 发表于 2023-3-2 09:47:21
一直现在执行中吗,应该是数据量过大了,可以使用同步数据和增量导入数据https://www.yonghongtech.com/hel ... F%E5%AF%BC%E5%85%A5

抽取数据是在节点上进行 不用新建数据集市数据集 直接在原始数据集上使用,保持同步
数据集市数据集 是做了增量的,入的是数据集市,类似于bi上面的数据仓库,取数据就走的数据集市
回复

使用道具 举报

Silvia青铜二 显示全部楼层 发表于 2023-3-2 10:05:15
yhdata_ruby 发表于 2023-3-2 09:47
一直现在执行中吗,应该是数据量过大了,可以使用同步数据和增量导入数据https://www.yonghongtech.com/hel ...

同步数据我也试过的,也是一直执行,18万行的数据不大啊
回复

使用道具 举报

yhdata_ruby铂金一 显示全部楼层 发表于 2023-3-2 10:10:23
Silvia 发表于 2023-3-2 10:05
同步数据我也试过的,也是一直执行,18万行的数据不大啊

可以排查一下数据库是否有对于sql执行的限制,能否对sql做优化处理
回复

使用道具 举报

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |《永洪社区协议》
返回顶部