[数据处理] 抽取数据慢的问题

yhdata_2aA4rwOK铂金二 显示全部楼层 发表于 2023-8-15 14:48:29 |阅读模式 打印 上一主题 下一主题
1
已解决

【数据处理】 抽取数据慢的问题

730 3
用永洪自带的数据抽取功能,对数据进行入集市处理,3000万数据量的数据集入集市需要将近3个小时,能优化吗? 企业微信截图_16920807686101.png

最佳答案

yhdata_yzm 关注Ta

2023-08-15 14:48:30

抽取数据包含拿数据切片压缩为zb文件落盘到M节点几个过程,这个可能的原因跟你数据库的性能,数量大小(行列都有关系),数据集是不是还涉及有计算,都有关系。 所以主要就是要去看看数据库的性能,你说的数据量可能只有行没有算上列(在行太多的情况下,尽量不要抽取不用的列) 计算哪里也要注意。 ...
查看完整内容
回复

使用道具 举报

精彩评论3

yhdata_yzm 显示全部楼层 发表于 2023-8-15 14:48:30
抽取数据包含拿数据切片压缩为zb文件落盘到M节点几个过程,这个可能的原因跟你数据库的性能,数量大小(行列都有关系),数据集是不是还涉及有计算,都有关系。
所以主要就是要去看看数据库的性能,你说的数据量可能只有行没有算上列(在行太多的情况下,尽量不要抽取不用的列)
计算哪里也要注意。
回复

使用道具 举报

yhdata_2aA4rwOK铂金二 显示全部楼层 发表于 2023-8-15 15:12:24
目前抽取的时候,最多只能有4个并发,其余都在等待中,这个怎么提高它的并发量,可以一次多抽取几个,4个一组太慢了
回复

使用道具 举报

yhdata_yzm 显示全部楼层 发表于 2023-8-15 15:20:12
yhdata_2aA4rwOK 发表于 2023-8-15 15:12
目前抽取的时候,最多只能有4个并发,其余都在等待中,这个怎么提高它的并发量,可以一次多抽取几个,4个一 ...

这个目前只能购买许可,你可以联系下商务。
像这种时间特别长的建议错开时间段。
回复

使用道具 举报

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |联系社区管理员|《永洪社区协议》
返回顶部