永洪社区

标题: 抽取数据慢的问题 [打印本页]

---

作者: yhdata_2aA4rwOK    时间: 2023-8-15 14:48
标题: 抽取数据慢的问题
用永洪自带的数据抽取功能，对数据进行入集市处理，3000万数据量的数据集入集市需要将近3个小时，能优化吗？ (, 下载次数: 91)

上传

点击文件名下载附件

---

作者: yhdata_yzm    时间: 2023-8-15 14:48
抽取数据包含拿数据切片压缩为zb文件落盘到M节点几个过程，这个可能的原因跟你数据库的性能，数量大小（行列都有关系），数据集是不是还涉及有计算，都有关系。
所以主要就是要去看看数据库的性能，你说的数据量可能只有行没有算上列（在行太多的情况下，尽量不要抽取不用的列）
计算哪里也要注意。

---

作者: yhdata_2aA4rwOK    时间: 2023-8-15 15:12
目前抽取的时候，最多只能有4个并发，其余都在等待中，这个怎么提高它的并发量，可以一次多抽取几个，4个一组太慢了

---

作者: yhdata_yzm    时间: 2023-8-15 15:20

yhdata_2aA4rwOK 发表于 2023-8-15 15:12
目前抽取的时候，最多只能有4个并发，其余都在等待中，这个怎么提高它的并发量，可以一次多抽取几个，4个一 ...

这个目前只能购买许可，你可以联系下商务。
像这种时间特别长的建议错开时间段。

---

欢迎光临 永洪社区 (http://club.yonghongtech.com/)

Powered by Discuz! X3.4