永洪社区

标题: 填报数据速度 [打印本页]
作者: 魔都DK    时间: 2024-9-6 13:57
标题: 填报数据速度
excel导入数据填报的时候，速度非常慢，
1w条数据(8个字段，都是长度10以内的)要半小时以上才能导入，这个有什么能优化的地方吗，
我看日志里好像是一条一条插入的。
作者: yhdata_lyaa    时间: 2024-9-6 14:08
具体是什么版本呢
作者: 魔都DK    时间: 2024-9-6 14:17
yhdata_lyaa 发表于 2024-9-6 14:08
具体是什么版本呢

9.4.6.1
作者: 魔都DK    时间: 2024-9-6 14:46
yhdata_lyaa 发表于 2024-9-6 14:08
具体是什么版本呢

是后续有优化过嘛，我看其他帖子好像有提过
作者: yhdata_lyaa    时间: 2024-9-6 14:51
只是做插入吗，如果是更新智能提交会慢些，数据集“导出到数据库”功能，或者外部通过通过其他方式导入慢吗。
作者: yhdata_lyaa    时间: 2024-9-6 14:52
魔都DK 发表于 2024-9-6 14:46
是后续有优化过嘛，我看其他帖子好像有提过

是的 新版本有优化，可以提工单咨询
作者: 魔都DK    时间: 2024-9-6 14:59
yhdata_lyaa 发表于 2024-9-6 14:52
是的 新版本有优化，可以提工单咨询

新版本有优化，是必须更新大版本吗，还是说小版本就行。
作者: yhdata_lyaa    时间: 2024-9-6 15:12
魔都DK 发表于 2024-9-6 14:59
新版本有优化，是必须更新大版本吗，还是说小版本就行。

作者: yhdata_lyaa    时间: 2024-9-6 15:17
excel数据集预览慢不慢
作者: 魔都DK    时间: 2024-9-6 15:22
yhdata_lyaa 发表于 2024-9-6 15:17
excel数据集预览慢不慢

不慢，直接就全读出来了
作者: yhdata_lyaa    时间: 2024-9-6 15:26
魔都DK 发表于 2024-9-6 14:59
新版本有优化，是必须更新大版本吗，还是说小版本就行。

这个不确定，excel数据集不慢的话，填报提交快慢受数据库性能影响，点击提交后我们会每100条数据进行一次传输，发给数据库操作，数据会根据条件列先做更新 更新失败再做插入，数据库处理完后我们才能显示提交成功的提示。
作者: 魔都DK    时间: 2024-9-6 15:38
yhdata_lyaa 发表于 2024-9-6 15:26
这个不确定，excel数据集不慢的话，填报提交快慢受数据库性能影响，点击提交后我们会每100条数据进行一次 ...

因为我看系统日志里，是一条一条insert的，不是100条一次。是因为这个原因导致的吗，还是说100条就是你们更新过的方法。
因为我这个zsuite现在没买填报，要了一个测试lic试的，但是现在填报速度很慢，所以想问是不是可以小版本更新优化。
作者: yhdata_lyaa    时间: 2024-9-6 16:05
魔都DK 发表于 2024-9-6 15:38
因为我看系统日志里，是一条一条insert的，不是100条一次。是因为这个原因导致的吗，还是说100条就是你们 ...

不是的，100条是永洪一次传给数据库的，但是数据库是1条1条插入的。
1.您可以另外新建一个表，看看直接从excel数据集导出到数据库1w条数据，速度怎么样。
2.填报设置的是智能提交吗？智能提交判断步骤会多几个，
试试新建插入提交，执行插入提交 和 数据集导出到数据库的速度 是不是差不多。如果差不多应该是数据库性能的原因了。如果数据集导出很快，插入填报很慢，就可能是产品这边的问题，需要进一步看看了。
作者: 魔都DK    时间: 2024-9-6 17:10
yhdata_lyaa 发表于 2024-9-6 16:05
不是的，100条是永洪一次传给数据库的，但是数据库是1条1条插入的。
1.您可以另外新建一个表，看看直接从 ...

不是这样吧，因为我看永洪的系统日志它是一条一条INSERT的，这个才是它传给数据库的方式吧。

1.我试了用excel数据集导入数据库不行，可能是不支持我这个数据库吧，我是用mysql驱动连的starrocks库
，提示我Getting analyzing error. Detail message: Unknown engine name: InnoDB.
2.是的，是智能提交。但是我试了换插入提交，也是差不多，1秒插10条这种。
作者: 魔都DK    时间: 2024-9-6 17:13
yhdata_lyaa 发表于 2024-9-6 16:05
不是的，100条是永洪一次传给数据库的，但是数据库是1条1条插入的。
1.您可以另外新建一个表，看看直接从 ...

如图
(, 下载次数: 3)