永洪社区

标题: 填报补录删除hive数据库补录表中数据太慢 [打印本页]

作者: 小混子 时间: 2022-8-19 11:22
标题: 填报补录删除hive数据库补录表中数据太慢
永洪版本 9.2 使用填报补录删除hive数据库中的补录表中的数据时很慢 20条数据用了20s左右？？？？是我操作有问题吗？？？平时可能会有2万条
我的需求其实是用excel导入然后覆盖掉数据库中的补录表的数据好像没有办法直接实现（不是覆盖永洪缓存的数据）所以我就先删除再插入结果好慢

作者: yhdata_yzm 时间: 2022-8-19 11:45
你用update不行么

作者: 小混子 时间: 2022-8-19 13:35

yhdata_yzm 发表于 2022-8-19 11:45
你用update不行么

不行啊我是想实现数据集覆盖业务上可能上次导入的数据导多了之类的那我可定全部覆盖每次都一万多条 update的话有些数据我是不想要的呀那怎么办呢

作者: 小混子 时间: 2022-8-19 13:36

yhdata_yzm 发表于 2022-8-19 11:45
你用update不行么

那是永洪连数据库删就是慢吗？？？只是delete 不能直接truncate？？

作者: yhdata_bear 时间: 2022-8-19 15:39
是的

作者: 小混子 时间: 2022-8-19 15:40

yhdata_bear 发表于 2022-8-19 15:39
是的

所以？？？

作者: 小混子 时间: 2022-8-19 15:40

yh_1DmeiYYN 发表于 2022-8-19 15:40
所以？？？

就是这么慢？？然后暂时没有办法解决吗

作者: yhdata_yzm 时间: 2022-8-19 15:47

yh_1DmeiYYN 发表于 2022-8-19 13:36
那是永洪连数据库删就是慢吗？？？只是delete 不能直接truncate？？

只能增删改，不支持truncate

作者: 小混子 时间: 2022-8-19 16:02

yhdata_yzm 发表于 2022-8-19 15:47
只能增删改，不支持truncate

这个删你们试过吗为什么我这么慢 20条数据 5个字段吧也就用了20秒？？
是我操作错了？？？

作者: 小混子 时间: 2022-8-19 16:16

yhdata_yzm 发表于 2022-8-19 15:47
只能增删改，不支持truncate

既然都连上我数据库中的表了有没有可能让我执行个sql语句啥的提交填报数据到数据库前truncate 一下表呢

作者: yhdata_yzm 时间: 2022-8-19 18:44

yh_1DmeiYYN 发表于 2022-8-19 16:16
既然都连上我数据库中的表了有没有可能让我执行个sql语句啥的提交填报数据到数据库前truncate 一下表 ...

这个我帮你问问吧能实现不

作者: 小混子 时间: 2022-8-20 11:56

yhdata_yzm 发表于 2022-8-19 18:44
这个我帮你问问吧能实现不

感谢感谢不管怎样希望能给个答复
我的本质业务需求其实是想在数据库中补录的表里实现每次导入excel 就把之前的覆盖（是数据库中的数据不是永洪界面缓存的）但貌似无法实现就想先删再插结果删的有些慢

作者: yhdata_yzm 时间: 2022-8-24 19:02

yh_1DmeiYYN 发表于 2022-8-20 11:56
感谢感谢不管怎样希望能给个答复
我的本质业务需求其实是想在数据库中补录的表里实现每次导入excel ...

目前没有办法实现truncate这种方法，只能先删除再插入。

作者: 小混子 时间: 2022-8-24 19:28

yhdata_yzm 发表于 2022-8-24 19:02
目前没有办法实现truncate这种方法，只能先删除再插入。

我在提交按钮里写脚本连接数据库执行了truncate的语句好像可以唉

作者: yhdata_yzm 时间: 2022-8-25 09:51

yh_1DmeiYYN 发表于 2022-8-24 19:28
我在提交按钮里写脚本连接数据库执行了truncate的语句好像可以唉

截图我看看效果呢

作者: 小混子 时间: 2022-8-30 15:04

yhdata_yzm 发表于 2022-8-25 09:51
截图我看看效果呢

兄弟我图片上传不上去就是正常的用脚本连接数据库把sql语句换成了 truncate
table XXX 然后执行基本都是秒执行完比用内置的remove要快的多

作者: 小混子 时间: 2022-8-30 15:07

yhdata_yzm 发表于 2022-8-25 09:51
截图我看看效果呢

但我现在想把删除和插入放到一个按钮但是会导致如果手残点了两次提交第一次会先正常清空数据库然后插入数据第二次会全部清空掉

作者: yhdata_yzm 时间: 2022-8-30 15:19

yh_1DmeiYYN 发表于 2022-8-30 15:07
但我现在想把删除和插入放到一个按钮但是会导致如果手残点了两次提交第一次会先正常清空数据库然 ...

执行起来可能有问题，还是写在两个提交里吧

作者: 小混子 时间: 2022-8-30 15:47

yhdata_yzm 发表于 2022-8-30 15:19
执行起来可能有问题，还是写在两个提交里吧

我在想这个truncate会不会有问题现在是可以的以后用起来不知道？？

作者: yhdata_yzm 时间: 2022-8-30 16:46

yh_1DmeiYYN 发表于 2022-8-30 15:47
我在想这个truncate会不会有问题现在是可以的以后用起来不知道？？

先多测试下，稳定一段时间，后续的问题谁知道呢

作者: 小混子 时间: 2022-8-30 19:53

yhdata_yzm 发表于 2022-8-30 16:46
先多测试下，稳定一段时间，后续的问题谁知道呢

永洪自带的insert（‘填报对应关系’）比用脚本写的（先连接数据库执行插入sql 循环插入）执行起来要快为什么

作者: yhdata_yzm 时间: 2022-9-1 19:04

yh_1DmeiYYN 发表于 2022-8-30 19:53
永洪自带的insert（‘填报对应关系’）比用脚本写的（先连接数据库执行插入sql 循环插入）执行起来要快 ...

分析下日志，看看对比起来慢在哪里咯

欢迎光临永洪社区 (https://club.yonghongtech.com/)