永洪社区

标题: 数据集增量抽取数据被清空 [打印本页]

作者: 如何搞到一个亿 时间: 2023-9-19 10:47
标题: 数据集增量抽取数据被清空
我有一个数据集数据量在200w，有一个更新时间的字段，我首次是抽取全量数据，后续增量抽取
因为：我的sql是全量sql，这样每10分钟增量抽取，他都是在数据库执行全量语句，拿到所有数据跟集市中数据比对，然后差异数据入集市，效率很低，任务执行要十来分钟
所以：我调整我的sql，首次执行全量sql，数据抽取完毕后又改为where条件后取前15分钟数据，这样执行很快
但是：会直接清空我首次抽取的数据集的数据
请问，如何不让他清空？

作者: 如何搞到一个亿 时间: 2023-9-19 11:06
补充，是追加抽取的方式

作者: yhdata_lyaa 时间: 2023-9-19 11:15
是动态增量更新吗

作者: 如何搞到一个亿 时间: 2023-9-19 13:38

yhdata_lyaa 发表于 2023-9-19 11:15
是动态增量更新吗

不更新，只是按照时间进行追加，流水数据不涉及更新。

作者: yhdata_lyaa 时间: 2023-9-19 14:55
清空是会删除之前的数据吗，只留下新增的？正常追加也会清空吗

作者: 如何搞到一个亿 时间: 2023-9-19 20:32

yhdata_lyaa 发表于 2023-9-19 14:55
清空是会删除之前的数据吗，只留下新增的？正常追加也会清空吗

就是正常追加是会删除之前的数据，只留下新增的。

作者: yanieye 时间: 2023-9-20 08:40
增量导入数据的情况下，不会删除之前的数据。
可能是增量抽取的设置不对？
参考一下这个文档的1.2.2的部分。
https://www.yonghongtech.com/rea ... dataextraction.html

欢迎光临永洪社区 (https://club.yonghongtech.com/)