永洪社区

标题: 追加抽取数据以后，再抽取历史数据为什么抽取不了 [打印本页]

作者: yhdata_BHQcto3l 时间: 2024-11-6 15:17
标题: 追加抽取数据以后，再抽取历史数据为什么抽取不了
追加抽取数据以后，再抽取历史数据为什么抽取不了？抽取以后显示的是完成

作者: yhdata_lyaa 时间: 2024-11-6 15:53
截图看看是怎么操作的，抽取以后显示的是完成呢，要抽取再重新抽取

作者: yhdata_BHQcto3l 时间: 2024-11-6 16:22
截图里面这样，定时追加抽取的

作者: yhdata_lyaa 时间: 2024-11-6 16:30

yhdata_BHQcto3l 发表于 2024-11-6 16:22
截图里面这样，定时追加抽取的

有什么问题吗，增量抽取这样是正常的。如果历史数据有变化，要重新全量抽取，需要取消抽取后重来

作者: yhdata_BHQcto3l 时间: 2024-11-7 14:00
问题是，如果我一开始抽取是从2024-01-01的数据开始抽，第二次我再把时间范围改成2023-10-01至2024-01-01，23年的数据还是不会出来

作者: yhdata_lyaa 时间: 2024-11-7 14:24

yhdata_BHQcto3l 发表于 2024-11-7 14:00
问题是，如果我一开始抽取是从2024-01-01的数据开始抽，第二次我再把时间范围改成2023-10-01至2024-01-01， ...

截图看看全部设置呢，是刷新过滤后再抽取的吗

作者: yhdata_BHQcto3l 时间: 2024-11-11 15:40
本帖最后由 yhdata_BHQcto3l 于 2024-11-11 15:41 编辑

是刷新过滤再抽取的了，填了新的日期参数，结果数据集的上一个节点看也是有数的，但是按照日期追加进去已经追加不了了

作者: yhdata_lyaa 时间: 2024-11-11 15:53

yhdata_BHQcto3l 发表于 2024-11-11 15:40
是刷新过滤再抽取的了，填了新的日期参数，结果数据集的上一个节点看也是有数的，但是按照日期追加进去已经 ...

运行以后呢，怎么看的没有追加进去。现在是追加有问题还是不能同步历史数据呀

作者: yhdata_BHQcto3l 时间: 2024-11-11 16:55
运行以后，没有新增的这些数据，已有数据日期往后新增可以，往前不行

作者: yhdata_lyaa 时间: 2024-11-11 17:14

yhdata_BHQcto3l 发表于 2024-11-11 16:55
运行以后，没有新增的这些数据，已有数据日期往后新增可以，往前不行

当用户勾选追加时，表中原先的数据仍然存在，数据集的结果直接插入表中。
当用户不勾选追加时，会先删除表中已存在的数据，然后再插入数据集结果到表中。
你勾选的追加，依据列是日期列，所以已有数据日期往后新增可以，以前的数据不会改变。

作者: yhdata_BHQcto3l 时间: 2024-11-11 17:59
这就有点不是很合理了，按理说要往回增加历史数据应该也是要被允许的

作者: 隔壁老帆 时间: 2024-11-12 08:42
看楼上

作者: 宇文波 时间: 2024-11-12 09:11
这定量抽数的sql看着就像
select *
from XX
where 日期>=时间条件减一天 and 日期< 时间条件
and 加上其他日期范围条件（条件都冲突了肯定不生效）

可以去日志看下抽数的sql的条件逻辑有没有冲突，另外如果数据量不大的情况就别增量追加啦，直接全量同步，增量你还要考虑后续下游没幂等性处理，执行多次效果是否一致，不一致那就是数据会重复数据出错，当然还有其他更多需要考虑。全量覆盖同步就不一样，没怎么多麻烦

欢迎光临永洪社区 (https://club.yonghongtech.com/)