找文章 / 找答案
精选问答 更多内容
12
返回列表 发新帖

追加抽取数据以后,再抽取历史数据为什么抽取不了

yhdata_BHQcto3l青铜一 显示全部楼层 发表于 2024-11-11 17:59:52
这就有点不是很合理了,按理说要往回增加历史数据应该也是要被允许的
回复

使用道具 举报

隔壁老帆青铜四 显示全部楼层 发表于 2024-11-12 08:42:59
看楼上
回复

使用道具 举报

宇文波青铜二 显示全部楼层 发表于 2024-11-12 09:11:12
这定量抽数的sql看着就像
select *
from XX
where 日期>=时间条件减一天 and 日期< 时间条件
and 加上其他 日期范围条件(条件都冲突了肯定不生效)

可以去日志看下抽数的sql的条件逻辑有没有冲突,另外如果数据量不大的情况就别增量追加啦,直接全量同步,增量你还要考虑后续下游没幂等性处理,执行多次效果是否一致,不一致那就是数据会重复数据出错,当然还有其他更多需要考虑。全量覆盖同步就不一样,没怎么多麻烦
回复

使用道具 举报

12
高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |《永洪社区协议》
返回顶部