永洪社区

标题: 怎么增量同步近30的数据 [打印本页]

作者: yhdata_QnFAYxT6 时间: 2021-10-28 15:11
标题: 怎么增量同步近30的数据
需求是每天同步近30天的数据，这数据中只有一小部分是增量数据，使用的产品是z-suit 904,没有920那种动态增量更新。跪求各位大佬，给点建议。

作者: 美滋滋 时间: 2021-10-28 15:11
我可能理解你的意思了。你的数据不是单纯的新增，历史数据是会有修改（近30天内的数据会发生变化），所以你想同步增量数据的时候，可以修改历史发生变化的数据。是这样吗？
首先，如果历史数据可能发生变化，那么目前应该是不支持增量数据导入的模式。
根据你的需求，我给一个建议。你可以把这个数据集拆分成两个独立的数据集。
一个是30天前的数据集，一个是30天内的数据集。
针对30天前的数据集，可以用增量导入的方式，每天导入第31天前的那一天的数据。
针对30天内的数据，每天做全件更新。
不知道这个方法对于你的需求可行不可行。
这两个数据集最后再做一个整体的组合数据集，把这两个联合到一起，就是你的完整数据集了。

作者: _贝贝 时间: 2021-10-28 15:27
需要有日期字段，可以在调度任务设置增量的时候，下方有一个设置过滤，设置过滤条件来做，过滤条件为时间。但是不能完全达到动态增量的效果，因为我们做动态增量就是专门优化的这个需求，您可以本地看一下

作者: 美滋滋 时间: 2021-10-28 15:40
每天同步最近30天的数据，也就是说，你的本地数据只保留最近30天的数据是吗？

作者: yhdata_QnFAYxT6 时间: 2021-11-1 09:35

歪打正着发表于 2021-10-28 15:40
每天同步最近30天的数据，也就是说，你的本地数据只保留最近30天的数据是吗？ ...

不是的，全量数据都需要。业务上近30天的原表数据是可以变更的，所以近30天的结果表数据也是会变得。

作者: yhdata_QnFAYxT6 时间: 2021-11-1 09:37

永洪tech-zxx 发表于 2021-10-28 15:27
需要有日期字段，可以在调度任务设置增量的时候，下方有一个设置过滤，设置过滤条件来做，过滤条件为时间 ...

是带有时间字段的，我就是用采用追加且过滤时间大于等于当前时间减去30天的，这杨做数据是会重复的。

作者: yhdata_QnFAYxT6 时间: 2021-11-2 11:29

歪打正着发表于 2021-11-1 09:49
我可能理解你的意思了。你的数据不是单纯的新增，历史数据是会有修改（近30天内的数据会发生变化），所以你 ...

是的，你的理解完全正确。那我按照你的建议，尝试试一下，TKS.

作者: 美滋滋 时间: 2021-11-2 11:36

yhdata_QnFAYxT6 发表于 2021-11-2 11:29
是的，你的理解完全正确。那我按照你的建议，尝试试一下，TKS.

祝你成功：）

欢迎光临永洪社区 (https://club.yonghongtech.com/)