怎么增量同步近30的数据

需求是每天同步近30天的数据，这数据中只有一小部分是增量数据，使用的产品是z-suit 904,没有920那种动态增量更新。跪求各位大佬，给点建议。

我可能理解你的意思了。你的数据不是单纯的新增，历史数据是会有修改（近30天内的数据会发生变化），所以你想同步增量数据的时候，可以修改历史发生变化的数据。是这样吗？
首先，如果历史数据可能发生变化，那么目前应该是不支持增量数据导入的模式。
根据你的需求，我给一个建议。你可以把这个数据集拆分成两个独立的数据集。
一个是30天前的数据集，一个是30天内的数据集。
针对30天前的数据集，可以用增量导入的方式，每天导入第31天前的那一天的数据。
针对30天内的数据，每天做全件更新。
不知道这个方法对于你的需求可行不可行。
这两个数据集最后再做一个整体的组合数据集，把这两个联合到一起，就是你的完整数据集了。

需要有日期字段，可以在调度任务设置增量的时候，下方有一个设置过滤，设置过滤条件来做，过滤条件为 时间 。但是不能完全达到动态增量的效果，因为我们做动态增量就是专门优化的这个需求，您可以本地看一下

每天同步最近30天的数据，也就是说，你的本地数据只保留最近30天的数据是吗？

歪打正着 发表于 2021-10-28 15:40
每天同步最近30天的数据，也就是说，你的本地数据只保留最近30天的数据是吗？ ...

不是的，全量数据都需要。业务上近30天的原表数据是可以变更的，所以近30天的结果表数据也是会变得。

永洪tech-zxx 发表于 2021-10-28 15:27
需要有日期字段，可以在调度任务设置增量的时候，下方有一个设置过滤，设置过滤条件来做，过滤条件为 时间  ...

是带有时间字段的，我就是用采用追加且过滤时间大于等于当前时间减去30天的，这杨做数据是会重复的。

歪打正着 发表于 2021-11-1 09:49
我可能理解你的意思了。你的数据不是单纯的新增，历史数据是会有修改（近30天内的数据会发生变化），所以你 ...

是的，你的理解完全正确。那我按照你的建议，尝试试一下，TKS.

yhdata_QnFAYxT6 发表于 2021-11-2 11:29
是的，你的理解完全正确。那我按照你的建议，尝试试一下，TKS.

祝你成功 ：）