增量导入数据集

1600多万条
今天是第一次执行， 后面执行这个增量导入，我设置的是按天的，这个应该只读取当天的吧。。

扫地僧 发表于 2023-9-28 10:32
那意思就是，明天假设只产生3000条，那他读取也只读取3000条，然后只运行增加3000条，然后今天抽的1600万 ...

是的

可以参考增量导入数据https://www.yonghongtech.com/rea ... 0%E6%8D%AE%E2%80%9D如果勾选
【追加】当用户勾选追加时，新生成的数据文件会追加到文件夹中而不删除已有的数据文件。如用户创建一个增量导入数据任务，即每天八点对某一数据集中的数据进行收集，生成数据集市文件，第一天生成的文件名称为test0，第二天生成的文件名称为test1，以此类推。当用户不勾选追加时，倘若当前系统中已经存在该集市文件夹，则会创建新的数据集市文件夹来替代。如用户创建一个增量导入数据任务，即每天八点对某一数据集中的数据进行收集，生成数据集市文件，第一天生成的文件放入文件夹 folder0 中，第二天会生成新的数据集市文件夹 folder0 来覆盖已经存在的文件夹以及文件。
https://www.yonghongtech.com/rea ... D%E5%8A%A0%E6%97%B6

yhdata_lyaa 发表于 2023-9-28 10:28
可以参考增量导入数据https://www.yonghongtech.com/rea ... 0%E6%8D%AE%E2%80%9D如果勾选
【追加】当用户 ...

那意思就是，明天假设只产生3000条，那他读取也只读取3000条，然后只运行增加3000条，然后今天抽的1600万多条的数据还存留在集市里面，是这个意思吗