永洪社区

标题: 数据集市数据清理 [打印本页]

作者: yhdata_u4WUbIdc 时间: 2023-2-17 10:26
标题: 数据集市数据清理
创建了数据集市数据集，采用增量抽取，现在表结构发生变动，想沿用原有文件夹，重新抽取历史数据，需要怎么处理，是否可直接重修抽取数据，覆盖以前抽的每日数据文件？如果不可以要如何清理之前的旧数据？

作者: yhdata_ruby 时间: 2023-2-17 10:51
参考一下https://club.yonghongtech.com/fo ... =%E5%A2%9E%E9%87%8F

作者: yhdata_u4WUbIdc 时间: 2023-2-17 11:06

yhdata_ruby 发表于 2023-2-17 10:51
参考一下https://club.yonghongtech.com/forum.php?mod=viewthread&tid=23764&highlight=%E5%A2%9E%E9%87%8 ...

我这个已经增量跑了很多天，是要把之前的每一天的文件都重新跑一遍，还是直接用全量的方式抽取一遍数据可以直接覆盖，然后第二天采用日期增量

作者: yhdata_ruby 时间: 2023-2-17 11:43

yhdata_u4WUbIdc 发表于 2023-2-17 11:06
我这个已经增量跑了很多天，是要把之前的每一天的文件都重新跑一遍，还是直接用全量的方式抽取一遍数据可 ...

我们这边测试一下哈

作者: yhdata_lyaa 时间: 2023-2-17 14:00
是在调度任务里设置的普通增量吗，重新跑一下任务就好了

作者: yhdata_u4WUbIdc 时间: 2023-2-20 11:21

yhdata_lyaa 发表于 2023-2-17 14:00
是在调度任务里设置的普通增量吗，重新跑一下任务就好了

采用的是追加的方式

作者: yhdata_u4WUbIdc 时间: 2023-2-20 11:25

yhdata_u4WUbIdc 发表于 2023-2-17 11:06
我这个已经增量跑了很多天，是要把之前的每一天的文件都重新跑一遍，还是直接用全量的方式抽取一遍数据可 ...

我现在是在服务器上把Yonghong/cloud/ 和 Yonghong/bihome/cloud 下的文件夹都删除了，然后重新跑数，用了原来的文件夹名称，调度正常，创建数据集的时候表结构正常，但是加载数据报错显示"数据执行失败或者权限异常，数据无法正常显示"，这个要怎么处理

作者: yhdata_yzm 时间: 2023-2-20 11:37

yhdata_u4WUbIdc 发表于 2023-2-20 11:25
我现在是在服务器上把Yonghong/cloud/ 和 Yonghong/bihome/cloud 下的文件夹都删除了，然后重新跑数，用 ...

你没备份？

作者: yhdata_u4WUbIdc 时间: 2023-2-20 11:37

yhdata_yzm 发表于 2023-2-20 11:37
你没备份？

没有，因为我在测试，就没备份

作者: yhdata_xEfQfOac 时间: 2023-2-20 11:57
打卡

作者: yhdata_yzm 时间: 2023-2-20 13:16

yhdata_yzm 发表于 2023-2-20 11:37
你没备份？

你把调度任务删除了，重新建个调度任务呢

欢迎光临永洪社区 (https://club.yonghongtech.com/)