永洪社区

标题: v9.4版本自服务数据集ETL使用 [打印本页]

作者: 金融搬砖匠 时间: 2023-6-5 11:29
标题: v9.4版本自服务数据集ETL使用
如题，想把自服务数据集当做ETL工具使用。
目前的设想是自服务数据集做好数据加工后，想把结果导入到数据库表中。
问题是：
1. 没有找到配置调度任务数据导入前的删除语句配置界面。
2. 没有找到自服务数据集相关参数默认配置的说明。

作者: yhdata_ruby 时间: 2023-6-5 13:16
1、“数据导入前的删除语句配置界面"是指什么需求
2、需要参数配置实现什么样的效果

作者: 金融搬砖匠 时间: 2023-6-5 14:19
比如，导入数据前执行删除，delete from xx table where data_dt =参数日期;
然后再执行导入。
自服务数据集在引入某个数据集的时候，这个数据集也调用了日期前一个自然日的参数。
sql数据集引入：select * from xx table where data_dt =参数日期 ;

作者: yhdata_ruby 时间: 2023-6-5 14:27
删除这个不支持，只能在自服务数据集处理好数据再去导入

作者: 金融搬砖匠 时间: 2023-6-5 14:33

yhdata_ruby 发表于 2023-6-5 14:27
删除这个不支持，只能在自服务数据集处理好数据再去导入

请问利用你们的自服务数据集怎么做数据预处理呢，类似于delete where
data = 参数前一天日期

作者: yhdata_ruby 时间: 2023-6-5 14:38

yhdata_PhmYoBq4 发表于 2023-6-5 14:33
请问利用你们的自服务数据集怎么做数据预处理呢，类似于delete where
data = 参数前一天日期
...

设置调度任务的时候这里有过滤，可以在这里设置过滤条件时间是大于参数的前一天

欢迎光临永洪社区 (https://club.yonghongtech.com/)