本帖最后由 WANGYINGXUE 于 2021-7-22 14:25 编辑


以上,在创建自定义任务的时候,刷新数据集,报以下错误:丢弃空的参数失败    请问什么原因?
2.现在有个数据集,数据量很大,而且底层数据库是每天全量更新,大概7000万的数据量,没法按照自定义任务来做调度,请问有什么好的解决方法?



分享至:微博微信
收藏
5 条回帖
永洪tech-wdr金牌会员2021-7-22 14:37:43
WANGYINGXUE 发表于 2021-7-22 14:23
以上,在创建自定义任务的时候,刷新数据集,报以下错误:丢弃空的参数失败    请问什么原因?
2.现在有个 ...

1、丢弃空参数失败的报错就是某个参数值为空但是参数未被丢弃仍在使用状态,导致报错,请问是否有使用SQL传参,数据集编辑参数中存在几个参数2、数据量大的问题,具体怎么使用的调度任务,同步入集市还是增量入集市呢
WANGYINGXUE中级会员2021-7-22 14:55:11
永洪tech-wdr 发表于 2021-7-22 14:37
1、丢弃空参数失败的报错就是某个参数值为空但是参数未被丢弃仍在使用状态,导致报错,请问是否有使用SQL ...

第二个问题,没法增量,因为底层表就是全量的更新的 而且没有时间字段
WANGYINGXUE中级会员2021-7-22 15:07:46
永洪tech-wdr 发表于 2021-7-22 14:37
1、丢弃空参数失败的报错就是某个参数值为空但是参数未被丢弃仍在使用状态,导致报错,请问是否有使用SQL ...

第一个问题,在sql中进行传参,where 1=1
and to_date(statistics_dt,'yyyy-mm-dd')>=?{startDate}
and to_date(statistics_dt,'yyyy-mm-dd')<?{endDate}

编辑参数是2个分别为 startDate  endDate  都是空 弹出
永洪tech-wdr金牌会员2021-7-22 15:14:51
WANGYINGXUE 发表于 2021-7-22 14:55
第二个问题,没法增量,因为底层表就是全量的更新的 而且没有时间字段

1、没有日期字段的情况下仍需增量入集市可以考虑使用增量导入数据下的“分割”“分片列”方法增量入集市。
分割:实现按列分割,并行导入集市的功能。当用户勾选分割时,会自动弹出分割对话框。分割类型分为平均分割和分组分割,平均分割只能选择一个分割列,默认为自动分割,分割份数由用户输入,默认值为4
分片列:采用一致性哈希方式对数据列进行分片存储,当用户勾选分片列时,会自动弹出分片列对话框
详情可以参考帮助中心-增量入集市的介绍:https://www.yonghongtech.com/hel ... 6%E7%89%87%E5%88%97

2、第二种方法则是设置一个定时同步入集市任务,每天固定时间同步数据入集市,同时覆盖历史zb文件
永洪tech-wdr金牌会员2021-7-22 15:17:30
WANGYINGXUE 发表于 2021-7-22 15:07
第一个问题,在sql中进行传参,where 1=1
and to_date(statistics_dt,'yyyy-mm-dd')>=?{startDate}
and t ...

检查参数,可以在编辑数据集处将参数设置个默认值或者将sql语句中用到的参数写成这样的格式<参数> 字段=?{参数} </参数>
需要登陆后才可进行回复 登录

返回顶部