永洪社区

标题: 数据集刷新报错及解决数据量大调度问题 [打印本页]

作者: WANGYINGXUE 时间: 2021-7-22 14:23
标题: 数据集刷新报错及解决数据量大调度问题
本帖最后由 WANGYINGXUE 于 2021-7-22 14:25 编辑

以上，在创建自定义任务的时候，刷新数据集，报以下错误：丢弃空的参数失败请问什么原因？
2.现在有个数据集，数据量很大，而且底层数据库是每天全量更新，大概7000万的数据量，没法按照自定义任务来做调度，请问有什么好的解决方法？

作者: 永洪tech-wdr 时间: 2021-7-22 14:37
提示: 作者被禁止或删除内容自动屏蔽

作者: WANGYINGXUE 时间: 2021-7-22 14:55

永洪tech-wdr 发表于 2021-7-22 14:37
1、丢弃空参数失败的报错就是某个参数值为空但是参数未被丢弃仍在使用状态，导致报错，请问是否有使用SQL ...

第二个问题，没法增量，因为底层表就是全量的更新的而且没有时间字段

作者: WANGYINGXUE 时间: 2021-7-22 15:07

永洪tech-wdr 发表于 2021-7-22 14:37
1、丢弃空参数失败的报错就是某个参数值为空但是参数未被丢弃仍在使用状态，导致报错，请问是否有使用SQL ...

第一个问题，在sql中进行传参，where 1=1
and to_date(statistics_dt,'yyyy-mm-dd')>=?{startDate}
and to_date(statistics_dt,'yyyy-mm-dd')<?{endDate}

编辑参数是2个分别为 startDate endDate 都是空弹出

作者: 永洪tech-wdr 时间: 2021-7-22 15:14
提示: 作者被禁止或删除内容自动屏蔽

作者: 永洪tech-wdr 时间: 2021-7-22 15:17
提示: 作者被禁止或删除内容自动屏蔽

欢迎光临永洪社区 (https://club.yonghongtech.com/)