数据集刷新报错及解决数据量大调度问题

WANGYINGXUE白银二 显示全部楼层 发表于 2021-7-22 14:23:44 |阅读模式 打印 上一主题 下一主题
本帖最后由 WANGYINGXUE 于 2021-7-22 14:25 编辑


以上,在创建自定义任务的时候,刷新数据集,报以下错误:丢弃空的参数失败    请问什么原因?
2.现在有个数据集,数据量很大,而且底层数据库是每天全量更新,大概7000万的数据量,没法按照自定义任务来做调度,请问有什么好的解决方法?



回复

使用道具 举报

精彩评论5

显示全部楼层 发表于 2021-7-22 14:37:43
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 举报

WANGYINGXUE白银二 显示全部楼层 发表于 2021-7-22 14:55:11
永洪tech-wdr 发表于 2021-7-22 14:37
1、丢弃空参数失败的报错就是某个参数值为空但是参数未被丢弃仍在使用状态,导致报错,请问是否有使用SQL ...

第二个问题,没法增量,因为底层表就是全量的更新的 而且没有时间字段
回复 支持 反对

使用道具 举报

WANGYINGXUE白银二 显示全部楼层 发表于 2021-7-22 15:07:46
永洪tech-wdr 发表于 2021-7-22 14:37
1、丢弃空参数失败的报错就是某个参数值为空但是参数未被丢弃仍在使用状态,导致报错,请问是否有使用SQL ...

第一个问题,在sql中进行传参,where 1=1
and to_date(statistics_dt,'yyyy-mm-dd')>=?{startDate}
and to_date(statistics_dt,'yyyy-mm-dd')<?{endDate}

编辑参数是2个分别为 startDate  endDate  都是空 弹出
回复 支持 反对

使用道具 举报

显示全部楼层 发表于 2021-7-22 15:14:51
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 举报

显示全部楼层 发表于 2021-7-22 15:17:30
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 举报

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |联系社区管理员|《永洪社区协议》
返回顶部