调度任务失败

总共有两个关于调度任务的问题：1、增量导入调度任务时间过长的问题；2、无法调度数据的问题

1、调度任务，采用增量导入的方式，调度A表，花费时间过长的问题。A表数据量（4800w行×8列）






2、A表筛选后数据量1710w行×8列，经过分组汇总后，B表数据量232w行×3列，对B表执行调度任务，不管是采用同步数据的方式还是增量导入的方式，都显示调度失败，请问用什么方式能将B表的数据调度完成？

1. 现在大概要多久呢。A表数据4800w行，一次就要导入这么多吗，增量导入可以按照某个条件过滤一下，分批次导入。
2. 失败是有提示的，看下失败的原因是啥

永洪tech-秀秀 发表于 2022-4-15 17:38
1. 现在大概要多久呢。A表数据4800w行，一次就要导入这么多吗，增量导入可以按照某个条件过滤一下，分批次 ...

1、A表目前调度需要1h40m的样子，在调度任务增量导入的情况下，点击完追加后，下面的过滤条件，鼠标点不出来，不起作用。A表更新只需要更新前一天的，但是因为是自服务数据集，用不了动态增量更新，目前没有想出优化调度时长的办法。
2、B表是在A表的基础上分组汇总后，再是增量更新，提示数据超时

不起作用是meta没有生效吧，自服务数据集可以加行过滤，数据超时是数据执行超时吗

永洪tech-秀秀 发表于 2022-4-18 16:58
不起作用是meta没有生效吧，自服务数据集可以加行过滤，数据超时是数据执行超时吗 ...

在自服务数据集过滤的话，就会把需要的数据也会过滤出去，我的目的是能像动态增量更新那样，只更新昨天的就可以了；数据超时，是提示的“数据执行超时”

自服务数据集就只有手动剔除更新了。数据执行超时就是执行时间太久了，自服务数据集都是在内存计算，数据多会很慢，可以修改执行时间

看不动

执行太久了吧

https://www.yonghongtech.com/hel ... ipropertie_job.html
这里有一些关于调度任务的系统属性，可以参考一下。
如果是超时，一般是受到sched.execute.data.timeout=3600000
默认允许的执行时长是1小时。