集市数据抽取

gzd 发表于 2022-2-15 16:53
今天又发现这个问题了，抽数1个多小时一直是0，卡了好多任务，后来突然好了，发现抽了2000多万，也就是说 ...

看描述， 是一个大任务，占了资源， 其他小任务只能等。
解决办法是，增加资源，让大任务执行的更快。 可以找商务，提供一个性能更好的许可，可能涉及部分费用。当然还需要cpu和内存的支持
另一个办法就是把大任务拆成多个小任务。做成增量追加

永洪tech-秀秀 发表于 2022-2-15 17:00
按上面的步骤重新提供下日志呢

我们有10个节点，1个C9个M，都要按照这个把日志弄出来吗

gzd 发表于 2022-2-15 18:14
我们有10个节点，1个C9个M，都要按照这个把日志弄出来吗

看下上面的处理方式呢

洪小豆 发表于 2022-2-15 17:19
看描述， 是一个大任务，占了资源， 其他小任务只能等。
解决办法是，增加资源，让大任务执行的更快。 可 ...

这是各个节点的线程日志

gzd 发表于 2022-2-16 10:27
这是各个节点的线程日志

打jstack日志的时候， 需要连续 多打几次，  仅1次的日志，看不出来变化。
隔2-3s，打一次，多打几次。  主要给c节点的就行。

本次提供的日志，未发现异常

洪小豆 发表于 2022-2-16 10:41
打jstack日志的时候， 需要连续 多打几次，  仅1次的日志，看不出来变化。
隔2-3s，打一次，多打几次。   ...

现在没有大任务在跑，打印可以看出来吗

gzd 发表于 2022-2-16 10:53
现在没有大任务在跑，打印可以看出来吗

要你觉得卡住的时候，去打印

洪小豆 发表于 2022-2-16 10:56
要你觉得卡住的时候，去打印

这是线程日志

gzd 发表于 2022-2-16 15:56
这是线程日志

6.1版本？

洪小豆 发表于 2022-2-16 16:24
6.1版本？

9.0的，这个是刚升级的，打算替换6.1的，发现这个问题不敢替了