永洪社区

标题: 调度任务数据导出性能问题 [打印本页]

作者: 翻滚吧巨人 时间: 2023-2-7 14:57
标题: 调度任务数据导出性能问题
每月是30万的数据量,指标统计30个

再加个其他维度,如车系,10个车系,就是300万的量;

测试下来400万的统计结果数据写入到ADB中,需要1个半小时.这个问题有什么解决方案吗?
测试了700万的数据写入.执行超过2个小时,并且执行失败了.假如条数超过700万的话,应该怎么快速的完成写入呢?

作者: yhdata_lyaa 时间: 2023-2-7 14:57
数据量大可以参考集群部署https://club.yonghongtech.com/thread-16474-1-1.html

作者: yhdata_ruby 时间: 2023-2-7 15:06
参考性能优化https://www.yonghongtech.com/hel ... =%E6%80%A7%E8%83%BD

作者: 翻滚吧巨人 时间: 2023-2-7 15:14
链接是指的报告加载性能吧，问题是大数据量调度任务导出到数据库，你看看呢

作者: yhdata_xEfQfOac 时间: 2023-2-20 11:48
打卡

欢迎光临永洪社区 (http://club.yonghongtech.com/)