永洪社区

标题: 我用excel导入了80万行数据，卡得要命，求解决方案。 [打印本页]

作者: leo675 时间: 5 小时前
标题: 我用excel导入了80万行数据，卡得要命，求解决方案。
数据集模型一般弄多少行数据比较合适？
因为excel最大的行数是100万行，为了防止后续数据量太大，我导入数据集的时候，拆分成两个文档导入到BI数据集，导入后一共是80万行数据。但是在运行组件的时候，会很卡。而且会报错。麻烦各位大神老师们知道一下我这个小白

作者: yhdata_lyaa 时间: 5 小时前
两个execl进行联合的吗
join.grid.maxrow=100000000
Join结果限制，产品通过参数控制，对Join的结果集进行了限制，来避免因Join的结果集过大而导致的卡顿。默认为100000000。当Join的结果集超过参数限制时，弹出提示信息，推送预警信息，并且停止进行Join。提示信息：“Join结果超过限制，请到【系统设置>系统参数配置>数据量参数配置】去修改join.grid.maxrow的值。
参考https://www.yonghongtech.com/rea ... ub=join.grid.maxrow

作者: leo675 时间: 4 小时前
这个设置过了。回来还是这样子，另外的是我本来的数据也没有超过1亿行。而且拉组件的话运行很异常的慢。

作者: yhdata_lyaa 时间: 4 小时前

leo675 发表于 2024-11-28 11:33
这个设置过了。回来还是这样子，另外的是我本来的数据也没有超过1亿行。而且拉组件的话运行很异常的慢。 ...

这么多数据会慢的，把Excel导入数据库表呢

作者: leo675 时间: 4 小时前

yhdata_lyaa 发表于 2024-11-28 11:37
这么多数据会慢的，把Excel导入数据库表呢

我自己做的，如果这样的话，我是自建mysql可以做吗？

作者: yhdata_lyaa 时间: 1 小时前

leo675 发表于 2024-11-28 11:46
我自己做的，如果这样的话，我是自建mysql可以做吗？

可以

欢迎光临永洪社区 (https://club.yonghongtech.com/)