找文章 / 找答案
精选问答 更多内容

我用excel导入了80万行数据,卡得要命,求解决方案。

leo675玄铁三 显示全部楼层 发表于 2024-11-28 11:13:27 |阅读模式 打印 上一主题 下一主题
10
未解决
数据集模型一般弄多少行数据比较合适?
因为excel最大的行数是100万行,为了防止后续数据量太大,我导入数据集的时候,拆分成两个文档导入到BI数据集,导入后一共是80万行数据。但是在运行组件的时候,会很卡。而且会报错。麻烦各位大神老师们知道一下我这个小白


回复

使用道具 举报

精彩评论5

yhdata_lyaa 显示全部楼层 发表于 2024-11-28 11:18:06
两个execl进行联合的吗
join.grid.maxrow=100000000
Join结果限制,产品通过参数控制,对Join的结果集进行了限制,来避免因Join的结果集过大而导致的卡顿。默认为100000000。当Join的结果集超过参数限制时,弹出提示信息,推送预警信息,并且停止进行Join。提示信息:“Join结果超过限制,请到【系统设置>系统参数配置>数据量参数配置】去修改join.grid.maxrow的值。
参考https://www.yonghongtech.com/rea ... ub=join.grid.maxrow
回复

使用道具 举报

leo675玄铁三 显示全部楼层 发表于 2024-11-28 11:33:08
这个设置过了。回来还是这样子,另外的是我本来的数据也没有超过1亿行。而且拉组件的话运行很异常的慢。
回复

使用道具 举报

yhdata_lyaa 显示全部楼层 发表于 2024-11-28 11:37:08
leo675 发表于 2024-11-28 11:33
这个设置过了。回来还是这样子,另外的是我本来的数据也没有超过1亿行。而且拉组件的话运行很异常的慢。 ...

这么多数据会慢的,把Excel导入数据库表呢
回复

使用道具 举报

leo675玄铁三 显示全部楼层 发表于 2024-11-28 11:46:24
yhdata_lyaa 发表于 2024-11-28 11:37
这么多数据会慢的,把Excel导入数据库表呢

我自己做的,如果这样的话,我是自建mysql可以做吗?
回复

使用道具 举报

yhdata_lyaa 显示全部楼层 发表于 2024-11-28 14:30:20
leo675 发表于 2024-11-28 11:46
我自己做的,如果这样的话,我是自建mysql可以做吗?

可以
回复

使用道具 举报

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |《永洪社区协议》
返回顶部