找文章 / 找答案
精选问答 更多内容

[数据处理] 为什么数据库数据集与excel数据集关联出结果效率很低

yhdata_AEFRj1S4玄铁二 显示全部楼层 发表于 7 小时前 |阅读模式 打印 上一主题 下一主题
我这边做了一个基于SQL的数据集,另外还有一个excel数据集,这两个数据集进行关联的时候,出结果特别慢,请问下原因是什么?
回复

使用道具 举报

精彩评论5

yhdata_lyaa 显示全部楼层 发表于 7 小时前
数据量大吗,做什么关联,有多慢
回复

使用道具 举报

yhdata_AEFRj1S4玄铁二 显示全部楼层 发表于 7 小时前
yhdata_lyaa 发表于 2024-11-25 15:24
数据量大吗,做什么关联,有多慢

数据库里面有3000多w,excel里面有20w,做内连接,20多分钟出不来结果
回复

使用道具 举报

宇文波青铜二 显示全部楼层 发表于 7 小时前
能跑就行啦,快慢相对的,不同源数据集应该用的是部署永洪的服务器的资源和计算引擎,过程中间还涉及到慢在 数据库表设计和读取慢还是网络io慢,还是关联时内存cpu不够,数据放在同一台服务器关联基本快一点的,这应该是架构师要做的工作
回复

使用道具 举报

朝花夕拾铂金一 显示全部楼层 发表于 5 小时前
肯定慢,3000w和20w都需要放在永洪的内存里进行计算,这20w完全可以在同数据库中建一张表写进去,再进行关联,这样下推到数据库执行会快很多
回复

使用道具 举报

yhdata_lyaa 显示全部楼层 发表于 5 小时前
对的,建议Excel的数据也导入一行数据库表,再关联
回复

使用道具 举报

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |《永洪社区协议》
返回顶部