永洪社区

标题: 为什么数据库数据集与excel数据集关联出结果效率很低 [打印本页]

作者: yhdata_AEFRj1S4 时间: 4 小时前
标题: 为什么数据库数据集与excel数据集关联出结果效率很低
我这边做了一个基于SQL的数据集，另外还有一个excel数据集，这两个数据集进行关联的时候，出结果特别慢，请问下原因是什么？

作者: yhdata_lyaa 时间: 4 小时前
数据量大吗，做什么关联，有多慢

作者: yhdata_AEFRj1S4 时间: 4 小时前

yhdata_lyaa 发表于 2024-11-25 15:24
数据量大吗，做什么关联，有多慢

数据库里面有3000多w，excel里面有20w，做内连接，20多分钟出不来结果

作者: 宇文波 时间: 4 小时前
能跑就行啦，快慢相对的，不同源数据集应该用的是部署永洪的服务器的资源和计算引擎，过程中间还涉及到慢在数据库表设计和读取慢还是网络io慢，还是关联时内存cpu不够，数据放在同一台服务器关联基本快一点的，这应该是架构师要做的工作

作者: 朝花夕拾 时间: 2 小时前
肯定慢，3000w和20w都需要放在永洪的内存里进行计算，这20w完全可以在同数据库中建一张表写进去，再进行关联，这样下推到数据库执行会快很多

作者: yhdata_lyaa 时间: 2 小时前
对的，建议Excel的数据也导入一行数据库表，再关联

欢迎光临永洪社区 (https://club.yonghongtech.com/)