[数据处理]
为什么数据库数据集与excel数据集关联出结果效率很低
我这边做了一个基于SQL的数据集,另外还有一个excel数据集,这两个数据集进行关联的时候,出结果特别慢,请问下原因是什么?
|
免责声明:本文不代表本站立场,且不构成任何建议,请谨慎对待。
版权声明:作者保留权利,不代表本站立场。
|
|
|
|
yhdata_AEFRj1S4
显示全部楼层
发表于 7 小时前
数据库里面有3000多w,excel里面有20w,做内连接,20多分钟出不来结果 |
|
|
|
|
能跑就行啦,快慢相对的,不同源数据集应该用的是部署永洪的服务器的资源和计算引擎,过程中间还涉及到慢在 数据库表设计和读取慢还是网络io慢,还是关联时内存cpu不够,数据放在同一台服务器关联基本快一点的,这应该是架构师要做的工作 |
|
|
|
|
肯定慢,3000w和20w都需要放在永洪的内存里进行计算,这20w完全可以在同数据库中建一张表写进去,再进行关联,这样下推到数据库执行会快很多 |
|
|
|
|
对的,建议Excel的数据也导入一行数据库表,再关联 |
|
|
|
|