[数据处理]
erp数据多,抽取到数仓比较慢,怎么处理比较好
-
Silvia
- 2024-12-20 08:55:33
- 发布在 产品问答
123
3
现在在用的几种方案:
1、增量或修改获取,这种对可以在erp数据库建表的可以用,但是我们有些库是不能自己自定义表,而且这个还有个缺点,erp库和数仓是不同的库,偶尔会造成部分数据未更新到
2、更新最新两个月的数据,这种对交易数据不改变的有用,但是对那些可能早期建立有修改或删除的数据无法处理
带宽增加不了~
|
免责声明:本文不代表本站立场,且不构成任何建议,请谨慎对待。
版权声明:作者保留权利,不代表本站立场。
|
|
|
|
yhdata_pHt1LbRr
显示全部楼层
发表于 昨天 11:14
使用ETL或者DateX进行抽取数据,优化数据库结构:合理设计数据库表结构、字段类型和索引,可以减少数据库查询的时间.
对数据进行分区,一般按照时间进行分区:通过将大表分割成多个小表,减少查询范围,提高查询效率 |
|
|
|
|
使用ETL或者DateX进行抽取数据,优化数据库结构:合理设计数据库表结构、字段类型和索引,可以减少数据库查询的时间.
对数据进行分区,一般按照时间进行分区:通过将大表分割成多个小表,减少查询范围,提高查询效率 |
|
|
|
|