Silvia青铜三
2024-12-20 08:55:33 发布在产品问答
【数据处理】 erp数据多,抽取到数仓比较慢,怎么处理比较好
现在在用的几种方案:
1、增量或修改获取,这种对可以在erp数据库建表的可以用,但是我们有些库是不能自己自定义表,而且这个还有个缺点,erp库和数仓是不同的库,偶尔会造成部分数据未更新到

2、更新最新两个月的数据,这种对交易数据不改变的有用,但是对那些可能早期建立有修改或删除的数据无法处理

带宽增加不了~




241
3
精彩评论3
给给铂金一
发表于 2024-12-20 12:02:30 显示全部楼层
蹲一个
回复

使用道具 2#

yhdata_pHt1LbRr青铜一
发表于 2024-12-23 11:14:37 显示全部楼层
使用ETL或者DateX进行抽取数据,优化数据库结构:合理设计数据库表结构、字段类型和索引,可以减少数据库查询的时间.
对数据进行分区,一般按照时间进行分区:通过将大表分割成多个小表,减少查询范围,提高查询效率
回复

使用道具 3#

永洪蓝波湾铂金一
发表于 2024-12-23 17:50:57 显示全部楼层
使用ETL或者DateX进行抽取数据,优化数据库结构:合理设计数据库表结构、字段类型和索引,可以减少数据库查询的时间.
对数据进行分区,一般按照时间进行分区:通过将大表分割成多个小表,减少查询范围,提高查询效率
回复

使用道具 4#

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
100W

用户等你来哦

Copyright   ©2012-2025  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |《永洪社区协议》
返回顶部