找文章 / 找答案
精选问答 更多内容

[数据处理] erp数据多,抽取到数仓比较慢,怎么处理比较好

Silvia青铜三 显示全部楼层 发表于 4 天前 |阅读模式 打印 上一主题 下一主题
现在在用的几种方案:
1、增量或修改获取,这种对可以在erp数据库建表的可以用,但是我们有些库是不能自己自定义表,而且这个还有个缺点,erp库和数仓是不同的库,偶尔会造成部分数据未更新到

2、更新最新两个月的数据,这种对交易数据不改变的有用,但是对那些可能早期建立有修改或删除的数据无法处理

带宽增加不了~




回复

使用道具 举报

精彩评论3

给给铂金一 显示全部楼层 发表于 4 天前
蹲一个
回复

使用道具 举报

yhdata_pHt1LbRr青铜一 显示全部楼层 发表于 昨天 11:14
使用ETL或者DateX进行抽取数据,优化数据库结构:合理设计数据库表结构、字段类型和索引,可以减少数据库查询的时间.
对数据进行分区,一般按照时间进行分区:通过将大表分割成多个小表,减少查询范围,提高查询效率
回复

使用道具 举报

永洪蓝波湾铂金一 显示全部楼层 发表于 昨天 17:50
使用ETL或者DateX进行抽取数据,优化数据库结构:合理设计数据库表结构、字段类型和索引,可以减少数据库查询的时间.
对数据进行分区,一般按照时间进行分区:通过将大表分割成多个小表,减少查询范围,提高查询效率
回复

使用道具 举报

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |《永洪社区协议》
返回顶部