[数据处理] 关于填报功能的数据导入速度问题

yhdata_Re9haQal钻石二 显示全部楼层 发表于 2022-12-1 14:13:44 |阅读模式 打印 上一主题 下一主题
本帖最后由 yhdata_Re9haQal 于 2022-12-1 15:35 编辑

永洪BI版本:9.4.4
目标数据库:greenplum 6

我们这边有个报表(数据量30W左右)需要每月人手调整后重新导入到greenplum 数据库。。
目前这个操作是通过填报的功能实现的。。excel上传到永洪BI大概需要15分钟。。但是落地到greenplum 数据库就需要接近1个小时。。
想问下 永洪BI 在针对greenplum 数据库是使用传统的jdbc形式进行写入的还是通过copy的形式写入的?

=================================================================
再补充一个问题。。就是填报的 提交功能 明明已经设置为 插入提交 ,但导入后台的数据依然会将重复的数据进行去重
目标表未设置主键
数据例子如下、、
1,物料A,20,20.5,2022-12-01
1,物料B,10,10.5,2022-12-01
1,物料A,20,20.5,2022-12-01

按照我的理解,后台的目标表应该存在3条数据才对。。但是实际上只有 第一以及第二条,第三条消失了。。
回复

使用道具 举报

精彩评论2

yhdata_yzm 显示全部楼层 发表于 2022-12-1 17:52:03
1、30w的数据量建议客户使用任务调度-导出到数据库
2、jdbc形式写入
3、不比较行号,如果内容相同则去重
回复

使用道具 举报

yhdata_Re9haQal钻石二 显示全部楼层 发表于 2022-12-1 18:02:14
yhdata_yzm 发表于 2022-12-1 17:52
1、30w的数据量建议客户使用任务调度-导出到数据库
2、jdbc形式写入
3、不比较行号,如果内容相同则去重 ...

1、30w的数据量建议客户使用任务调度-导出到数据库
---- 不是把数据导出到数据库。。而是需要把excel导入到数据库那边去。。那部分excel因为需要手动调整数据(调整的逻辑过于个性化,没法通过数据库获取)
---- 任务调度未发现 “导出到数据库” 功能 YMMII图片20221201180059.png

3、不比较行号,如果内容相同则去重
这个功能是都默认启用能否关闭?
回复

使用道具 举报

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |联系社区管理员|《永洪社区协议》
返回顶部