永洪社区
标题: 关于填报功能的数据导入速度问题 [打印本页]
作者: yhdata_Re9haQal 时间: 2022-12-1 14:13
标题: 关于填报功能的数据导入速度问题
本帖最后由 yhdata_Re9haQal 于 2022-12-1 15:35 编辑
永洪BI版本：9.4.4
目标数据库：greenplum 6
我们这边有个报表（数据量30W左右）需要每月人手调整后重新导入到greenplum 数据库。。
目前这个操作是通过填报的功能实现的。。excel上传到永洪BI大概需要15分钟。。但是落地到greenplum 数据库就需要接近1个小时。。
想问下 永洪BI 在针对greenplum 数据库是使用传统的jdbc形式进行写入的还是通过copy的形式写入的？
=================================================================
再补充一个问题。。就是填报的 提交功能 明明已经设置为 插入提交 ，但导入后台的数据依然会将重复的数据进行去重
目标表未设置主键
数据例子如下、、
1，物料A，20，20.5，2022-12-01
1，物料B，10，10.5，2022-12-01
1，物料A，20，20.5，2022-12-01
按照我的理解，后台的目标表应该存在3条数据才对。。但是实际上只有 第一以及第二条，第三条消失了。。
作者: yhdata_yzm 时间: 2022-12-1 17:52
1、30w的数据量建议客户使用任务调度-导出到数据库
2、jdbc形式写入
3、不比较行号，如果内容相同则去重
作者: yhdata_Re9haQal 时间: 2022-12-1 18:02
1、30w的数据量建议客户使用任务调度-导出到数据库
---- 不是把数据导出到数据库。。而是需要把excel导入到数据库那边去。。那部分excel因为需要手动调整数据（调整的逻辑过于个性化，没法通过数据库获取）
---- 任务调度未发现 “导出到数据库” 功能
(, 下载次数: 54)