找文章 / 找答案
精选问答 更多内容

[大数据] 增量导入?

倘若初见青铜一 显示全部楼层 发表于 2022-12-26 15:30:20 |阅读模式 打印 上一主题 下一主题
1
未解决

【大数据】 增量导入?

2584 1
场景描述:很多项目在使用集市初期,都会进行全量导入,后续会进行一个增量导入。不管是全量导入还是增量导入,我们都提倡使用打标签的形式入集市,这样可以很大的提高数据的查询性能。

前提条件:必须在customer文件下导入一个tools.jar  如:\Yonghong\lib\customer\tools.jar,tools.jar这是收费的。

首先,我们要建立一个全量的数据库查询(查询所有时间范围内的历史数据),如下所示:
sql语句:select a.*,b.CHANGETIME from [dbo].[opd_account_log] b left join [dbo].[opd_apply] a
on a.APPLYNO = b.APPLYNO
where 1=1 <startDate> and CHANGETIME >= ?{startDate}</startDate> <endDate>and
CHANGETIME < ?{endDate}</endDate>
编辑参数
定时任务:
                

脚本:
param['dt'] = parseDate(formatDate(dateAdd(new Date(), 'day', -1), 'yyyy-MM-dd'), 'yyyy-MM-dd');
setMeta('date',formatDate(param['dt'], 'yyyyMMdd'));    //注释:这个地方的meta标签名必须是date,否则无法和上述的全量数据合并。
file = '保单_'+ formatDate(param['dt'], 'yyyyMMdd');
执行完打标签的自定义全量和增量任务之后,接下来,创建数据集市:
参数设置:
               
创建报

回复

使用道具 举报

精彩评论1

yhdata_lyaa 显示全部楼层 发表于 2022-12-26 15:54:44
回复

使用道具 举报

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |《永洪社区协议》
返回顶部