永洪社区
标题:
<永洪tech>新建作业之增量导入数据
[打印本页]
作者:
永洪tech-Bella
时间:
2017-1-5 16:01
标题:
<永洪tech>新建作业之增量导入数据
问题:
如何增量导入数据??
解决方法:
1.
在产品首页点击【定时任务】,进入定时任务页面,点击【新建任务】,进入编辑作业页面。
(, 下载次数: 661)
上传
点击文件名下载附件
2.填写
基本信息
(名称,父文件夹,描述)。参考下图:
(, 下载次数: 639)
上传
点击文件名下载附件
【名称】:设定作业的名称,
必填项。
【父文件夹】:设置当前作业的位置。
【描述】:为此作业添加描述信息。
3.填写
触发器
部分的内容(类型,触发器)。参考下图:
(, 下载次数: 606)
上传
点击文件名下载附件
4.填写
任务
部分的内容,
作业中的任务可以是单任务,也可以是多任务,单任务可以新建任务,也可以选择已创建的任务。
[size=13.3333px]
任务类型选择
增量数据导入,
如下图:
[size=13.3333px]
(, 下载次数: 531)
上传
点击文件名下载附件
[size=13.3333px]【类型】类型选择增量导入数据。
[size=13.3333px]【查询】用户可在已有的查询列表中选择查询,
必填项
。
【文件夹】可输入进行增量导入数据生成的云文件夹名称,也可以选择已生成的云文件夹,
必填项
。
【文件前缀】设定执行增量导入数据生成的文件名称。
【追加】当用户勾选追加时,生成的云文件名将会进行排序。如用户创建一增量导入数据任务,即每天
八点对某一查询中的数据进行收集生成云文件,第一天生成的文件名称为 test0,第二天生成的文件名称
为 test1,以此类推。
当用户不勾选追加时,倘若当前文件夹中已经存在此文件名的文件,则不会创建新的云文件来替代。如
用户创建一增量导入数据任务,即每天八点对某一查询中的数据进行收集生成云文件,第一天生成的文
件名称为 test0,第二天将不再生成新的云文件,因为 test0 已经存在了。
【分割】当用户勾选分割时,会出现分割列和分割份数。分割列默认是选中第一个选项,用户可点击下
拉箭头,在下拉框中选择以哪个列进行分割,分割份数为整数,如:3。
当用户不勾选分割时,云文件会按系统默认的设置进行生成。 [size=13.3333px]
[size=13.3333px]
4.填写选项部分,一般优先级选择
较低
。如下图。
[size=13.3333px]
(, 下载次数: 677)
上传
点击文件名下载附件
5.需要填写的部分大概就是这些,点击保存,在定时任务作业的首页就可以看到新建的作业了。可以点击新建的作业,执行试试任务是否执行成功。执行成功后结果如下图。
(, 下载次数: 658)
上传
点击文件名下载附件
6.然后就可以在您安装产品的目录中找到增量导入的数据记录。(比如按照我之前的做法可以找到在Yonghong/cloud/test目录下的test*.zb文件)
(, 下载次数: 552)
上传
点击文件名下载附件
作者:
vicky155lj
时间:
2017-5-3 17:51
你好,我想问下,怎么进行定时的增量导入,比如我每周根据日期增量导入这一周的数据
作者:
jason_wang
时间:
2022-11-18 10:49
欢迎光临 永洪社区 (http://club.yonghongtech.com/)
Powered by Discuz! X3.4