找文章 / 找答案
精选问答 更多内容

[数据处理] 请教下同步数据集和增量导入数据的区别,看了文档不太懂

yhdata_a8zPcz9H青铜一 显示全部楼层 发表于 6 小时前 |阅读模式 打印 上一主题 下一主题

最佳答案

宇文波 青铜二 关注Ta

2024-11-26 16:15:04

全量,复制抽取一份完整数据 增量,按某条件一次抽取符合条件的部分数据 如果同步数据集(全量同步)以及后续处理都是分钟级别内的时间完成的,数据量少没必要增量,还会增加难度和工作量
查看完整内容
回复

使用道具 举报

精彩评论5

宇文波青铜二 显示全部楼层 发表于 6 小时前
全量,复制抽取一份完整数据
增量,按某条件一次抽取符合条件的部分数据
如果同步数据集(全量同步)以及后续处理都是分钟级别内的时间完成的,数据量少没必要增量,还会增加难度和工作量
回复

使用道具 举报

yhdata_lyaa 显示全部楼层 发表于 6 小时前
一个是直接全量抽取到数据集市。
一个是抽取后,再动态增量更新用于动态更新最新的数据。
https://www.yonghongtech.com/rea ... =%E5%A2%9E%E9%87%8F
回复

使用道具 举报

yhdata_a8zPcz9H青铜一 显示全部楼层 发表于 5 小时前
yhdata_lyaa 发表于 2024-11-26 16:24
一个是直接全量抽取到数据集市。
一个是抽取后,再动态增量更新用于动态更新最新的数据。
https://www.yong ...

谢谢
回复

使用道具 举报

yhdata_a8zPcz9H青铜一 显示全部楼层 发表于 5 小时前
宇文波 发表于 2024-11-26 16:15
全量,复制抽取一份完整数据
增量,按某条件一次抽取符合条件的部分数据
如果同步数据集(全量同步)以及后 ...

谢谢
回复

使用道具 举报

yhdata_a8zPcz9H青铜一 来自手机 显示全部楼层 发表于 4 小时前
yhdata_lyaa 发表于 2024-11-26 16:24
一个是直接全量抽取到数据集市。
一个是抽取后,再动态增量更新用于动态更新最新的数据。
https://www.yong ...

请问我先建个了普通的sql查询,然后点击右下角的 同步数据集数据,接着按提示完成创建,可同步的数据集存在哪里了?该怎么查呢? 迷茫…
回复

使用道具 举报

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |《永洪社区协议》
返回顶部