永洪社区
标题: get动态增量新功能，让大数据量入集市更便捷 [打印本页]
作者: 寻找新技能 时间: 2021-3-31 09:40
标题: get动态增量新功能，让大数据量入集市更便捷
“动态增量”是“增量导入数据”在9.1版本中新增的入集市的方式。
随着数据量的增大，咱们入集市的方式渐渐的从“同步数据”变成“增量导入数据”，“增量导入数据”的优点大致有两点：
1. 入集市的时候可以打上meta，查询的时候按照meta进行查询，加快查询速度；
2. 采取每次追加部分数据的方式，跟“同步数据”每次全量数据入集市的方式相比，每天入集市任务的时间更短；数据库处理的数据量更小，减少数据库压力。
同时，“增量导入数据”也并不能完全满足咱们数据更新的需求。
一. 为什么要用“动态增量”？ 举个例子，某部门分析的是订单数据，有历史5年的订单数据（2016年1月到2021年3月），历史数据不会变化，只有最近3个月的数据会发生变化，每天想要查询的历史所有订单数据（2016年1月到昨天的数据都可能会查询）。
如果使用“增量导入数据”的“普通增量”，每天追加前一天的数据到集市中没有问题，但是无法满足“最近3个月的数据会变化”的场景，比如：咱们在2021年3月10号，将2021年3月9号的数据追加到集市中，但是到了11号的时候，9号的数据发生了变化。”普通增量”是没有办法对集市中已经变化的9号的数据进行update，或者说删除9号的数据，重新导入。
这种时候“动态增量”就派上用场啦！
二. “动态增量”如何上市？ A. 历史数据按月全量入（2021-03-01日进行）
(1) 需要一个sql数据集，查询 表“某部门订单数据”的全部数据，且需要有日期字段。sql语句中不用加其他where条件用于限制取哪段时间的数据。