找文章 / 找答案

[大数据] 请问跑数分片列和分割的区别

summing钻石三 显示全部楼层 发表于 2024-6-12 19:46:44 |阅读模式 打印 上一主题 下一主题
5
未解决
请问跑数分片列和分割的区别?请通俗一点。
Snipaste_2024-06-12_19-25-23.png

https://www.yonghongtech.com/rea ... dataextraction.html
这个网址,分割讲得很明白了。
分片列没弄清楚。
回复

使用道具 举报

精彩评论4

yhdata_lyaa 显示全部楼层 发表于 2024-6-13 10:23:22
两个数据集增量导入集市时,分片入集市功能,使两个大表之间也可以执行Map Side Join,提高Join的计算执行效率。
使用分片列进行Map Side Join ,必须符合以下几点要求:

•使用分片列功能需要先将组合数据集中的子数据集入集市:通过新建调度任务-增量导入集市的方式,勾选分片列属性,选择join时的联接列来进行分片。

•参与Join的两个子数据集需要保证联接条件中选择的联接列都经过分片,且在入集市时勾选的分片列都要做为联接条件。
回复

使用道具 举报

yhdata_yzm 显示全部楼层 发表于 2024-6-13 10:28:08
简单点分割就是把整体分去若干份,然后取数
分片就是按照你的选择的列通过计算按照选择通过计算把数据分割,若果你的查询条件包含选择的 分片列,那么查询的时候就会直接定位到那个分片
回复

使用道具 举报

yhdata_M9VvI2IT白银一 显示全部楼层 发表于 5 天前
yhdata_yzm 发表于 2024-6-13 10:28
简单点分割就是把整体分去若干份,然后取数
分片就是按照你的选择的列通过计算按照选择通过计算把数据分割 ...

请问这两个分别是什么场景下使用呢
回复

使用道具 举报

yhdata_yzm 显示全部楼层 发表于 5 天前
yhdata_M9VvI2IT 发表于 2024-6-21 10:37
请问这两个分别是什么场景下使用呢

不分场景,前者的取数速度可能更快。后者报告查询的时候更有优势
回复

使用道具 举报

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |联系社区管理员|《永洪社区协议》
返回顶部