找文章 / 找答案
精选问答 更多内容

[报错信息处理] 需要更多Map节点来支持数据分片

ZhangNX白银三 显示全部楼层 发表于 2022-1-11 17:48:57 |阅读模式 打印 上一主题 下一主题
1
未解决
需要更多Map节点来支持数据分片 微信图片_20220111174745.png
回复

使用道具 举报

精彩评论6

yhdata_lyaa 显示全部楼层 发表于 2022-1-11 18:05:47
当前是配置了集群吗,当前版本是?
map节点的职责:
1.负责存储数据集市中的分布式数据文件。
2.执行 Naming 节点分派的计算任务。
分析数据量大,Map 节点计算压力太大了
回复

使用道具 举报

ZhangNX白银三 显示全部楼层 发表于 2022-1-11 18:20:46
永洪tech-lya 发表于 2022-1-11 18:05
当前是配置了集群吗,当前版本是?
map节点的职责:
1.负责存储数据集市中的分布式数据文件。

当前版本是9.2.2 没有配置集群。做这个的原因是要跨DB取得数据,所以做了两个数据集市,在通过自服务数据集经过连接和汇总等操作得到自己想要的数据,但是在保存生成的报告时警告,为不允许Map-side join 在看文档后发现,需要分片导入,勾选两个表的join条件后,运行任务出现了这个错误
回复

使用道具 举报

环环白银三 显示全部楼层 发表于 2022-1-11 18:52:47
没有做集群吗,是单个CRMN节点,还是根本就不包含M节点呢
回复

使用道具 举报

yhdata_lyaa 显示全部楼层 发表于 2022-1-11 18:54:01
本帖最后由 永洪tech-lya 于 2022-1-11 19:02 编辑
yhdata_cFL6fLL6 发表于 2022-1-11 18:20
当前版本是9.2.2 没有配置集群。做这个的原因是要跨DB取得数据,所以做了两个数据集市,在通过自服务数据 ...
当数据量大的时候,需要部署多个M节点才可以使用分片列,一个M做不了。
您好可以看下这篇文章参考下
https://mp.weixin.qq.com/s?__biz ... 6935c1&platform=win
回复

使用道具 举报

ZhangNX白银三 显示全部楼层 发表于 2022-1-11 19:18:32
永洪tech-lya 发表于 2022-1-11 18:54
当数据量大的时候,需要部署多个M节点才可以使用分片列,一个M做不了。
您好可以看下这篇文章参考下
https: ...

自服务数据集操作出现这个提示,是否需要处理?处理的话是不是将两个数据集市入集市时勾选分片列,将关联的条件
微信图片_20220111191753.jpg
回复

使用道具 举报

环环白银三 显示全部楼层 发表于 2022-1-11 19:56:37
提示就是现在的集市做不了Map-side join,上面那篇文章里写的很详细,如果要做Map-side join,入集市时大表join大表用分片列,大表join小表用事实表——维度表
回复

使用道具 举报

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |《永洪社区协议》
返回顶部