需要更多Map节点来支持数据分片 - 永洪社区

上传

点击文件名下载附件

作者: yhdata_lyaa 时间: 2022-1-11 18:05
当前是配置了集群吗，当前版本是？
map节点的职责：
1.负责存储数据集市中的分布式数据文件。
2.执行 Naming 节点分派的计算任务。
分析数据量大，Map 节点计算压力太大了

作者: ZhangNX 时间: 2022-1-11 18:20

永洪tech-lya 发表于 2022-1-11 18:05
当前是配置了集群吗，当前版本是？
map节点的职责：
1.负责存储数据集市中的分布式数据文件。

当前版本是9.2.2 没有配置集群。做这个的原因是要跨DB取得数据，所以做了两个数据集市，在通过自服务数据集经过连接和汇总等操作得到自己想要的数据，但是在保存生成的报告时警告，为不允许Map-side join 在看文档后发现，需要分片导入，勾选两个表的join条件后，运行任务出现了这个错误

作者: 环环 时间: 2022-1-11 18:52
没有做集群吗，是单个CRMN节点，还是根本就不包含M节点呢

作者: yhdata_lyaa 时间: 2022-1-11 18:54
本帖最后由永洪tech-lya 于 2022-1-11 19:02 编辑

yhdata_cFL6fLL6 发表于 2022-1-11 18:20
当前版本是9.2.2 没有配置集群。做这个的原因是要跨DB取得数据，所以做了两个数据集市，在通过自服务数据 ...

当数据量大的时候，需要部署多个M节点才可以使用分片列，一个M做不了。
您好可以看下这篇文章参考下
https://mp.weixin.qq.com/s?__biz ... 6935c1&platform=win

作者: ZhangNX 时间: 2022-1-11 19:18

永洪tech-lya 发表于 2022-1-11 18:54
当数据量大的时候，需要部署多个M节点才可以使用分片列，一个M做不了。
您好可以看下这篇文章参考下
https: ...

自服务数据集操作出现这个提示，是否需要处理？处理的话是不是将两个数据集市入集市时勾选分片列，将关联的条件
(, 下载次数: 43)