找文章 / 找答案
精选问答 更多内容

[大数据] zookeeper集群部署问题

尸王之王_售前铂金二 显示全部楼层 发表于 2022-6-23 12:23:36 |阅读模式 打印 上一主题 下一主题
1
已解决

【大数据】 zookeeper集群部署问题

2736 5
    最近在学习高级课程,在Naming双活的部署课程最后,老师说:zookeeper尽量部署在非N节点上。比如有两个N、两个CRM组成的集群,只需要在两个CRM和一个N上部署zookeeper。这句话我非常疑惑,只在一个N上部署zookeeper是如何实现两个N节点双活的呢?那个没有部署zookeeper的N节点能行么?我自己测试的结果是没有部署zookeeper的N节点做主N,根本就进不了集群,做备N,主N宕了就它也无法进入集群。这是怎么回事?

最佳答案

永洪vip
Fiona 关注Ta

2022-06-23 12:23:37

一、名词解释 1. ZooKeeper Server 启动Naming双活,需要安装部署ZooKeeper Server。 ZooKeeper的部署分为单机模式和集群模式,集群模式是指在多个节点上启动ZooKeeper Server。一般考虑在三台机器上部署ZooKeeper Server。 2. ZooKeeper Client 在这里,Client指的是MPP集市中的节点。 ZooKeeper Client连接到ZooKeeper Server,通过心跳保持连接。 二、Naming双活工作原理 (1)ZooKeeper Client连接到ZooKeeper Server ...
查看完整内容
回复

使用道具 举报

精彩评论5

Fiona 显示全部楼层 发表于 2022-6-23 12:23:37
一、名词解释
1. ZooKeeper Server
  启动Naming双活,需要安装部署ZooKeeper Server。
  ZooKeeper的部署分为单机模式和集群模式,集群模式是指在多个节点上启动ZooKeeper Server。一般考虑在三台机器上部署ZooKeeper Server。
2. ZooKeeper Client
  在这里,Client指的是MPP集市中的节点。
  ZooKeeper Client连接到ZooKeeper Server,通过心跳保持连接。
二、Naming双活工作原理
(1)ZooKeeper Client连接到ZooKeeper Server
    MPP集市启动时,首先Naming Node连接到ZooKeeper Server,并初始化领导者选举, 然后Backup Node和other nodes(Map/Reduce/Client)连接到ZooKeeper Server。如果有多个Backup Node,则有First Backup Node,First Backup Node会和Naming Node同步meta文件。其他Backup Nodes处于待命状态。
(2)Naming Node宕机时
    First Backup Node会成为新的Naming Node(该过程需要半分钟至几分钟完成),其他节点将被通知更换新的Naming Node,对配置文件进行自动修改。
如果要将之前的Naming Node再重新加入到集市,需要在bi.properties配置中增加dc.backup=true,作为Backup Node加入集市;并修改global_bi.properties中的dc.node.naming为此时Naming Node的ip+offset。
(3)Backup Node宕机时
    如果是First Backup Node宕机,则剩余的Backup Nodes选举出新的First Backup Node,继续和Naming Node同步。
回复

使用道具 举报

尸王之王_售前铂金二 显示全部楼层 发表于 2022-6-23 14:23:56
Fiona 发表于 2022-6-23 13:16
一、名词解释
1. ZooKeeper Server
  启动Naming双活,需要安装部署ZooKeeper Server。

那就是说
server.1=192.168.214.2\:2888\:3888
server.2=192.168.214.2\:2889\:3889
server.3=192.168.214.3\:2888\:3888
这三个Zookeeper server放在哪里都可以,甚至尽量不放在N节点上。
那么N节点的Zookeeper Client怎么启动呢?需要手动它的zkCli.sh吗? Client N节点的zoo.cfg、myid、global_bi.properties需要有什么不同配置吗?
在zk.conn.hosts=192.168.214.2\:2181,192.168.214.2\:2182,192.168.214.3\:2182//,192.168.214.3\:2181
后面增加Client的IP和端口号?
回复

使用道具 举报

Fiona 显示全部楼层 发表于 2022-6-23 16:28:58
ZooKeeper Client:在这里,Client指的是MPP集市中的节点。你启动集市节点就好了。
启动ZooKeeper Server:
在安装的ZooKeeper Server的安装目录下,进入zookeeper\bin目录
Linux:运行zkServer.sh
Windows:运行zkServer.cmd
如果是ZooKeeper集群模式,在启动之后需要等待一小段时间(半分钟以内),让ZooKeeper集群内部完成领导者选举。

zk.conn.hosts 后面添加的是ZooKeeper Server的IP和端口号
回复

使用道具 举报

尸王之王_售前铂金二 显示全部楼层 发表于 2022-6-23 18:25:00
Fiona 发表于 2022-6-23 16:28
ZooKeeper Client:在这里,Client指的是MPP集市中的节点。你启动集市节点就好了。
启动ZooKeeper Server: ...

好的,谢谢您的解答,我再试试。
回复

使用道具 举报

尸王之王_售前铂金二 显示全部楼层 发表于 2022-6-24 11:32:50
Fiona 发表于 2022-6-23 16:28
ZooKeeper Client:在这里,Client指的是MPP集市中的节点。你启动集市节点就好了。
启动ZooKeeper Server: ...

全部搞清楚了,实际上当我配置dc.use.backup=true时,这个节点启动就会自动启Zookeeper了,就是一个Cilent了。Server布置在集群哪里都无所谓,只是为了提高可用性,尽可能不要和N在一起。我配置了双C数据库加N双活都能成功切换了。只是在切换一轮以后,我发现N节点上的bi.propertie和global_bi.properties其实不用手动修改了,会自动将自己改成备N并将主N地址指向新的主N。是不是Zookeeper服务正常且没掉线的原因?
回复

使用道具 举报

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |《永洪社区协议》
返回顶部