永洪社区

标题: zookeeper集群部署问题 [打印本页]

作者: 尸王之王_售前 时间: 2022-6-23 12:23
标题: zookeeper集群部署问题
最近在学习高级课程，在Naming双活的部署课程最后，老师说：zookeeper尽量部署在非N节点上。比如有两个N、两个CRM组成的集群，只需要在两个CRM和一个N上部署zookeeper。这句话我非常疑惑，只在一个N上部署zookeeper是如何实现两个N节点双活的呢？那个没有部署zookeeper的N节点能行么？我自己测试的结果是没有部署zookeeper的N节点做主N，根本就进不了集群，做备N，主N宕了就它也无法进入集群。这是怎么回事？

作者: Fiona 时间: 2022-6-23 12:23
一、名词解释
1. ZooKeeper Server
  启动Naming双活，需要安装部署ZooKeeper Server。
  ZooKeeper的部署分为单机模式和集群模式，集群模式是指在多个节点上启动ZooKeeper Server。一般考虑在三台机器上部署ZooKeeper Server。
2. ZooKeeper Client
  在这里，Client指的是MPP集市中的节点。
  ZooKeeper Client连接到ZooKeeper Server，通过心跳保持连接。
二、Naming双活工作原理
(1)ZooKeeper Client连接到ZooKeeper Server
MPP集市启动时，首先Naming Node连接到ZooKeeper Server，并初始化领导者选举，然后Backup Node和other nodes（Map/Reduce/Client）连接到ZooKeeper Server。如果有多个Backup Node，则有First Backup Node，First Backup Node会和Naming Node同步meta文件。其他Backup Nodes处于待命状态。
(2)Naming Node宕机时
First Backup Node会成为新的Naming Node（该过程需要半分钟至几分钟完成），其他节点将被通知更换新的Naming Node，对配置文件进行自动修改。
如果要将之前的Naming Node再重新加入到集市，需要在bi.properties配置中增加dc.backup=true，作为Backup Node加入集市；并修改global_bi.properties中的dc.node.naming为此时Naming Node的ip+offset。
(3)Backup Node宕机时
如果是First Backup Node宕机，则剩余的Backup Nodes选举出新的First Backup Node，继续和Naming Node同步。

作者: 尸王之王_售前 时间: 2022-6-23 14:23

Fiona 发表于 2022-6-23 13:16
一、名词解释
1. ZooKeeper Server
启动Naming双活，需要安装部署ZooKeeper Server。

那就是说
server.1=192.168.214.2\:2888\:3888
server.2=192.168.214.2\:2889\:3889
server.3=192.168.214.3\:2888\:3888
这三个Zookeeper server放在哪里都可以，甚至尽量不放在N节点上。
那么N节点的Zookeeper Client怎么启动呢？需要手动它的zkCli.sh吗？ Client N节点的zoo.cfg、myid、global_bi.properties需要有什么不同配置吗？
在zk.conn.hosts=192.168.214.2\:2181,192.168.214.2\:2182,192.168.214.3\:2182//,192.168.214.3\:2181
后面增加Client的IP和端口号？

作者: Fiona 时间: 2022-6-23 16:28
ZooKeeper Client：在这里，Client指的是MPP集市中的节点。你启动集市节点就好了。
启动ZooKeeper Server：
在安装的ZooKeeper Server的安装目录下，进入zookeeper\bin目录
Linux：运行zkServer.sh
Windows：运行zkServer.cmd
如果是ZooKeeper集群模式，在启动之后需要等待一小段时间(半分钟以内)，让ZooKeeper集群内部完成领导者选举。

zk.conn.hosts 后面添加的是ZooKeeper Server的IP和端口号

作者: 尸王之王_售前 时间: 2022-6-23 18:25

Fiona 发表于 2022-6-23 16:28
ZooKeeper Client：在这里，Client指的是MPP集市中的节点。你启动集市节点就好了。
启动ZooKeeper Server： ...

好的，谢谢您的解答，我再试试。

作者: 尸王之王_售前 时间: 2022-6-24 11:32

Fiona 发表于 2022-6-23 16:28
ZooKeeper Client：在这里，Client指的是MPP集市中的节点。你启动集市节点就好了。
启动ZooKeeper Server： ...

全部搞清楚了，实际上当我配置dc.use.backup=true时，这个节点启动就会自动启Zookeeper了，就是一个Cilent了。Server布置在集群哪里都无所谓，只是为了提高可用性，尽可能不要和N在一起。我配置了双C数据库加N双活都能成功切换了。只是在切换一轮以后，我发现N节点上的bi.propertie和global_bi.properties其实不用手动修改了，会自动将自己改成备N并将主N地址指向新的主N。是不是Zookeeper服务正常且没掉线的原因？

欢迎光临永洪社区 (http://club.yonghongtech.com/)