（一）Zookeeper的介绍

1、Zookeeper概述

（1）介绍

Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。

它是一种集中式服务，用于维护配置信息，命名，提供分布式同步和提供组服务。所有这些类型的服务都以分布式应用程序的某种形式使用。每次实施它们都需要做很多工作来修复不可避免的错误和竞争条件。由于难以实现这些类型的服务，应用程序最初通常会吝啬它们，这使得它们在变化的情况下变得脆弱并且难以管理。即使正确完成，这些服务的不同实现也会在部署应用程序时导致管理复杂性。

（2）工作机制

基于观察者，模式设计的分布式服务管理框架。
在这里插入图片描述

2、Zookeeper的特点

官方架构图：
在这里插入图片描述

特点：

  1. Zookeeper：一个领导级别的存在，监测和管理多个服务。
  2. 集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。
  3. 数据一致性：从同一客户端发起的事务请求，最终将会严格地按照顺序被应用到 ZooKeeper 中去。
  4. 更新请求顺序进行：来自同一个Client的更新请求按照其发送顺序依次执行。
  5. 原子性：所有事务请求的处理结果在整个集群中所有机器上的应用情况是一致的，也就是说，要么整个集群中 所有的机器都成功应用了某一个事务，要么都没有应用。
  6. 实时性：在一定时间范围，Client能读到最新的数据。

3、Zookeeper的数据结构

Zookeeper数据模型的结构与Unix文件系统很类似，都是树结构。树上有若干个节点，每个节点能够存储1MB的数据，同时每个节点都是通过其路径可以唯一标识的。
在这里插入图片描述

4、Zookeeper企业应用场景

Zookeeper服务包括：：统一命名服务、统一配置管理、统一集群管理、软负载均衡等。

（1）统一命名服务

命名服务是分布式系统中较为常见的一类场景，分布式系统中，被命名的实体通常可以是集群中的机器、提供的服务地址或远程对象等。通过命名服务，客户端可以根据指定名字来获取资源的实体、服务地址和提供者信息。例如一般用户都是通过域名来访问应用而不是IP。阿里开源分布式服务框架Dubbo中使用zookeeper来作为其命名服务，维护全局的服务列表。

（2）统一配置管理

（1）配置文件同步，集群中所有配置文件的信息都是一致的，对配置文件修改后，快速同步到各个节点上。

（2）Zookeeper实现配置管理。将配置信息写入到Zookeeper上的节点，然后各个客户端服务器监听这个节点，一但节点中的数据发生变化，Zookeeper将通知到各个客户端服务器。

（3）统一集群管理

zookeeper的两大特性：节点特性和watcher机制

​ 1、分布式环境中实时掌握每个节点的状态，并根据节点实时状态做出一定的调整。

​ 2、在实时监测到节点变化后，将节点的信息写入到Zookeeper上的节点，通过监听该节点来获取它的实时状态变化。

（4）负载均衡

zookeeperk实现负载均衡就是通过watcher机制和临时节点判断哪些节点宕机来获取可用的节点来实现的。zookeeperk会维护一个树形的数据结构，类似于window的资源管理器目录，其中 EPHEMERAL(临时）节点会随着创建它的客户端端口而被删除，利用这个特性很容易实现软负载均衡。

（二）Zookeeper的安装与部署

1、Zookeeper下载安装

（1）Zookeeper下载

下载地址：https://zookeeper.apache.org/releases.html#download

（2）安装前准备
  • 安装Jdk
  • 拷贝Zookeeper安装包到Linux系统下
  • 解压到指定目录 tar -zxvf apache-zookeeper-3.6.0-bin.tar.gz -C /usr/
（3）配置修改

  • 将/usr/apache-zookeeper-3.6.0-bin/conf这个路径下的zoo_sample.cfg修改为zoo.cfg；

    mv zoo_sample.cfg zoo.cfg

  • 在/usr/apache-zookeeper-3.6.0-bin这个目录上创建zkData文件夹

    mkdir zkData

  • 打开zoo.cfg文件，修改dataDir路径：

    vi zoo.cfg

    修改如下内容：

    dataDir=/usr/apache-zookeeper-3.6.0-bin/zkData

（4）操作Zookeeper
1、启动Zookeeper

​ 在/usr/apache-zookeeper-3.6.0-bin目录下执行： ./bin/zkServer.sh start

​ **./bin/zkServer.sh status **：查看启动状态,未正常启动,到logs/下查看日志文件,

​ 如果是因为端口被占用导致未正常启动:

​ 解决方案:

​ 修改conf/zoo.cfg

​ admin.serverPort=未被使用的端口,比如:9999

2、jps查看进程是否启动

​ 4020 Jps

​ 4001 QuorumPeerMain

3、查看状态

​ 在/usr/apache-zookeeper-3.6.0-bin目录下执行： ./bin/zkServer.sh statu

​ 显示状态：

​ ZooKeeper JMX enabled by default

​ Using config: /opt/apache-zookeeper-3.6.0-bin/bin/…/conf/zoo.cfg

​ Mode: standalone

4、启动客户端：

​ 在/usr/apache-zookeeper-3.6.0-bin目录下执行：./bin/zkCli.sh

5、quit退出客户端
6、停止Zookeeper

​ 在/usr/apache-zookeeper-3.6.0-bin目录下执行：bin/zkServer.sh stop

2、配置参数解读

Zookeeper中的配置文件zoo.cfg中参数含义解读如下：

（1）tickTime =2000：通信心跳数。

Zookeeper服务器与客户端心跳时间，单位毫秒

Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。

它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)

（2）initLimit =10：LF初始通信时限

集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限。

（3）syncLimit =5：LF同步通信时限

集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。

（4）dataDir：数据文件目录+数据持久化路径

主要用于保存Zookeeper中的数据。

（5）clientPort =2181：客户端连接端口

监听客户端连接的端口。

（三）Zookeeper的内部原理

1、选举机制

（1）半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。

（2）Zookeeper虽然在配置文件中并没有指定Master和Slave。但是，Zookeeper工作时，是有一个节点为Leader，其他则为Follower，Leader是通过内部的选举机制临时产生的。

（3）以一个简单的例子来说明整个选举的过程。

假设有五台服务器组成的Zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，来看看会发生什么，如图所示。

在这里插入图片描述

图中Zookeeper的选举机制
（1）服务器1启动，此时只有它一台服务器启动了，它发出去的报文没有任何响应，所以它的选举状态一直是
LOOKING状态。
（2）服务器2启动，它与最开始启动的服务器1进行通信，互相交换自己的选举结果，由于两者都没有历史数
据，所以id值较大的服务器2胜出，但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数
以上是3)，所以服务器1、2还是继续保持LOOKING状态。
（3）服务器3启动，根据前面的理论分析，服务器3成为服务器1、2、3中的老大，而与上面不同的是，此时有
三台服务器选举了它，所以它成为了这次选举的Leader。
（4）服务器4启动，根据前面的分析，理论上服务器4应该是服务器1、2、3、4中最大的，但是由于前面已经
有半数以上的服务器选举了服务器3，所以它只能接收当小弟的命了。
（5）服务器5启动，同4一样当小弟。

2、节点类型

1、持久节点（Persistent）：服务端和客户端断开连接后，创建的节点不删除；

持久化目录节点：服务端和客户端断开连接后，该节点仍然存在；

持久化顺序编号目录节点：服务端和客户端断开连接后，该节点仍然存在；只是zook给该节点名称进行顺序编号。

2、短暂节点(Ephemeral)：服务端和客户端断开连接后，创建的节点自己删除；

临时目录节点：客户端与Zookeeper断开连接后，该节点被删除

临时顺序编号目录节点：客户端与Zookeeper断开连接后，该节点被删除，只是zook给该节点名称进行顺序编号。

在这里插入图片描述

3、Zookeeper写和读数据流程

（1）写数据流程

以3台服务器的Zookeeper集群为例，一个Leader，两个Follower（server1和server2）。

在这里插入图片描述

（1）Client向Zookeeper的server1发送一个写请求，客户端写数据到服务器1上；
（2）如果server1不是Leader，那么server1会把接收到的写请求转发给Leader；然后		Leader会将写请求转发 给每个server；
	server1和server2负责写数据，并且两个Follower的写入数据是一致的，保存相同的数据副本；
	server1和server2写数据成功后，通知Leader;
（3）当Leader收到集群半数以上的节点写成功的消息后，说明该写操作执行成功；
	例如：这里是3台服务器，只要2台Follower服务器写成功就ok
	因为client访问的是server1，所以Leader会告知server1集群中数据写成功；
（4）被访问的server1进一步通知client数据写成功，这时，客户端就知道整个写操作成功了。
（2）读数据

相比写数据流程，读数据流程就简单得多；因为每台server中数据一致性都一样，所以随便访问哪台server 读数据就行；没有写数据流程中请求转发、数据同步、成功通知这些步骤。

（四）Zookeeper分布式安装部署

1、集群规划

在zk01、zk02和zk03三个节点上部署Zookeeper。

2、集群中的角色和作用

（1）Leader角色

Leader服务器使整个Zookeeper集群的核心，主要的工作任务有两项：

  • 事务请求的唯一调度和处理者，保证集群处理的顺序性
  • 集群内部各服务器的调度者
（2）Follower角色

Follower角色的主要职责是：

  • 处理客户端非事务请求、转发事务请求给leader服务器
  • 参与事务请求Proposal的投票（需要半数以上服务器通过才能通知leader commit数据；Leader发起的提案，要求Follower投票。）
  • 参与Leader选举的投票
（3）Observer角色

Observer 是 zookeeper3.3 开始引入的一个全新的服务器 角色，从字面来理解，该角色充当了观察者的角色。 观察zookeeper集群中的最新状态变化并将这些状态变化 同步到 observer 服务器上。Observer的工作原理与follower角色基本一致，而它和follower角色唯一的不同在于observer 不参与任何形式的投票，包括事务请求 Proposal的投票和leader选举的投票。简单来说，observer服务器只提供非事务请求服务，通常在于不影响集群事务 处理能力的前下提升集群非事务处理的能力.

3、解压安装

（1）解压Zookeeper安装包到/usr/目录下

​ tar -zxvf apache-zookeeper-3.6.0-bin.tar.gz -C /usr/

（2）拷贝/usr/apache-zookeeper-3.6.0-bin目录内容到另外两台服务器。

4、配置服务器编号

（1）在/usr/apache-zookeeper-3.6.0-bin这个目录下创建zkData

​ mkdir -p zkData

（2）在/usr/apache-zookeeper-3.6.0-bin/zkData目录下创建一个myid的文件

​ touch myid

​ 添加myid文件，注意一定要在linux里面创建，在notepad++里面很可能乱码

（3）编辑myid文件

​ vi myid

​ 在文件中添加与server对应的编号1：

（4）在其他两台服务器上分别创建zkData目录，并在目录中创建myid文件，myid文件中内容为2,3。

5、配置zoo.cfg文件

（1）在三台服务器上重命名/usr/apache-zookeeper-3.6.0-bin/conf这个目录下的zoo_sample.cfg为zoo.cfg

​ mv zoo_sample.cfg zoo.cfg

（2）打开zoo.cfg文件

​ vi zoo.cfg

​ 修改数据存储路径配置

​ dataDir=/usr/apache-zookeeper-3.6.0-bin/zkData

​ 增加如下配置

​ #######################cluster##########################

​ server.1=192.168.164.136:2888:3888

​ server.2=192.168.164.137:2888:3888

​ server.3=192.168.164.138:2888:3888

（3）其他两台服务器同样完成以上两步关于zoo.cfg配置文件的操作

6、集群操作

（1）分别启动Zookeeper

​ bin/zkServer.sh start

（2）查看状态

​ bin/zkServer.sh status

（五）Zookeeper的常用命令

1．启动客户端
bin /zkCli.sh

2．显示所有操作命令
help

3．查看当前znode中所包含的内容
ls /

4．查看当前节点详细数据
ls –s /

5．分别创建2个普通节点
create /shuihu "songjiang"
create /shuihu/liangshan "liubei"

6．获得节点的值
get /shuihu

7．创建短暂节点
create -e /shuihu/liangshan "likui"

（1）在当前客户端是能查看到的
ls /shuihu
（2）退出当前客户端然后再重启客户端
quit:退出
bin/zkCli.sh重新进入
（3）再次查看根目录下短暂节点已经删除
ls /shuihu

8．创建带序号的节点
（1）先创建一个普通的根节点/shuihu/liangshan
create /shuihu/liangshan/daxia "yanqing"
Created /shuihu/liangshan/daxia
（2）创建带序号的节点
create -s /shuihu/laingshan/yishi "lujunyi"
如果原来没有序号节点，序号从0开始依次递增。如果原节点下已有2个节点，则再排序时从2开始，以此类推。

9．修改节点数据值
set /shuihu/liangshan "lishishi"

10．节点的值变化监听
（1）在主机centos_test上注册监听/shuihu节点数据变化
get /shuhui -w
（2）在centos_test2主机上修改/shuihu节点的数据
set /shuihu "huangdi"
（3）观察centos_test主机收到数据变化的监听
WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/shuihu

11．节点的子节点变化监听（路径变化）
（1）在centos_test主机上注册监听/liangshan节点的子节点变化
ls /liangshan -w
（2）在centos_test2主机/liangshan节点上创建子节点
create /liangshan/chaoting "huarong"
（3）观察centos_test主机收到子节点变化的监听
WATCHER::
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/shuihu

12．删除节点
delete /shuihu/chaoting

13．递归删除节点
deleteall /shuihu/liangshan

14．查看节点状态
stat /shuihu

（六）Zookeeper的API应用

1、创建一个maven工程

2、添加pom文件

<dependencies>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
        <scope>test</scope>
    </dependency>

    <dependency>
        <groupId>org.apache.zookeeper</groupId>
        <artifactId>zookeeper</artifactId>
        <version>3.6.0</version>
    </dependency>
</dependencies>

3、log4j.properties文件

需要在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

4、创建Zookeeper客户端

（1）定义实例化Zookeeper
private static String connectString =
"192.168.164.136:2181,192.168.164.137:2181,192.168.164.138:2181";
private static int sessionTimeout = 60000;
private ZooKeeper zkClient = null;

@Before
public void init() throws Exception {
    zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher(){

        public void process(WatchedEvent event) {

            // 收到事件通知后的回调函数（用户的业务逻辑）
            System.out.println(event.getType() + "--" + event.getPath());

            // 再次启动监听
            try {
                zkClient.getChildren("/", true);
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    });
}
（2）创建子节点
// 创建子节点
@Test
public void create(){

    // 参数1：要创建的节点的路径； 参数2：节点数据 ； 参数3：节点权限 ；参数4：节点的类型
    try {
        String nodeCreated = zkClient.create("/offcn", "youjiuye".getBytes(),ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
        
    } catch (KeeperException e) {
        e.printStackTrace();
    } catch (InterruptedException e) {
        e.printStackTrace();
    }
}
（3）获取子节点并监听节点变化
// 获取子节点
@Test
public void getChildren() throws Exception {

    List<String> children = zkClient.getChildren("/", true);
    for (String child : children) {
        System.out.println(child);
    }

    // 延时阻塞
    Thread.sleep(Long.MAX_VALUE);
}
（4）判断znode是否存在
// 判断znode是否存在
@Test
public void exist() throws Exception {
	Stat stat = zkClient.exists("/shuihu", false);
	System.out.println(stat == null ? "not exist" : "exist");
}
# java-zookeeper # zookeeper # 分布式
Logo
AtomGit 开源协作平台测评赛

瓜分20万奖金 获得内推名额 丰厚实物奖励 易参与易上手

更多推荐

cover

C#联合Halcon深度学习源代码分享1 预处理图像2图像识别测试3误差分析（含导入步骤文档，含中文注释） （附源码链接）

avatar 开放原子开发者工作坊

Git基础命令学习

git基础命令学习笔记git init 命令目录变成 Git 可以管理的仓库git add 把文件添加到仓库(可多次add不同的文件)git commit 把文件提交到仓库git satus 命令查看状态，可以让我们时刻掌握仓库当前的状态git diff可以看到指定文件的修改内容

avatar 开放原子开发者工作坊
cover

SpringBoot01:Hello,World

avatar 开放原子开发者工作坊