Zookeeper的概述和安装

Windows下zookeeper安装及配置 zookeeper有单机、伪集群、集群三种部署方式,可根据自己对可靠性的需求选择合适的部署方式。本章主要讲述单机部署方式。系统要求zookeeper可以运行在多种系统平台上面,表1展示了zk支持的系统平台,以及在该平台上是否支持开发环境或者生产环境。表1:zookeeper支持的运行平台系统开发环境生产环境Linux支持支持Solaris支持支持FreeBSD支持支持Windows支持不支持Mac... 阅读详情

Zookeeper概述

Zookkeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目,Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护,域名服务,分布式同步,组服务等。

特点

  • Zookeeper:一个领导者(leader),多个跟随者(follower)组成的集群。
  • Leader : 负责进行投票投票的发起和决议,更新系统状态。
  • Follower:用于接收客户请求并向客户端返回结果,在选举Leader过程中参与投票。
  • 集群奇数台服务器只要有半数以上节点存活,Zookeeper集群就能正常服务。
  • 全局数据一致:每个server保存一份相同的数据副本,client无论连接到那个server,数据都是一致的。
  • 更新请求顺序进行,来自同一个client的更新请求按其发送顺序依次进行。
  • 数据更新原子性,一次更新要么成功要么失败。
  • 实时性,在一定时间范围内,client能读到最新数据。

数据结构

  • Zookeeper数据模型的结构与Unix文件系统很类似,整体上可以看做一棵树,每个节点称作一个ZNode。每一个ZNode默认可以存储1MB的元数据,每个ZNode都可以通过其路径唯一识别。1

应用场景

  • 提供的服务包括:统一命名服务。统一配置管理,统一集群管理,服务器节点动态上下线管理,软负载均衡器等。2

统一配置管理

  • 一,分布式环境下,配置文件同步和管理是一个常见问题。
  • 1,一个集群中,所有节点的配置信息是一致的,比如Hadoop集群。
  • 2,对配置文件修改后,希望能快速同步到各个节点上。
  • 二, 配置管理可交由ZK实现。
  • 1,可配置信息写入ZK上的一个ZNode。
  • 各个节点监听这个ZNode。
  • 一旦ZNode上的数据被修改,ZK将通知各个节点。3

统一集群管理

  • 集群管理结构图如下所示。
  • 一,分布式环境中,实时掌握每个节点的动态是必要的。
  • 1,可根据节点实时做出一些调整。
  • 可交由ZK实现
  • 1,可将节点信息写入ZK上的一个ZNode。
  • 2,监听这个ZNode可获取它的实时状态变化。
  • 典型应用
  • 1,HBase中Master状态监听与选举。
  • 4

服务器节点动态上下线

5

软负载均衡

6

下载地址

官方网站
官网
百度云链接
提取码whzq

安装Zookeeper

-[ ] 上传zookeeper到Linux系统下。

可通过WinSCP传到指定目录。

1
WinSCP中直接拖到指定文件夹,很方便。
百度云链接
提取码ro3j

  • 第一步:解压压缩包。
  • 在Linux中通过tar -zxvf zookeeper - 3.4.10.tar.gz -C
    3
  • 第二步进入conf修改zoo_sample.cfg 为 zoo.cfg
  • 1

配置zoo.cfg

  • 解读zoo.cfg文件中参数的含义
  • 1,tick Time=2000:通信心跳数,Zookeeper服务器心跳时间,单位毫秒。
  • Zookeeper使用的基本时间服务器之间或客户端和服务器之间维持心跳间隔,也就是没个tick TIme时间就会发送一个心跳,时间单位为毫秒。
  • 它用于心跳机制,并且设置最小的session超时时间为两倍心跳时间。(session的超时时间是2*tickTime)
  • initLimit=10:Leader和Follower初始通信时限。
  • 集群中Follower跟随者服务器和Leader领导者服务器之间初始连接时能容忍的最多心跳数(tickTime的数量),用它来限定集群中的Zookeepe服务器连接到Leader的时限。
  • 投票选举Leader的初始化时间。
  • Follower在启动过程中,会从Leader同步所有最新数据,然后确定能够对外服务的起始状态。
  • Leader允许Follower在initLimit时间内完成这个工作。
  • syncLimit=5:Leader和Follower同步通信时限。
  • 集群中Leader和Follower之间最大响应时间单位,假如响应超时syncLimit*tickTime,Leader认为Follower死掉,从服务器列表删除Follower。
  • 在运行过程中,Leader负责ZK集群中所有机器进行通信,列如通过一些心跳检测机制,来检查机器的存活状态。
  • 如果Leader发出心跳包在syncLimit之后,还没有从Follower那收到响应,那么就认为这个Follower不在线了。
  • dataDir:数据文件目录 + 数据持久化路径
  • 保存内存数据库快照信息位置,如果没有其他说明,更新的事务日志也存到数据库
  • clientPort=2181:客户端连接接口。监听客户端的端口

修改配置

进入zoo.cfg下修改dataDir

  • 2
  • 进入/etc/profile配置环境变量
  • 3
  • 记得source
  • 1
  • 启动Zookeeper
  • 1
  • 但是启动失败也会显示这些所以需要看一下Zookeeper的状态1
  • Mode:standlone 是单节点 临时使用
  • 使用zkCli.sh进入客户端
  • 当出现这个画面时你的Zookeeper就初步搭建成功了。
从业10年的AI应用架构师:企业AI平台运营的4个核心经验,值得收藏 去年年底,我在某大型制造企业做AI咨询时,遇到了这样的场景:这不是个例。我接触过的10家企业中,有7家的AI平台都陷入了“技术自嗨”的陷阱——技术团队追求模型精度、功能完备性,却忽略了业务到底需要什么。如果你也遇到过类似问题:比如“模型准确率很高,但业务不买账”“AI项目上线后没人用”“投入产出比极低”,那么这篇文章的4个经验,可能会帮你避开这些坑。很多企业认为,AI平台就是“买一套工具+部署几个模型”。但实际上,企业AI平台的本质是“技术与业务的连接生态”:根据Gartner的报告,80%的企业AI项目失 阅读详情

相关推荐

STM32 HardFault调试:寄存器分析与堆栈回溯实战

HardFault是Cortex-M内核中最关键的不可屏蔽异常,本质是处理器对非法指令执行、内存访问越界、堆栈溢出等底层硬件错误的强制响应。其原理根植于ARMv7-M异常模型,通过自动压栈保存xPSR/PC/LR等核心寄存器实现上下文捕获。技术价值在于为嵌入式系统提供确定性故障归因能力,支撑高可靠工业设备开发。典型应用场景涵盖FreeRTOS任务崩溃定位、DMA中断越界诊断及MPU保护机制验证。本文聚焦STM32平台,深入解析LR寄存器低4位判别堆栈模式、基于MSP/PSP的PC地址提取方法,并结合Keil

weixin_30951515的博客 129

zokkeper安装

1、下载一个zokkeper 从官网下载一个zokkeper的安装包 2、解压到一个本地文件夹 将其解压到本地的文件夹 3、在zokkeper下新建个data文件夹 4、修改conf文件下的zoo_simple.cfg文件 5、修改zoo.cfg文件的datadir 6、每天总结一点点,很多天后我就能变强!...

帅哥威的博客 1418

《Zephyr OS 入门与实战》第15章:LoRaWAN 集成

【代码】《Zephyr OS 入门与实战》第15章:LoRaWAN 集成。

2301_79143213的博客 585

Zookeeper 在Windows下的安装过程及测试

Zookeeper 在Windows下的安装过程及测试 安装jdk 安装Zookeeper. 在官网http://zookeeper.apache.org/下载zookeeper.我下载的是zookeeper-3.4.6版本。 解压zookeeper-3.4.6至D:\machine\zookeeper-3.4.6. 在D:\machine 新建data及log目录。 ZooKeeper安装模式

哈哈镜的专栏 2万+

Zookeeper WINDOWS 安装配置

  一、单机配置  把zookeeper-3.4.6/conf/zoo_sample.cfg修改为zoo.cfg  zoo.cfg内容:  tickTime=2000  //Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔  initLimit=5 //zookeeper集群中的包含多台server, 其中一台为leader, 集群中其余的server为followe...

zzy7075的专栏 827

zookeeper下载与安装

     ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是HadoopHbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。   1.首先去官网下载 http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4....

Mr_Dai的博客 2万+

zokkeper

我的项目报错了,是关于zokkeper的 于是我下了个zokkeper: 1.下载后解压到一个文件夹 2.在里面新建datalog文件夹 3.找到conf 4.在zoo.cfg里面添加data文件夹log的路径 这就配置完成了 5.启动它:双击打开就可以了 注意:在项目启动之前要先启动它,不然会报错,当然,报错会提醒你打开它,哈哈 ...

weixin_44407988的博客 511

hadoop基础【Zookeeper概述安装

一、概述 Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。Zookeeper从设计模式角度理解是一个基于观察者模式设计的分布式服务管理框架,它负责存储管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。 Zookeeper的两项核心功能:存储数据,通知机制。 hdfs已经存储了数据,那么Zookeeper不会存储...

weixin_43923463的博客 1470

Zookeeper概述安装

zookeeper官网下载地址:http://zookeeper.apache.org/dyn/closer.cgi/zookeeper 概述:随着互联网技术的发展以及业务的不断更迭,对计算机系统的计算,存储能力要求越来越高,单纯依靠少量高性能单机完成计算很难满足需求,从而走向了分布式,所谓的分布式把一个计算任务分解成若干个计算单元,并分派到不同的计算机中执行,而zookeeper则是为分布式系...

言午戌的博客 327

【大数据day08】—— Zookeeper概述安装使用(Zookeeper安装Zookeeper的Shell 客户端操作,zookeeper的JavaAPI操作)

1 Zookeeper概述 Zookeeper 是一个开源的分布式协调服务框架 ,主要用来解决分布式集群中应用系统的一致性问题数据管理问题 2:Zookeeper的特点 Zookeeper 本质上是一个分布式文件系统, 适合存放小文件,也可以理解为一个数据库 - 在上图左侧, Zookeeper 中存储的其实是一个又一个 Znode, Znode 是 Zookeeper 中的节点 ...

qq_38454176的博客 368

ZooKeeper概述安装

Zookeeper是一个高效的分布式协调服务,可以提供配置信息管理、命名、分布式同步、集群管理、数据库切换等服务。它不适合用来存储大量信息,可以用来存储一些配置、发布与订阅等少量信息。Hadoop、Storm、消息中间件、RPC服务框架、分布式数据库同步系统,这些都是Zookeeper的应用场景。Zookeeper集群中节点个数一般为奇数个(>=3),若集群中Master挂掉,剩余节点个数在半数以上时,就可以推举新的主节点,继续对外提供服务。

m0_54357806的博客 254

Zookeeper概述安装

ZooKeeper概述安装 1.1 概述 ZooKeeper是一个分布式的,分布式底层协调工具,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是HadoopHbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口性能高效、功能稳定的系统提供给用户。 ZooKeeper包含一个简单的原语集,提供JavaC的接口。 ZooKeeper

weixin_47681855的博客 258

Zookeeper入门教程一(概述安装命令)

文章目录1、Zookeeper 概述1.1 什么是Zookeeper1-2 数据模型ZNode2、Zookeeper 命令简介2-2 ZNode节点属性2-2 ZNode基本操作3、Zookeeper 安装与部署2-2 单机安装2-2 集群部署4、Zookeeper 原理剖析 1、Zookeeper 概述 1.1 什么是Zookeeper zookeeper 官网对于“What is Zookee...

宋先森的博客 902

zookeper安装_Zookeeper 学习(一)Zookeeper 概述安装

一、Zookeeper 概述Zookeeper 是一个开源的分布式的,为分布式应用提供协调服务的 Apache 项目;1.1、工作机制Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。1.2、...

weixin_36378951的博客 216

Zookeeper-概述安装及原理

1、Zookeeper 概述 1.1、概述 Zookeeper 是一个开源的分布式的,为分布式应用提供协调服务的 Apache 项目。 1.2、特点 1)Zookeeper:一个领导者(leader),多个跟随者(follower)组成的集群。 2)Leader 负责进行投票的发起决议,更新系统状态。 3)Follower 用于接收客户请求并向客户端返回结果,在选举 Lead...

liberty12345678的专栏 322

dubbo概述以及zookeeper安装

●Dubbo是阿里巴巴公司开源的一个高性能、轻量级的Java RPC框架。●致力于提供高性能透明化的RPC远程服务调用方案,以及SOA服务治理方案。●官网: htp://ubbo.apache.orgo节点角色说明:●Provider: 暴露服务的服务提供方●Contahier: 服务运行容器●Consumer: 调用远程服务的服务消费方●Registry: 服务注册与发现的注册中心●Monitor:统计服务的调用次数调用时间的监控中心。

Y_SOD的博客 223

windows环境下安装zookeeper教程详解(单机版)

第一步(下载安装包) 先准备安装包,这里我推荐在Apache官网下载(地址:https://zookeeper.apache.org/releases.html)。因为这篇文章是为后续dubbo+zk+mybatis+springBoot的教程做铺垫,故选用windows版本做讲解方便各位读者快速上手,后面我会写linux环境下的安装配置及使用。关联dubbo请看https://blog.csd...

qq_33316784的博客 10万+

windows下 zookeeper 安装启动

zookeeper是开放源码的分布式应用程序协调服务,可以作为dubbo等服务的注册中心,也可以在分布式系统中实现分布式锁。 ZooKeeper的基本运转流程: 1、选举Leader。(选举leader可以参考 https://blog.csdn.net/gaoshan12345678910/article/details/67638657) 2、同步数据。 3、选举Leader过程中算法...

比嗨皮兔 2万+

windows下zookeeper安装并发布成windows服务

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是HadoopHbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。   ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口性能高效、功能稳定的系统提供给用户。   ZooKeeper包含一...

yzy199391的博客 1万+

zookeeper安装使用(Windows环境)

zookeeper安装使用(Windows环境) 2017年11月27日 10:36:07 阅读数:5298 zookeeper 一、简介 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是HadoopHbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等...

evilcry2012的专栏 488

zookeeper安装使用 windows环境

简介 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是HadoopHbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口性能高效、功能稳定的系统提供给用户。 ZooKeeper

12万+

IC厌氧反应器施工图_环保水利_污水处理工业设计CAD图.dwg

IC厌氧反应器施工图_环保水利_污水处理工业设计CAD图.dwg

VMware 9.0.0.812388 的注册机

VMware 9.0.0.812388 注册机 序列号

上一篇: 启动Hadoop报错JAVA_HOME is not set and could not be found
下一篇: 配置zookeeper集群及zookeeper客户端常用命令
晟翊zzZ
博客等级 码龄7年 4粉丝 52原创
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值