HBase之体系结构(Architecture)

【图文详解】深入理解 Hbase 架构 Deep Into HBase Architecture 这是一篇讲 HBase 架构的文章,简洁明了,图文并茂。HBase数据模型和特征HBase 数据模型(The HBase data model)HBase 中的数据存储是面向列的,采用多层次键值映射的形式。HBase 数据模型非常灵活,它的美妙之处在于动态添加或删除列数据,而不会影响性能。HBase 可用于处理半结构化数据。它没有任何特定的数据类型,因为数据以字节存储。数据模型逻辑组件HBase ... 阅读详情

HBase在分布式部署上采用master/slave的方式,主要包含3大功能组件,分别是:RegionServer、MasterServer和ClientLibrary

在分布式存储上使用的是Hadoop的HDFS子框架

分布式计算功能基于Hadoop的MapReduce实现

1.Region

Region作为HBase的分布式存储单元包含了一组Row,这些Row的key值在索引排序上是连续的,因此在分布式存储的时候,RowKey的定义非常重要,要确保具有相同性质的数据是存储在同一台机器上,最好的方法就是为他们指定相似的RowKey值

2.RegionServer

在HBase中,RegionServer充当Slave角色,负责与Client进行交互,进行相关的读写操作。

3.MasterServer

MasterServer充当master主要有以下职责:

       (1).负责将Region分配给RegionServer

       (2).动态加载或卸载RegionServer

       (3).对RegionServer实现负载均衡

       (4).管理Schema定义

系统中可能会存在多个master机器,但是这些机器并不会同时运行,而是处于一个竞争的状态,当正在运行的master机器出现故障的时候,系统会转移到其他master来接管。

在HBase部署中,Client是不与Master进行交互的,所有的读写操作都是通过RegionServer来完成,master在其中起到了负载均衡的作用,当某一个RegionServer加载量较大时,master可以将相应的Region进行重新的切片部署,将压力分散到多台机器上。

4.ClientLibrary

客户端类库,与RegionServer进行通信,并且还会缓存RegionServer和它所存储的Region地址,加快下次访问效率。

另外,当master机器地址发生变动时,client通过ZooKeeper来查找定位新的master地址,ZooKeeper存储了所有机器的地址信息,客户端需要有ZooKeeper的连接环境(将habse-site.xml加入到客户端classpath中)

5.CatelogTable

HBase预定义了两张表格用于保存数据的分布式存储地址,分别是 -ROOT- 和 .META.

-ROOT-存储了.META.数据的访问地址

.META.存储了用户Region的访问地址

这样ClientLibrary可通过-ROOT-遍历到任何Region的地址

Python-编写点云处理软件(二)点云软件ui制作之仿CC界面 至本篇结束,我们已经能够获得一个有点模子的界面了,但是具体的功能还没有编写,后续的文章将逐渐完善功能。 阅读详情

相关推荐

【LLC快速上手系列】LLC轻载时:开关频率 + 死区时间 联合优化!

轻载优化,频率别飞天,死区要有耐心。两手一起抓,效率高到笑。😎。

weixin_43199439的博客 1129

hbase工作 架构原理

HBase BlockCache机制讲解&源码分析 https://blog.csdn.net/bryce123phy/article/details/62051927

2054

工程测量领域中常见沉降预测算法的C#实现,包含双曲线、指数曲线、泊松曲线、Asaoka、灰度模型、BP神经网络、遗传算法等算法

实现了工程测量中各种常见的沉降预测算法,包括直线拟合法、二次多项式拟合法、三次多项式拟合法、双曲线法、对数曲线法、抛物线法、指数曲线法、泊松曲线法、星野法、Asaoka法、灰度模型GM(1,1)法、灰度模型Verhulst法、BP神经网络法、遗传算法。 各种算法的具体实现可以参考 https://blog.csdn.net/yh523/article/details/122944048。 在Visual Studio 2015中采用C#编程语言实现,使用.Net Framework 4.0。 附件资源包含可以编译运行的源代码,以及可以直接运行的exe示例程序。

Hbase中的各个组件介绍

文章目录一、Hbase中的4大组件1、hbase-client2、Zookeeper3、HMaster4、HRegionServer二、Hbase 组件的HA保证1、zk的HA保证2、HMaster的HA保证3、HRegionServer的HA保证 一、Hbase中的4大组件 1、hbase-client 客户端,用来访问hbase集群。可以和Hbase交互,也可以和HRegionServer交互...

u013332124的专栏 1万+

HBase架构中各组件的功能作用

一、HBase Architecture 二、HBase架构中的客户端Client 客户端有以下几点作用: 1. 整个HBase集群的访问入口; 2. 使用HBase RPC机制与HMaster和HRegionServer进行通信; 3. 使用HMaster进行通信进行管理类操作; 4. 与HRegionServer进行数据读写类操作; 5. 包含访问HBase的接口,并

象在舞的技术专栏 1万+

Hbase体系架构及工作原理

3. 写入操作:当用户执行写入操作时,客户端首先将数据发送给HBase Master,Master根据Row Key确定数据所属的Region,并将数据转发给对应的Region Server。4. 读取操作:当用户执行读取操作时,客户端发送请求给HBase Master,Master确定数据所在的Region,并将请求转发给对应的Region Server。通过HBase,用户可以实现快速的数据存储和访问,支持高并发的读写操作,并且可以方便地进行水平扩展,适用于大规模的数据存储和分析场景。

weixin_53209289的博客 558

linux server体系结构,HBase体系结构(Architecture)

HBase在分布式部署上采用master/slave的方式,主要包含3大功能组件,分别是:RegionServer、MasterServer和ClientLibrary在分布式存储上使用的是Hadoop的HDFS子框架分布式计算功能基于Hadoop的MapReduce实现1.RegionRegion作为HBase分布式存储单元包含了一组Row,这些Row的key值在索引排序上是连续的,因此在分布...

weixin_35990295的博客 101

HBase HMaster Architecture

http://blog.zahoor.in/2012/08/hbase-hmaster-architecture/   HBase architecture follows the traditional master slave model where you have a master which takes decisions and one or more slaves which ...

llystar的专栏 361

Hbase Architecture

http://hbase.apache.org/book.html#architecture

soledede 192

Hbase Architecture 译文

原文链接:http://wiki.apache.org/lucene-hadoop/Hbase/HbaseArchitecture引言本文介绍了HBase,它是Hadoop的一个简单数据库。它和Google的Bigtable非常相似,也有一些区别。如果你知道Bigtable,很好;如果你不知道,也不影响你理解本文。数据模型HBase使用了和Bigtable非常相似的数据模型。用户在

daidodo的专栏 5110

hbase architecture

hbase's architecture overview: note: * why hbase use zookeeper but hadoop? hbase use zk to implements the heartbeat mechanism ,and hadoop use build-in heartbeat to detect node states ...

莱布尼兹 235

Hbase Architecture[上]

Hbase Architecture概述: 序言 seek VS Transfer 2.1 B+树 2.2 Log-Structured Merge-Trees storage 3.1 概览 3.2 Write Path 3.3 Files 3.3.1 Root Level Files 3.3.2 Table Level Fil

yjq_java的专栏 609

[转] An In-Depth Look at the HBase Architecture - HBase架构深度剖析

【From】https://mapr.com/blog/in-depth-look-hbase-architecture/ In this blog post, I’ll give you an in-depth look at the HBase architecture and its main benefits over NoSQL data store solution...

weixin_30538029的博客 353

HBase HMaster Architecture - HBase Master架构

HBase architecture follows the traditional master slave model where you have a master which takes decisions and one or more slaves which does the real task. In HBase, the master is called HMaster  and

技术笔记本 3811

HBase Architecture 101 - Storage

One of the more hidden aspects of HBase is how data is actually stored. While the majority of users may never have to bother about it you may have to get up to speed when you want to learn what the

韩王-信 1205

HBase Architecture 101 - Write-ahead-Log

文章来源:http://www.larsgeorge.com/2010/01/hbase-architecture-101-write-ahead-log.html<br />What is the Write-ahead-Log you ask? In my previous post we had a look at the general storage architecture of HBase. One thing that was mentioned is the Write-ahead

Mac Track 1439
上一篇: HBase之数据模型(DataModel)
下一篇: HBase之功能细节
JavaMan_chen
博客等级 码龄19年 329粉丝 82原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值