Hadoop -- NN和2NN的工作机制

HadoopNN2NN NameNode启动时,首先将映像文件(fsimage)载入内存,并执行编辑日志(edits)中的各项操作。一旦在内存中成功建立文件系统元数据的映像,则创建一个新的fsimage文件一个空的编辑日志。此时,NameNode开始监听DataNode请求。但是此刻,NameNode运行在安全模式,即NameNode的文件系统对于客户端来说是只读的。系统中的数据块的位置并不是由NameNode维护的,而是以块列表的形式存储在DataNode中。 阅读详情

前言

  • 记录时间:2022.7.27
  • 内容:
    • 1.NN和2NN的工作流程。
    • 2.为什么小秘书2NN不能完全代替老板NN的工作?

一、NN和2NN的工作流程

  • 硬盘和内存就像阴阳两极的对立,硬盘可靠但慢,内存快但不可靠。
    那如何利用他俩的共同优势,让结果像太极那样游刃得当呢?
  • 借用大海哥的图,自己总结了三个场景的运行流程。

开机启动:
将硬盘里的 edits_inprogress_001(编辑日志)和 fsimage(镜像文件)加载进内存。

客户端client发出操作请求:
1.新建一份空白的 edits_inprogress_002,用作后续的编辑日志写入。
2.将内存里的 edits_inprogress_001 改名为 edits_001,用作数据备份。
3.将操作请求内容写入 edits_inprogerss_002。

CheckPoint触发:(定时时间到/edits中的数据满了)
1.拷贝 edits_001 和 fsimage 到 2NN。
2.加载 edits_001 和 fsimage 到内存,合并生成结果命名为 fsimage.chkpoint。
3.拷贝 fsimage.chkpoint 到 NN。
4.将NN里的 fsimage.chkpoint 重命名为 fsimage ,覆盖掉原来的 fsimage。

在这里插入图片描述

二、为什么小秘书2N

Hadoop HDFS NN2NN工作机制 NN故障处理(扩展) 一、Hadoop HDFS NN2NN工作机制 NN故障处理(扩展) 后面会搭建高可用的集群,不会使用2NN,所以扩展知识。 二、Hadoop HDFS NN2NN工作机制 集群的安全模式介绍 阅读详情

相关推荐

Hadoop | HDFS 学习笔记(三)HDFS 读写流程 | NN2NN、DN 工作机制 | FsImage与Edits的合并

Hadoop3.1.3版本,关于HDFS的第三篇学习笔记,记录了NN2NN、DN的工作机制,包括NN中FsimageEdits的合并机制,还有如何使用命令查看它们的内容

希望每天都能进步一点点 1527

HadoopNN2NN工作机制

hdfs的元数据信息存储在NameNode中,每次对hdfs的文件进行操作,那么将会不断地访问元数据信息,如果全放内存或者全放磁盘有如下缺点 因此要将元数据信息备份在在磁盘里,生成fsimage镜像文件如果每次对元数据的操作都要同步到fsimage(磁盘)中,则原来没什么两样,同样的效率低下,因此引入edits文件,只对该文件做追加操作,追加操作元数据的信息,即使集群在使用的过程中发生了故障,启动时是需要将镜像文件edits文件合并进入内存中即可恢复,同时不会产生读写过慢的现象。在合并fsimage

Pmyx_wyh的博客 1368

从零开始的Hadoop学习(六)| HDFS读写流程、NN2NN工作机制、DataNode工作机制

这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsImage,就会导致效率过低,但如果不更新,就会发生一致性问题,一旦NameNode节点断电,就会产生数据丢失。但是,如果长时间添加数据到Edits中,会导致该文件数据过大,效率降低,而且一旦断电,恢复元数据需要的时间过长。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。(1)一个数据块在 DataNode 上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验,以及时间戳。

庭前云落的博客 826

简述nn2nn工作原理

NN(Nearest Neighbor)是一种分类回归算法,其工作原理是在训练数据集中找到与当前输入最为相似的数据点,并将其分类到与该数据点相同的类别中。 2NN是一种对NN算法的改进,它首先像NN一样找到最近的一个数据点,然后再找到离当前输入最近的另外一个数据点,最后将这两个数据点的类别进行比较,将当前输入分类到占多数的那个类别中。 ...

weixin_42590539的博客 1097

Hadoop基础【HDFS NN2NN工作机制、DataNode工作机制

1、NN2NN工作机制 一个正常HDFS集群,读取写入,尤其是读取是十分频繁的,读取则必然需要访问NN,读取元数据(存储数据的数据,比如索引信息),也就是说,在运行的集群中,元数据的读取是十分频繁的,而且时效性比较高,于是,元数据在运行中需要放在内存中(速度比较快)。 将所有元数据放在内存中,又会造成一旦机器断电,所有的元数据就消失不见了。 所以又需要将易丢失的数据放在磁盘上(持久化过程),一个64GB的NN,即使内存全部用来存储,也只能存放4581...

weixin_43923463的博客 1277

Hadoop面试题---NN、DN以及2NN工作机制

一、NN2NN工作机制 1.首先,我们做个假设,如果存储在 NameNode 节点的磁盘中,因为经常需要进行随机访问 ,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存 中,一旦断电,元数据丢失,整个集群就无法工作了。**因此产生在磁盘中备份元数据的 FsImage。** 2.这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新 FsImage,就会导致 效率过低,但如果不更新,就会发生一致性问题,一旦 NameNode 节点断电,就会产生数据 丢失。因此,引入

qq_39872456的博客 2082

解释Hadoop2NN工作机制

2NN主要操作:大致流程 a.将NN机器对应磁盘上的fsimage Edits文件拉取到2NN的机器中 b.在2NN的机器中将fsimage + Edits都读取到内存中进行合并,然后生成新的fsimage 在合并时,edits会重新生成一个新的,用来记录在合并时的操作 c.再推送到NN机器中的磁盘上,NN中旧的fsimage会保留,新的fsimage对应的是正在使用 checkpoint时间设置:(触发条件) a.2NN每隔1小时就发送...

shkstart的博客 1124

Hadoop(5.NN2NN工作机制

Hadoop(5.NN2NN工作机制)HDFS中NN2NN工作机制第一阶段:NameNode启动第二阶段:Secondary NameNode工作 ,w#pic_center =830x500 HDFS中NN2NN工作机制 第一阶段:NameNode启动 第一次启动NameNode格式化后,创建FsimageEdits文件。如果不是第一次启动,直接加载编辑日志镜像文件到内存。 客户端...

lvpeng88的博客 857

Hadoop_05】NN2NN以及DataNode的工作机制

如果电脑磁盘里面存储的数据是控制高铁信号灯的红灯信号(1)绿灯信号(0),但是存储该数据的磁盘坏了,一直显示是绿灯,是否很危险?(1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验,以及时间戳。(2)DataNode启动后向NameNode注册,通过后,周期性(6小时)的向NameNode上报所有的块信息。(2)如果计算后的CheckSum,与Block创建时值不一样,说明Block已经损坏。

1348

Hadoop--NN2NN工作机制

目录1、NameNode元数据的存储2、NameNode工作机制3、NN2NN工作机制 1、NameNode元数据的存储 Fsimage Edits 文件 Fsimage Edits 文件都存储在磁盘中 Fsimage文件:HDFS文件系统元数据的一个永久性的检查点,其中包含HDFS文件系统的所有目录文件inode的序列化信息。 Edits文件:存放HDFS文件系统的所有更新操作的路径,文件系统客户端执行的所有写操作首先会被记录到Edits文件中。 说白了就是,Fsimage存放一定时间

words8的博客 824

Hadoop-HDFS】详细解析NN2NN工作原理,NN故障处理,NN多目录,集群安全模式

第五章 NameNodeSecondaryNameNode 文章目录第五章 NameNodeSecondaryNameNode5.1 NN2NN工作机制5.2 FsimageEdits解析5.3 CheckPoint时间设置5.4 NameNode故障处理5.5 集群安全模式5.6 NameNode多目录配置 5.1 NN2NN工作机制 思考:NameNode中的元数据是存储在哪里的? 首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效

一个写湿的程序猿 1975

Hadoop_HDFS实践 (一)=>(架构、Shell相关操作、API、NN/2NN工作原理、DataNode工作机制等)

Hadoop Distributed File System,简称 HDFS,是一个分布式文件系统。HDFS 有着高容错性(fault-tolerent)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS 放宽了(relax)POSIX 的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。

记录点滴生活 1079

HDFS:NameNode2NN工作原理分析

在HDFS的组成中,最重要的两个核心进程分别为NameNodeDataNode,NameNode负责存储元数据信息,而DataNode则用于存放数据,而另一个进程被称为2NN(Secondary NameNode),它的作用在于辅助NameNode做日志合并,防止元数据丢失。

BoringError的博客 1218

Hadoop HDFS | NameNodeSecondaryNameNode的工作机制 | FsimageEdits解析 | CheckPoint时间设置

文章目录一、NN2NN工作机制1、元数据在什么地方?2NN2NN工作机制二、FsImageEdits解析1、FsImageEdits文件所处位置2、oiv查看Fsimage文件3、oev查看Edits文件三、CheckPoint时间设置 NameNode简称为NN,SecondaryNameNode简称为2NN 一、NN2NN工作机制 1、元数据在什么地方? NameNode中有元数据,那么元数据是存在什么地方呢? 如果元数据存储在NN的内存中,内存有两个特点就是:不可靠(断电即失)、计算速

lesileqin的博客 582

NameNode SecondaryNamenode 的工作机制

1. 配置hadoop的windows依赖 1.1 将windows依赖 hadoop-3.1.0 拷贝到一个固定的位置. 例如: E:\hadoop\hadoop-3.1.0 1.2 配置环境变量 1) 新建变量 HADOOP_HOME=E:\hadoop\hadoop-3.1.0 2) 修改变量 path=......(不要改不要删已有内容);%HADOOP_HOME%\bin 2. NameNode SecondaryNamenode 的工作机制:

qq_43206800的博客 280

Hadoop3教程(二十八):(生产调优篇)NN、DN的多目录配置及磁盘间数据均衡

介绍了NameNodeDataNode的多目录是什么,以及如何开启它们的多目录。对DN来讲,如果多目录之间数据量差异过大,那又该如何进行磁盘间的数据均衡

经年藏殊的博客 1100

000006 - HDFS NN2NN工作机制

(4)每次NameNode启动的时候都会将Fsimage文件读入内存,加 载Edits里面的更新操作,保证内存中的元数据信息是最新的、同步的,可以看成NameNode启动的时候就将FsimageEdits文件进行了合并。(1)第一次启动 NameNode 格式化后,创建 Fsimage Edits 文件。(2)Edits文件:存放HDFS文件系统的所有更新操作的路径,文件系统客户端执行的所有写操作首先会被记录到Edits文件中。(3)NameNode 记录操作日志,更新滚动日志。

张--小涛涛 720
上一篇: RuoYi -- 图片附件的Controller调用
下一篇: sql -- 聚合函数和GroupBy和Having的爱恨情仇
兜兜转转是兜兜
博客等级 码龄7年 74粉丝 65原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值