hdfs的原子性_HDFS中的哪些文件系统操作是原子的?

hdfs的原子性

Atomicity is a very important and fundamental property aspect of filesystems. Applications semantics and many functions depend on and only be available based on the atomicity models of the underlying filesystem. Which filesystem operations in HDFS is atomic? So that locks can be implemented on top of it. In a reasonably widely usable filesystem, some operations are expected to be atomic because they are often used to implement locking/exclusive access between processes using the filesystem. For HDFS, the processes are usually distributed in a cluster of servers instead of within a single OS.

原子性是文件系统非常重要的基本属性。 应用程序的语义和许多功能取决于基础文件系统的原子性模型,并且仅在此基础上可用。 HDFS中的哪些文件系统操作是原子的? 这样就可以在其上实现锁。 在合理使用的文件系统中,某些操作被认为是原子操作,因为它们通常用于在使用文件系统的进程之间实现锁定/互斥访问。 对于HDFS,进程通常分布在服务器群集中 ,而不是在单个OS中。

As of Hadoop 3.2.1, the atomicity operations from a compatible filesystem (HDFS is one) are as follows. Most other operations come with no requirements or guarantees of atomicity.

Hadoop 3.2.1开始 ,来自兼容文件系统(HDFS是其中之一)的原子性操作如下。 大多数其他操作都没有原子性的要求或保证。

– Creating a file. If the overwrite parameter is false, the check and creation MUST be atomic.
– Deleting a file.
– Renaming a file.
– Renaming a directory.
– Creating a single directory with mkdir().

–创建文件。 如果overwrite参数为false,则检查和创建必须是原子的。
–删除文件。
–重命名文件。
–重命名目录。
–使用mkdir()创建一个目录。

Recursive directory deletion MAY be atomic. Although HDFS offers atomic recursive directory deletion, none of the other Hadoop FileSystems offer such a guarantee (including local FileSystems).

递归目录删除可能是原子的。 尽管HDFS提供了原子递归目录删除功能,但其他Hadoop FileSystems都没有提供这种保证(包括本地FileSystems)。

翻译自: https://www.systutorials.com/which-filesystem-operations-in-hdfs-is-atomic/

hdfs的原子性

HDFS——数据移动API Rename说明 原子性 Rename接口的原子性依赖于底层文件系统的实现,如下图所示: 分布式文件系统DistributedFileSystem,保证了rename接口的原子性,即一次数据移动操作原子性的; 正则的支持 从测试结果来看,rename的实现并没有支持正则。测试过程如下: 移动前数据源目录和目的目录详情如下: 执行测试代码,如下所示: 查看执行结果,源目录和目的目录的数据保持不变,结果如... 阅读详情

相关推荐

HDFS的编程

HDFSHadoop Distributed File System)是hadoop生态系统的一个重要组成部分,是hadoop中的的存储组件,在整个Hadoop中的地位非同一般,是最基础的一部分,因为它涉及到数据存储,MapReduce等计算模型都要依赖于存储在HDFS中的数据。HDFS是一个分布式文件系统,以流式数据访问模式存储超大文件,将数据分块存储到一个商业硬件集群内的不同机器上。

qq_67812668的博客 2281

HDFS 原理史上最详细解析(包含 2.x 版本)

1. 背景 HDFS最初是参考谷歌GFS论文原理开发的一个开源产品,由Lucene开源项目的创始人Doug Cutting开发,现在已经成为大数据平台的基石。HDFS借鉴了GFS的技术架构,在设计理念上又与GFS有很大的不同,它致力于提供一个通用的分布式文件系统,与GFS作为Google内部存储系统的定位有很大区别。 HDFS定义了一套文件系统API规范(http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/files

Nick 1931

hive on tez为什么写表时,要写临时文件到hdfs目录

Hive on Tez写表时使用HDFS临时目录,并非“额外步骤”,而是分布式计算场景下保障数据可靠性、计算高效性的必然设计。

主要写大数据集群一线运维和学习工作经验 942

linux下多进程写入文件的原子性

【原文链接】 http://tsecer.blog.163.com/blog/static/1501817201311284223689/

PlayerL的专栏 5669

大数据面试必备:Hadoop的数据一致性模型及其保证机制

Hadoop的数据一致性模型是“写后读一致性”(Write-once-read-manyconsistency)。这意味着数据一旦被写到HDFSHadoopDistributedFileSystem)中,就不允许再次修改,而是可以被多次读取。通过这种机制,Hadoop保证了数据的完整性和一致性。

qq_58299462的博客 2115

HBase总结(3)--数据删除与Delete对象

一、介绍 本章的删除与前两节的数据添加(Put)和数据查询(Get)的使用方法基本上是相同的,只不过要介绍一下在进行删除过程中一些需要注意的地方。 二、过程介绍 Delete删除的过程分为单行删除、多行删除与原子性操作 1、单行删除 HBase的删除并不像传统关系型数据库的删除,HBase删除动作并不会立刻将HBase存储的数据进行删除,而是心在制定的KeyValue存储单元上打上删除标

wozipa的博客 1万+

Sqoop数据一致性深度剖析:如何保障导入导出的原子性与准确性

场景主要风险Sqoop的保障机制最佳实践导入源数据动态变化Hadoop自动清理失败任务使用从库/锁表导入NULL语义丢失参数统一使用\N导入浮点数分片丢数据使用整数分片列导出部分失败导致脏数据必须使用暂存表导出主键冲突配置UPSERT模式导出NULL转换错误参数与导入参数一致Sqoop本身提供了一致性保障的基础设施,但真正的数据一致性需要用户来主动构建。导入时:选择合适的分片列,正确处理NULL值导出时务必使用暂存表,这是抵御"部分失败"最坚固的防线无论何时。

✨ 欢迎来到【Seal ^_^ 的CSDN博客】!✨ 2077

hdfs mv命令_hadoophdfs mv命令如何工作

我想知道hdfs中的mv命令是如何工作的?>这只是一个没有任何实际数据移动的象征性变化吗?>如果moveTo目录存在(可能在diff分区上)>如果moveTo是一个新目录>在hadoop中移动大文件时是否可能损坏数据?那么cp或distcp是一个更安全的选择吗?当用户调用hdfs dfs -mv时,HDFS保证重命名操作原子性.运行此命令时,客户端对NameNode进行R...

weixin_42400518的博客 1951

分布式文件系统(GFS和HDFS)概述

前言 背景意义 分布式存储相关概念 分布式存储系统的分类 CAP理论 复制副本 一致性 GFS架构 租约(lease)和变更顺序 容错机制 前言 因为我有一门分布式的课,老师要求我们选择一个课题做汇报,有GFS、Hadoop、Bigtable、MapReduce、C...

Tyler_Zx的博客 1万+

HDFS分布式文件系统详解(Hadoop)

HDFS

喻师傅的学习笔记 3180

hdfs mv命令_如何HDFS mv命令工作

當用戶調用hdfs dfs -mv時,HDFS保證重命名操作原子性。當此命令運行時,客戶端對NameNode進行RPC調用。該RPC的NameNode實現在修改inode樹時保存鎖定,並且只有在重命名完成後才釋放該鎖定,無論是成功還是失敗。 (它可能失敗之類的東西許可或者違反配額。)由於實施的NameNode內完全執行,僅操縱文件系統元數據,不涉及實際的數據移動。實際上在hdfs dfs -mv...

weixin_39520393的博客 1229

HDFS的一致性分析

这篇文章去年4月左右写的, 一直留在我的草稿箱, 一直没有写完 :) 在分析HDFS的一致性之前, 我们先得解决HDFS客户端行为的几个问题。 [b][size=large]1. 为什么HDFS不支持多个writer同时写一个文件,即不支持并发写?[/size][/b] 首先谈一谈HDFS产生的历史。HDFS是根据Google的GFS论文所实现的, 初期时它的主要设计目标是为了存储M...

coderplay的专栏 1032

张义飞: 关于文件写入的原子性讨论

        文件的写入是否是原子的?多个线程写入同一个文件是否会写错乱?多个进程写入同一个文件是否会写错乱?想必这些问题多多少少会对我们产生一定的困扰,即使知道结果,...

Linux阅码场 790

hdfs一致性模型详解

为什么80%的码农都做不了架构师?>>> ...

weixin_33878457的博客 530

文件写入的原子性讨论

文件写入的原子性讨论 引入:pread,pwrite,read,write区别 调用pread相当于顺序调用lseek和read,但pread和这种调用又有重大区别: 调用pthread时,无法中断其定位和读操作,(lseek和read相当于一个原子操作) 不更新文件指针 调用pwrite相当于调用lseek和write,但也与它们有类似区别 因为历史上有些系统不支持O_APPEND,才定义了...

weixin_43763259的博客 1187

文件系统特性 - COW事务

理解 COW 事务,必须首先理解 COW 和事务这两个术语。 一、事务与COW 什么事务? 事务(Transaction)是访问并可能更新数据库中各种数据项的一个程序执行单元(unit)。事务通常由高级数据库操纵语言或编程语言(如SQL,C++或Java)书写的用户程序的执行所引起,并用形如begin transaction和end transac...

weixin_30444105的博客 331

文件的原子操作

文件的原子操作是指一个操作一旦启动,则无法能被破坏它的其它操作打断。 1.写文件原子操作 无论是两个打开,还是dup,同时操作一个文件都可能引起混乱,解决这个问题的方法是,可以通过O_APPEND解决这个问题.O_APPEND选项可以使得一个写操作正在进行时,另外一个对该文件的写操作会阻塞等待。这意味着O_APPEND选项的文件描述符,写操作无法被打断。 2.创建文件的原子操作 如果两个进

vinnyjia的博客 4269
上一篇: qemu/kvm 桥接_如何在QEMU / KVM主机操作系统中获取vCPU线程ID?
下一篇: linux状态栏_如何在Linux的屏幕上添加“状态栏”?
cuma2369
博客等级 码龄10年 49粉丝 0原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值