大数据存储基础知识

大数据导论(四:大数据存储 面对大数据的爆炸式增长,且具有大数据量、异构型、高时效性的需求时,数据的存储不仅仅有存储容量的压力,还给系统的存储性能、数据管理乃至大数据的应用方面来了挑战。这些大量的数据结构复杂,种类繁多,如何对分布、多态、异构的大数据进行管理的问题已经不期而至,传统的数据存储方式面对大数据的猛烈增长已不能满足需求,需要开展分布式存储的研究。随着数据量的爆炸式增长,不断刺激着计算机技术的发展,如何利用大数据为人们生活所用,即是大数据的应用问题。大数据的应用在人类活动中所涉及的范围越来越大,与我们已经密不可分。数据转换是 阅读详情

目录

1. 名词缩写

2. 接口

1. IDE(ATA)

1. PATA(Parallel ATA)

2. SATA(Serial ATA   )

3. PATA与SATA区别 

2. SCSI

1. SCSI

2. SAS

3. iSCSI

4. TCPIP各层的协议

3. FC

3. 存储

1. SAN

2. DAS

3. NAS

4. 存储技术对比

5. 参考文档 



1. 名词缩写

缩写 全称说明 
FCFibre Channel网状通道技术。光纤对接的一种接口标准形式
SCSISmall Computer System Interface小型计算机系统接口。是一种用于计算机及其周边设备之间(硬盘软驱光驱打印机扫描仪等)系统级接口的独立处理器标准
DAS     Direct Attached Storage直接附加存储。是指将存储设备通过SCSI线缆或光纤通道直接连接到服务器上
IDEIntegrated Drive Electronics电子集成驱动器.
ATAAdvanced Technology Attachment高技术配置
PATAParallel ATA并行高技术配置
SATASerial ATA                串行高级技术附件
iSCSIInternet Small Computer System InterfaceInternet小型计算机系统接口
NFSNetwork File System网络文件系统

2. 接口

1. IDE(ATA)

    

     集成驱动电子设备(IDE,Integrated Drive Electronics)是应用于电脑主板的数据路径或数据流和电脑磁盘储存设备上的一种标准电子接口。主要意图为将控制器与盘体集成在一起。。现在的电脑使用的是升级版的IDE,即增强型电子集成驱动器接口,IDE的控制器一般在主板里面。

1990年11月,美国国家标准机构采用了IDE接口标准。该机构把集成驱动电子设备命名为ATA(高级技术附加装置)。IDE(ATA)标准是T10委员会认定的几个相关标准中的一个

1. PATA(Parallel ATA)

    IDE接口即指并行IDE接口(PATA接口)。IDE接口即指并行IDE接口(PATA接口)。使用PATA接口的硬盘叫并口硬盘。

2. SATA(Serial ATA   )

一种基于行业标准的串行硬件驱动器接口,是由Intel、IBM、Dell、APT、Maxtor和Seagate公司共同提出的硬盘接口规范。使用SATA的硬盘叫串口硬盘

3. PATA与SATA区别 

    1、SATA硬盘比IDE硬盘传输速度高。目前SATA可以提供150MB/s的高峰传输速率。今后将达到300 MB/s和600 MB/s。到时我们将得到比IDE硬盘快近10倍的传输速率。

  2、 相对于IDE硬盘的PATA40针的数据线,SATA的线缆少而细,传输距离远,可延伸至1米,使得安装设备和机内布线更加容易。连接器的体积小,这种线缆有效的改进了计算机内部的空气流动,也改善了机箱内的散热。

  3、相对于IDE硬盘系统功耗有所减少。SATA硬盘使用500毫伏的电压就可以工作。

  4、SATA可以通过使用多用途的芯片组或串行——并行转换器来向后兼容PATA设备。由于SATA和PATA可使用同样的驱动器,不需要对操作系统进行升级或其他改变。

  5、SATA不需要设置主从盘跳线。BIOS会为它按照1、2、3顺序编号。这取决于驱动器接在哪个SATA连接器上(安装方便)。而IDE硬盘需要设置通过跳线来设置主从盘。

  6、SATA还支持热插拔,可以象U盘一样使用。而IDE硬盘不支持热插拔.

       7、数据传输的可靠性得到了增强,硬盘制造起来变得更容易,因为厂商不需要再担心自己的硬盘是否与其它厂商生产的控制器兼容,对用户而言,硬盘安装起来也更为方便

2. SCSI

1. SCSI

SCSI是小型计算机系统接口(Small Computer System Interface)的简称,于1979首次提出,是为小型机研制的一种接口技术,现在已完全普及到了小型机,高低端服务器以及普通PC上。

SCSI可以划分为SCSI-1、SCSI-2、SCSI-3,最新的为SCSI-3,也是目前应用最广泛的SCSI版本。

1、SCSI-1:1979年提出,支持同步和异步SCSI外围设备;支持7台8位的外围设备,最大数据传输速度为5MB/s。

2、SCSI-2:1992年提出,也称为Fast SCSI,数据传输率提高到20MB/s。

3、SCSI-3:1995年提出,Ultra SCSI(Fast-20)。Ultra 2 SCSI(Fast-40)出现于1997年,最高传输速率可达80MB/s。1998年9月,Ultra 3 SCSI(Utra 160 SCSI)正式发布,最高数据传输率为160MB/s。Ultra 320 SCSI的最高数据传输率已经达到了320MB/s。

2. SAS

3. iSCSI

iSCSI(互联网小型计算机系统接口)是一种在TCP/IP上进行数据块传输的标准。它是由Cisco和IBM两家发起的,并且得到了各大存储厂商的大力支持。iSCSI可以实现在IP网络上运行SCSI协议,使其能够在诸如高速千兆以太网上进行快速的数据存取备份操作。

iSCSI标准在2003年2月11日由IETF(互联网工程任务组)认证通过。iSCSI继承了两大最传统技术:SCSI和TCP/IP协议。这为iSCSI的发展奠定了坚实的基础。

基于iSCSI的存储系统只需要不多的投资便可实现SAN存储功能,甚至直接利用现有的TCP/IP网络。相对于以往的网络存储技术,它解决了开放性、容量、传输速度、兼容性、安全性等问题,其优越的性能使其备受关注与青睐。

iSCSI的数据包结构:

 

工作流程:

iSCSI系统由SCSI适配器发送一个SCSI命令。

命令封装到TCP/IP包中并送入到以太网络。

接收方从TCP/IP包中抽取SCSI命令并执行相关操作。

把返回的SCSI命令和数据封装到TCP/IP包中,将它们发回到发送方。

系统提取出数据或命令,并把它们传回SCSI子系统。

安全性描述:

iSCSI协议本身提供了QoS及安全特性。

可以限制initiator仅向target列表中的目标发登录请求,再由target确认并返回响应,之后

才允许通信;

通过IPSec将数据包加密之后传输,包括数据完整性、确定性及机密性检测等;

 iSCSI的优势

(1)广泛分布的以太网为iSCSI的部署提供了基础。

(2)千兆/万兆以太网的普及为iSCSI提供了更大的运行带宽。

(3)以太网知识的普及为基于iSCSI技术的存储技术提供了大量的管理人才。

(4)由于基于TCP/IP网络,完全解决数据远程复制(Data Replication)及灾难恢复(Disaster Recover)等传输距离上的难题。

(5)得益于以太网设备的价格优势和TCP/IP网络的开放性和便利的管理性,设备扩充和应用调整的成本付出小。

4. TCPIP各层的协议

3. FC

FC光纤通道:用于计算机设备之间数据传输,传输率达到2G(将来会达到4G)。光纤通道用于服务器共享存储设备的连接,存储控制器和驱动器之间的内部连接。

此图需要更换

协议基本架构:

FC-4  Upper Layer Protocol:SCSI,HIPPI,SBCCS,802.2,ATM,VI,IP

FC-3   common service

FC-2   Framing Protocol /Flow Control

FC-1   Encode/Decode

FC-0   Media:Optical or copper,100MB/sec to 1.062GB/sec

协议层说明:

FC-0:物理层,定制了不同介质,传输距离,信号机制标准,也定义了光纤和铜线接口

以及电缆指标

FC-1:定义编码和解码的标准

FC-2:定义了帧、流控制、和服务质量等

FC-3:定义了常用服务,如数据加密和压缩

FC-4:协议映射层,定义了光纤通道和上层应用之间的接口,上层应用比如:串行SCSI 协 议,HBA 的驱动提供了FC-4 的接口函数,FC-4 支持多协议,如:FCP-SCSI,FC-IP,FC-VI

协议简介:

FCP-SCSI:

FCP-SCSI:是将SCSI并行接口转化为串行接口方式的协议,应用于存储系统和服务器之间的数据传输。新的ANSI T10 标准,支持SAN 上存储系统之间通过数据迁移应用来直接移动数据。 FCP-SCSI 提供200MB/s(全双工独占带宽)的传输速率,每连接最远达10 公里,最大16000000 个节点。FCP-SCSI 使用帧传输取代块传输。帧传输以大数据流传输方式传输短的小的事务数据。

3. 存储

1. SAN

此部分内容转载于:https://cloud.tencent.com/developer/news/273345

存储区域网络(Storage Area Network,简称SAN),它是一种在服务器和外部存储资源或独立的存储资源之间实现高速可靠访问的专用的高速网络。是一种基于块存储的存储方式。SAN 采用可扩展的网络拓扑结构连接服务器和存储设备,每个存储设备不隶属于任何一台服务器,所有的存储设备都可以在全部的网络服务器之间作为对等资源共享。目前常见的SAN有FC SAN和IP SAN两种类型,其中FC SAN为通过光纤通道转发SCSI协议,IP SAN通过TCP/IP通道转发SCSI协议。

2、FC SAN

通过FC(光纤)交换机连接存储阵列和服务器主机,建立专用于数据存储的区域网络。架构可参考下图:

3、IP SAN

早期的SAN采用的基本是光纤通道(Fiber Channel)技术,所以早期的SAN多指采用光纤通道的存储局域网络,到了iSCSI协议出现以后,为了区分,业界就把SAN划分为FC SAN和IP SAN。基于iSCSI的存储系统只需要不多的投资便可实现SAN存储功能,甚至直接利用现有的TCP/IP网络。架构可参考下图:

4、优劣分析

优:SAN使存储空间得到更加充分的利用以及安装和管理更加有效,SAN本身就是一个存储网络,承担了数据存储任务,SAN网络与LAN业务网络相隔离,存储数据流不会占用业务网络带宽,另外SAN存储架构实现的是直接对物理硬件的块级存储访问,提高了存储的性能和升级能力。这也是出现这种技术的主要原因。

劣:方案整体预算相对DAS和NAS架构要高一些,尤其是FC SAN。

2. DAS

DAS(Direct Attached Storage—直接附加存储)是指将存储设备通过SCSI线缆或光纤通道直接连接到服务器上。

一个SCSI环路或称为SCSI通道可以挂载最多16台设备;

FC可以在仲裁环的方式下支持126个设备;

3. NAS

NAS(Network Attached Storage—网络附加存储),是一种文件共享服务。拥有自己的文件系统,通过NFS或CIFS对外提供文件访问服务。

 NAS包括存储器件(例如硬盘驱动器阵列、CD或DVD驱动器、磁带驱动器或可移动的存储介质)和专用服务器。专用服务器上装有专门的操作系统,通常是简化的unix/linux操作系统,或者是一个特殊的win2000内核。它为文件系统管理和访问做了专门的优化。专用服务器利用NFS或CIFS,充当远程文件服务器,对外提供文件级的访问。

NAS的优点:

  1. NAS可以即插即用。
  2. NAS通过TCP/IP网络连接到应用服务器,因此可以基于已有的企业网络方便连接。
  3. 专用的操作系统支持不同的文件系统,提供不同操作系统的文件共享。
  4. 经过优化的文件系统提高了文件的访问效率,也支持相应的网络协议。即使应用服务器不再工作了,仍然可以读出数据。    

NAS的缺点:

1、NAS设备与客户机通过企业网进行连接,因此数据备份或存储过程中会占用网络的带宽。这必然会影响企业内部网络上的其他网络应用。共用网络带宽成为限制NAS性能的主要问题。

2、NAS的可扩展性受到设备大小的限制。增加另一台NAS设备非常容易,但是要想将两个NAS设备的存储空间无缝合并并不容易,因为NAS设备通常具有独特的网络标识符,存储空间的扩大上有限。

3、NAS访问需要经过文件系统格式转换,所以是以文件一级来访问。不适和Block级的应用,尤其是要求使用裸设备的数据库系统。

4. 存储技术对比

对比项DASNASFC-SANIP-SAN
存储方式直接连接文件存储块存储块存储
可扩展性
读写速度
搭建成本
资源利用率
可管理性

5. 参考文档 

http://blog.chinaunix.net/uid-8546015-id-2026103.html

Isaac Gym摄像头数据获取全攻略:从CPU到GPU,教你实时显示RGB与深度图 本文详细介绍了在Isaac Gym中获取摄像头数据的两种高效方案:CPU模式与GPU张量模式。通过实战代码示例,展示了从摄像头配置、数据获取到实时可视化RGB与深度图的全流程,帮助开发者优化机器人仿真与计算机视觉应用的性能。特别强调了GPU模式下的零拷贝访问与张量运算优势,适用于需要低延迟处理的场景。 阅读详情

相关推荐

探索大数据行式存储,解锁数据无限可能

好的,作为一名资深软件工程师和技术博主,我很乐意为你撰写一篇关于“探索大数据行式存储,解锁数据无限可能”的深度技术博客文章。这篇文章将采用“深度剖析/原理讲解型”结构,力求达到10000字左右,你全面了解行式存储的方方面面。探索大数据行式存储,解锁数据无限可能引言在数据驱动决策的时代,数据已成为企业最宝贵的战略资产之一。随着物联网、云计算、人工智能等技术的飞速发展,数据量正以前所未有的速度爆炸式增长,我们已然身处“大数据”时代。面对海量、多样、高速产生的数据,如何高效、可靠、经济地存储和管理这些数据,成为

AI云原生与云计算技术学院 907

数据流存储与管理:构建高效的数据仓

1.背景介绍 数据仓是现代企业和组织中不可或缺的一部分,它们需要有效地存储、管理和分析大量的数据。随着数据的增长和复杂性,构建高效的数据仓变得越来越重要。在这篇文章中,我们将讨论数据流存储和管理,以及如何构建高效的数据仓。 数据仓的核心目标是提供一个集中的数据存储和管理平台,以便组织可以更有效地分析和利用其数据资源。数据仓通常包括以下几个组件: 数据源:这些是数据仓中的原始数...

AI天才研究院 1623

如何使用Github创建一个完全免费的个人网站

摘要: 本文详细介绍如何利用Github Pages免费搭建个人静态网站,适合零基础用户。首先需注册Github账号并创建特定命名的仓(格式:用户名.github.io),然后通过网页或命令行创建index.html文件作为网站首页。完成后可通过"仓设置- Pages"获取网站链接。文章还包含GitHub Desktop的安装使用、代码提交指南及常见问题自检方法,并说明即使Github被墙也可迁移至国内平台(如码云)。整个过程无需编程基础,仅需15分钟即可完成基础网站搭建。

安德洛夫 1456

数据基础知识,超全!!!

今天总结了数据的知识,有用的话点个赞再走吧,持续更新中…… 第五章 数据设计基础5.1 数据系统的基本概念5.1.1 数据、数据、数据管理系统1. 数据2. 数据3. 数据管理系统4.数据管理员5.数据系统6.数据应用系统(database application system,DBAS)5.1.2 数据系统的发展5.1.3 数据系统的基本特点1.数据的集成性2.数据的高共享性与低冗余性3.数据独立性4.数据统一管理与控制5.1.4 数据系统的内部结构体系5.2 数据模型5.2.1

weixin_46486131的博客 2万+

存储中所说的光和磁

提到归档存储,人们的印象是往往是一盒盒充满历史感的磁或者满柜子冰冷冷的光光盘。这些磁或者光盘一旦存储了数据,就意味着数据进入到数据中心某个不起眼的角落中,如没必要将通常会进入到“沉睡”阶段,有些数据甚至几十年都不再被读取使用。 现如今,归档这项拥有多年历史的古老业务,因为各个行业数字化转型步伐的加速,以及云计算技术的普及,正在发生着翻天覆地般的变化。正如UCloud存储平台研发总监吴斌炜所言:“国内一家短视频巨头,一天数据量增长就高达3PB。由于法规的要求,很多业务数据往往需要保存三个月,这家短视频

qq_33410995的博客 2541

大数据存储方式有哪些?

数据常用的存储介质为磁盘和磁,数据存储组织方式因存储介质不同而异。 直接连接存储(DAS)适用于小型网络及一些硬盘播出系统,网络连接存储(NAS)采用独立于服务器的一种文件服务器来连接所存储设备,存储域网络(SAN)通过支持SAN协议的光纤信道交换机,将主机和存储系统联系起来,组成一个LUN Based的网络。 DAS、NAS和SAN三种存储方式各有优劣,相互共存,占到了现在磁盘存储市场的70%以上。 SAN和NAS系统可以利用自动精简配置技术来弥补早期存储分配不灵活问题。

Shockang的博客 6512

揭秘大数据 | 11、大数据的五大问题 之 大数据存储

在这样的背景下,一种新的存储管理模式开始出现,那就是软件定义存储。软件定义存储不同于存储虚拟化,软件定义存储的设计理念与软件定义网络(Software Defined Network,SDN)有着诸多相似之处。软件定义存储旨在开辟一个如下的新世界。(1)把数据中心中所有物理的存储设备转化为一个统一的、虚拟的、共享的存储资源池,其中存储设备包括专业的SAN/NAS存储产品,也包括内置存储设备和DAS。这些存储设备可以是同构的,也可以是异构的,还可以是来自不同厂商的。

Ultipa的博客 1446

大数据基础知识及分布式存储原理

HDFS原理

thyyyyyyy的博客 960

大数据存储与处理——ZooKeeper的基础知识

ZooKeeper 分布式管理系统存在的问题 多个计算机联系成分布式管理系统,会得到算力可以无限扩张等好处。但是缺点也是显而易见的。 想象成一个大型的开发团队,那么存在的问题就如任务如何分配?谁当leader?leader离职后谁上任?员工离职后谁上任等问题 解决方法:利用ZooKeeper进行信息在项目组的同步 所以ZooKeeper的功能:分布式系统的分布式协同服务 ZooKeeper 是什么...

weixin_45680007的博客 450

入门大数据,需要学习哪些基础知识

大数据的发展历程总体上可以划分为三个重要阶段,萌芽期、成熟期和大规模应用期,20世纪90年至21世纪初,为萌芽期,随着,一批商业智能工具和知识管理技术的开始和应用,度过了数据萌芽。 推荐一个大数据学习群 119599574晚上20:10都有一节【免费的】大数据直播课程,专注大数据分析方法,大数据编程,大数据大数据案例,人工智能,数据挖掘都是纯干货分享, 21世纪前十年则为成熟期,主要...

weixin_41780944的博客 1万+

大数据_03【大数据基础知识

大数据_03 01 大数据概述02 什么是大数据?(Big Data)03 传统数据与大数据的对比04 大数据的特点4.1 传统数据与大数据处理服务器系统安装对比4.2 大数据下服务器系统安装![在这里插入图片描述](https://img-blog.csdnimg.cn/20201006090915426.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV

weixin_44925086的博客 9万+

Hbase基础知识介绍

wwxy1995的博客 204

从零开始大数据 1

探险大数据的世界,从零开始!🚀 一起揭开数据的神秘面纱,学习大数据的奇妙之旅,发现数据背后的故事。让我们用好奇心和学习的火花,开启大数据领域的冒险征程吧

jixiangendless的博客 506

大数据002-知识体系总览

在当今信息化社会,大数据已经成为推动各行各业发展的关键因素。掌握大数据技能,无疑将为个人的职业发展来巨大的推动力。那么,如何有效地学习大数据呢?下面,我们将为您详细解读大数据学习的路线,帮助您从入门到精通,掌握大数据的核心技能。一、基础知识储备在学习大数据之前,我们需要具备一定的基础知识。这包括数学基础(如线性代数、概率论与数理统计)、编程基础(如Python、Java等编程语言)以及数据基础(如SQL语言)。这些基础知识将为后续的大数据学习奠定坚实的基础。二、大数据核心技术学习。

上班摸鱼中... 439

大数据介绍及计算机基础知识

学习python+大数据,先了解大数据的相关概念以及计算机基础知识

qq_52093150的博客 732

存储基础:DAS/NAS/SAN存储类型及应用

一、硬盘接口类型1. 并行接口还是串行接口  (1) 并行接口,指的是并行传输的接口,比如有0~9十个数字,用10条传输线,那么每根线只需要传输一位数字,即可完成。 从理论上看,并行传输效率很高,但是由于线路上的物理原因,它的传输频率不能太高,所以实际的传输速度并不和并行度成正比,甚至可能更差。   (2) 串行接口,指的是串行传输的接口,同样是0~9十个数字,用1条传输线,那么需要传输10次,

登高必自卑 行远必自迩 1841

数据安全知识:数据存储详解(非常详细),从存储介质到安全加密,零基础入门到精通,收藏这一篇就够了!

数据存储是利用计算机设备保存数字信息的过程。存储数据有助于高效地完成众多数字任务。计算机根据系统使用数据的方式利用不同类型的内存。例如,设备依靠 RAM 进行即时数据存储和检索,而ROM 则帮助存储长期数据。数据存储过程很快变得复杂。例如,处理大量数据的组织需要更快、大容量的存储设备。企业级数据存储面临的一些挑战是:数据量大。大数据项目、物联网、人工智能和机器学习需要大数据存储解决方案来存储大量数据。安全。企业需要一个安全的数据存储解决方案,并提供额外的保护,防止数据丢失和欺诈。数据的完整性。

shandongjiushen的博客 860

大数据平台之数据存储

大数据之数据存储技术

959 1万+

大数据存储架构

全称分布式文件系统Hadoop分布式计算中的数据存储系统用途:为Hadoop分布式计算提供数据存储,特别适用于大规模数据集。特点基于流数据模式,适合超大文件。运行在普通硬件上,成本低廉。简单文件模型,优化数据访问。强大的跨平台兼容性。HDFS(Hadoop Distributed File System)设计了多种容错机制来确保数据的可靠性和访问的连续性,即使在面临各种故障时也能保持稳定运行。

Xiao_die888的博客 1880

超全,超详细的Redis基础,你掌握了多少?

Redis 入门 Redis 诞生历程 从一个故事开始 08年的时候有一个意大利西西里岛的小伙子,笔名antirez(http://invece.org/),创建 了一个访客信息网站LLOOGG.COM。有的时候我们需要知道网站的访问情况,比如访 客的IP、操作系统、浏览器、使用的搜索关键词、所在地区、访问的网页地址等等。在 国内,有很多网站提供了这个功能,比如 CNZZ,百度统计,国外也有谷歌的 Google Analytics。我们不用自己写代码去实现这个功能,只需要在全局的footer里面嵌入一段 J

leon 1582

齿轮热处理工艺仿真例子

齿轮热处理工艺仿真例子

上一篇: Gcc 7.3.0安装
下一篇: C++ 智能指针初始化问题
jike28
博客等级 码龄16年 34粉丝 13原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值