存储网络架构——DAS、NAS、SAN、分布式组网架构

这篇具有很好参考价值的文章主要介绍了存储网络架构——DAS、NAS、SAN、分布式组网架构。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

物理存储的类型

存储网络架构

DAS直连式存储

NAS网络附加存储

SAN存储区域网络

分布式存储组网


物理存储的类型

存储的类型主要包含块存储、文件存储、对象存储、表格存储等

常用的为块存储和文件存储(文件存储可以直接进行文件读写,块存储需要进行文件系统格式化后才可以进行文件读写)

存储网络架构——DAS、NAS、SAN、分布式组网架构

块存储

本质就是直接将磁盘空间通过各种方式提供给主机

可扩展性和课管理性差

读写效率好,延迟低

文件级存储

在硬件存储上建立文件系统,然后直接将文件提供给主机

读写效率低,延迟大

扩展性好、易于管理,价格便宜

NAS网络中所有连接到NAS服务器的电脑,都能够直接访问NAS服务器,NAS服务器提供了文件级的存储服务,就可以通过NAS服务器来共享文件

对象存储

文件存储和对象存储都是用来存储非结构化数据的(图片、视频、音频等),两者最大的不同是数据保管的方式不同

文件系统是以目录树的形式存放文件的,对象存储没有目录结构,存储在对象存储的文件都称为对象,所有对象都放在一个“桶”中(也就是存储空间),是一种非常扁平化的存储方式

每个对象都有由三个部分组成

ID:对象的身份标识,唯一的

Data:真实的数据

Metadata:元数据(元数据是对数据的描述)

元数据的作用

  1. 对文件进行分类和标记(可以将一个文件打上多种标记,更加灵活)
  2. 信息检索(直接通过标记来找文件,更加快捷)

如何访问

通过对象ID来进行访问,存储到“桶“中的每一个对象都有一个唯一的ID标识(只是一个编号),当想要访问某个对象时,只需要知道其对应的ID就可以,因此对象存储会维护每个ID实际对应的硬盘位置

除了对象和对象真实的信息外,还有对象的元数据

注意实现

对象存储中的文件夹不是一个真正的文件夹,也只是一个对象,但是这个对象代表了一类

在存储时,如果多个用户同时存储了相同的文件,那么在存储后端只有一份关于该文件的数据

存储网络架构

存储网络架构——DAS、NAS、SAN、分布式组网架构

按照服务器类型分为封闭系统和开放系统的存储

       封闭系统的存储:主要指的是大型计算机系统

       开放系统的存储:指基于Windows、Linux等操作系统的服务器

对于开放系统的存储按照存储的连接方式分为内置存储和外置存储

       内置存储:一般指直接和计算机的CPU或主板相连的存储,例如内存、高速缓存等

       外置存储:非内置存储就是外置内存

外置存储根据连接的方式分为DAS直连式存储和FAS网络接入存储

FAS网络接入存储又根据网络传输协议分为NAS网络接入存储、SAN存储区域网络

存储网络架构——DAS、NAS、SAN、分布式组网架构

DAS直连式存储

DAS是一种存储设备与使用存储空间的服务器通过总线适配器和SCSI/FC线缆直接相连的技术

DAS的分类

内置DAS

存储设备通过服务器机箱内部的并行/串行总线与服务器相连接(常用IDE和SATA连接协议)

存储网络架构——DAS、NAS、SAN、分布式组网架构

外置DAS

存储设备与服务器基于总线直接连接,通过FC、SCSI等协议进行通信

通过将JBOD(磁盘簇)做RAID,然后与服务器连接,提高数据安全性

存储网络架构——DAS、NAS、SAN、分布式组网架构

DAS的优点

本地数据供给优势明显、成本低、见效快、系统可靠性高

DAS的缺点

存在数据传输距离有限、存储所能连接的设备数量有限、资源共享受限等问题

NAS网络附加存储

NAS是一种将存储设备连接到网络上,通过网络共享协议向主机提供数据和文件服务的一种存储网络架构

特点

文件系统由存储设备维护,用户访问文件系统,不直接访问底层存储

存储设备拥有所有主机上文件与底层存储空间的映射,所以此模式非常利于共享

NAS一般使用用户的业务网络来传输存储数据,可能会影响业务传输

NAS组网

存储网络架构——DAS、NAS、SAN、分布式组网架构

最常用的网络共享协议

CIFS(Window)、NFS(Linux)、FTP、HTTP、NDMP等

优缺点

优点:可以实现跨平台的数据共享

缺点:应用有局限,不太适合对存储有大规模需求的场景(例如:无法在NAS存储上安装操作系统)


SAN存储区域网络

SAN是一种高可用性、高性能的专用存储网络,通过专用的存储网络将服务器和存储设备连接起来(这个网络可以是FC网络,也可以是IP网络,具体取决于服务器和磁盘阵列之间通过什么样的存储协议进行通信)

特点

SAN向主机提供块存储,主机访问块存储(LUN),然后在其中创建文件,文件存储由主机端维护,主机与主机之间的文件系统没有同步

例如:当用户1与用户2访问存储数据时,对于用户2来说,他不知道用户1使用的哪些存储资源,那用户2就有可能写入资源覆盖了用户1的资源

搭建专用于存储的网络,安全性高,成本高

为了使得主机之间使用了哪些存储资源进行同步,这个数据同步的而过程我们称为集群文件系统,是通过在主机上安装相应的软件来实现的;但是集群文件系统使用有限制:所支持主机同步的最大数量为128台主机左右

SAN组网架构

存储网络架构——DAS、NAS、SAN、分布式组网架构

最常用的SAN存储网络

IP SAN(主机通过IP网络可以获取到存储设备上的块存储)

FC SAN(主机通过FC网络可以获取到存储设备上的块存储)

FCoE SAN(RCoE网络是将FC帧封装到以太网种,实现在以太网基础设施上传输光纤信号的功能,成本降低)

IP SAN 与 FC SAN的区别

存储网络架构——DAS、NAS、SAN、分布式组网架构


分布式存储组网

传统存储存在的问题

1、性能瓶颈

集中存储都是使用的专用的存储设备,而专用存储设备主要有控制单元和存储单元组成;控制单元中直接与外界交流的机头,会有数据吞吐量的限制,影响性能瓶颈;存储单元中RAID卡或总线的带宽都有一个上限,这个上限在一定程度上也会影响集中存储的性能瓶颈
2、不同厂家传统存储之间具有差异性,不方便同一管理

3、专用存储设备的成本高(远高于x86服务器价格)

4、传统的SAN、NAS扩展能力受限,不能满足大规模存储应用的需要

分布式存储基本概念--存储资源虚拟化

分布式存储是通过在服务器(称之为存储服务器)上安装相应软件(例如FusionStorage),将各个服务器上的HDD、SSD等存储介质资源虚拟成一个大的存储资源池,将分散的存储资源整合到一起,在保证可靠性的同时提供多种存储服务;在使用分布式存储时一般都会配合使用存储虚拟化

分布式存储组网架构

主要分为前端业务网络、管理网络和后端存储网络

前端业务/租户组网:用于分布式网络与用户网络对接,提供给租户使用

后端存储组网:        用于后端存储连接

管理网络:               与用户维护网络对接

分布式存储后端网络一般采用10GE,25GE和IB网络;前端网络一般采用GE,10GE,25GE网络

存储网络架构——DAS、NAS、SAN、分布式组网架构

分布式存储如何保证数据的可靠性

传统的RAID在分布式存储中遇到了瓶颈,因此提出了多副本和纠错码等新的数据保护方式

1、多副本

多副本就是创建多个副本,也就是在保存数据时,会将一个数据拷贝多份完全一样的副本,然后分别存放在多个不同的节点上;当某个副本丢失时,可以通过另一个副本复制来恢复数据

一般创建双副本和三副本

2、纠错码(nDxP)

纠删码就是一种纠正数据丢失的校验码,通过校验的方式来恢复数据

nDxP:n个数据盘和x个校验盘

4D2P:4块存储数据,2块做校验

  双副本 三副本 纠删码(2D1P)
存储空间利用率 50% 33.33% D/D+P
整体IO效率 50% 33% D/D+P
最低配置要求 2 3 D+P
可靠性 允许1块坏 允许2块坏 P块盘

特点

分布式存储通过存储虚拟化将存储设备进行抽象,以逻辑资源的方式呈现,统一提供全面的存储服务

可以在不同的存储形态或者设备类型之间提供统一的功能(即物理资源可以是服务器存储资源、专用存储设备的存储资源等,将其虚拟为统一的逻辑资源)

成本降低、横向扩展能力强、资源部利用率更高、管理方便

存储网络架构——DAS、NAS、SAN、分布式组网架构文章来源地址https://www.toymoban.com/news/detail-432501.html

到了这里,关于存储网络架构——DAS、NAS、SAN、分布式组网架构的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 分布式系统架构设计之分布式数据存储的安全隐私和性能优化

    在前面分布式系统部分,有对安全性做过介绍,如前面所述,在分布式系统中,确保系统的安全性和隐私是至关重要的。安全性关注系统的防护措施,而隐私是关注用户的个人信息保护。 身份认证:确保用户和系统组件的身份是合法的,通过通过密码、令牌或证书实现 授权

    2024年02月02日
    浏览(43)
  • 分布式系统架构设计之分布式数据存储的扩展方式、主从复制以及分布式一致性

    在分布式系统中,数据存储的扩展是为了适应业务的增长和提高系统的性能。分为水平扩展和垂直扩展两种方式,这两种方式在架构设计和应用场景上有着不同的优势和局限性。 水平扩展是通过增加节点或服务器的数量来扩大整个系统的容量和性能。在数据存储领域,水平扩

    2024年02月03日
    浏览(50)
  • 存储快速入门——【1】网络存储主要技术(NAS、SAN、SCSI、CIFS、zone)

    在20世纪80年代初,英国纽卡斯尔大学布赖恩.兰德尔教授 ( Brian Randell)和同事通过“纽卡斯尔连接”成功示范和开发了在整套UNIX机器上的远程文件访问。继“纽卡斯尔连接”之后, 1984 年Sun公司发布了NFS协议,允许网络服务器与网络客户分享他们的存储空间。90年代初Auspex工程

    2024年02月09日
    浏览(35)
  • 深入浅出 -- 系统架构之分布式多形态的存储型集群

    在上阶段,我们简单聊了下集群的基本知识,以及快速过了一下逻辑处理型集群的内容,下面重点来看看存储型集群,毕竟这块才是重头戏,集群的形态在其中有着多种多样的变化。 逻辑处理型的应用,部署集群架构是为了解决单点故障、获得更高的吞吐量,集群内各节点之

    2024年04月10日
    浏览(45)
  • 分布式数据存储建设方法论——从HDFS架构优化与实践分析

    作者:禅与计算机程序设计艺术 随着互联网、云计算、大数据等新一代信息技术的出现和普及,数据量的激增、数据安全性的需求以及数据的分布式储存需求日益成为各大公司和组织面临的难题。传统的单体架构模式已经无法应付如此复杂的业务场景,因此,分布式数据存储

    2024年02月11日
    浏览(45)
  • 分布式软件架构——内容分发网络

    其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输得更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络,CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的

    2024年02月15日
    浏览(34)
  • 鹏云网络分布式块存储社区版问世,首发开源存储解决方案

          2023年1月,南京鹏云网络科技有限公司(简称:鹏云网络)正式宣布开源ZettaStor DBS分布式块存储系统,开放了自研10余年的分布式块存储技术,自此踏上了“自研”与“开源”一体并行的生态闭环之路。 研发十年,挑战块存技术上限       成本、效率、高可用,一直

    2024年02月11日
    浏览(31)
  • 论文阅读-Pegasus:通过网络内一致性目录容忍分布式存储中的偏斜工作负载

    论文名称: Pegasus: Tolerating Skewed Workloads in Distributed Storage with In-Network Coherence Directories 高性能分布式存储系统面临着由于偏斜和动态工作负载引起的负载不平衡的挑战。本文介绍了Pegasus,这是一个利用新一代 可编程交换机ASIC 来平衡存储服务器负载的新型存储系统。Pegasus使

    2024年02月20日
    浏览(50)
  • Unity与C++网络游戏开发实战:基于VR、AI与分布式架构 【1.6】

    3.8 Unity中使用协程         协程是在Unity中经常使用的一种辅助处理模式。比如,我们需要设计一个人一边走动一边去观察周围的情况,走动和观察这两种运动同时进行。这时我们可以使用多线程来处理这个问题,但是多线程在内存和CPU的调度时间上具有一些风险。此时在

    2024年04月10日
    浏览(37)
  • 【分布式技术】分布式存储ceph之RBD块存储部署

    目录 创建 Ceph 块存储系统 RBD 接口 服务端操作 1、创建一个名为 rbd-demo 的专门用于 RBD 的存储池 2、将存储池转换为 RBD 模式 3、初始化存储池 4、创建镜像 5、在管理节点创建并授权一个用户可访问指定的 RBD 存储池 6、修改RBD镜像特性,CentOS7默认情况下只支持layering和stripin

    2024年01月18日
    浏览(58)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包