大数据存储方式有哪些?

这篇具有很好参考价值的文章主要介绍了大数据存储方式有哪些?。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

写在前面

本文隶属于专栏《大数据从 0 到 1》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!

本专栏目录结构和文献引用请见《大数据从 0 到 1》


正文

数据常用的存储介质为磁盘和磁带。

数据存储组织方式因存储介质不同而异。

在磁带上数据仅按顺序文件方式存取,在磁盘上则可按使用要求采用直接存取方式。

数据存储方式与数据文件组织密切相关,其关键在于建立记录的逻辑与物理顺序间对应关系,确定存储地址,以提高数据存取速度。

1. 直接连接存储

DAS (Direct Attached Storage,直接连接存储)是指将外置存储设备通过连接电缆,直接连接到一台主机上,再直接连接到存储系统中,使得数据存储是整个主机结构的一部分,在这种情況下,文件和数据的管理依赖于本机操作系统。

操作系统对磁盘数据的读写与维护管理, 需要占用主机资源,如 CPU、系统IO 等。

直接连接存储的 优点是中间环节少,磁盘读写带宽的利用率高,成本也比较低;缺点是其扩展能力有限,数据存储占用主机资源,使得主机的性能受到相当大的影响,同时主机系统的软硬件故障将直接影响对存储数据的访问。

直接连接存储方式适用于小型网络及一些硬盘播出系统。

2.网络连接存储

NAS (Network Attached Storage,网络连接存储)全面改进了低效的 DAS 存储。

它采用独立于服务器,单独为网络数据存储而开发的一种文件服务器来连接所存储设备,自形成一个网络。

这样数据存储不再是服务器的附属,而是作为独立网络结点存在于网络之中,可由所有的网络用户共享。

由于NAS 可无须网络文件服务器,不依赖通用的操作系统,而是采用一个专门用于数据存储的简化操作系统,内置了网络通信协议,其内嵌的操作系统及硬件体系结构专门针对文件管理和存储管理进行设计和优化,去掉了通用服务器的大多数计算及多媒体功能,能提供高效率的文档服务,不仅响应速度快,而且数据传输速率高。

3.存储域网络存储

SAN (Storage Area Network,存储域网络)是指通过支持 SAN 协议的光纤信道交换机,将主机和存储系统联系起来,组成一个 LUN Based 的网络。

与传统技术相比,SAN 技术的最大特点是将存储设备从传统的以太网中隔离出来,成为独立的存储局域网络。

SAN 使得存储与服务器分开成为现实。SAN技术的另一大特点是完全采用光纤连接,从而保证了大的数据传输带宽。

SAN 具有以下优点:专为传输而设计的光纤信道协议,使其传输速率和传输效率都非常高,特别适合于大数据量高带宽的传输要求。SAN 采用了网络结构,所以具有无限的扩展能力。

SAN 的欲点是成本高,管理难度大。


DAS、 NAS 和 SAN 三种存储比较

DAS、NAS 和 SAN 三种存储共存与互补,已经能够很好地满足数据存储的应用。

  1. 连接方式。从连接方式上比较,DAS 采用了存储设备直接连接应用服务器,具有一定的灵活性和限制性;NAS 通过网络(TCP/IP、ATM、FDDI) 技术连接存储设备和应用服务器, 存储设备位置灵活,随着万兆网的出现,传输速率有了很大的提高;SAN 则是通过光纤通道技术连接存储设备和应用服务器,具有很好的传输速率和扩-展性能。三种存储方式各有优势, 相互共存,占到了现在磁盘存储市场的70%以上。
  2. 产品的价格。SAN 和 NAS 产品的价格仍然远远高于DAS,许多用户出于价格因素考虑选择了低效率的直连存储而不是高效率的共享存储。
  3. 自动精简配置。SAN 和NAS 系统可以利用自动精简配置技术来弥补早期存储分配不灵活问题。与直连存储架构相比,共享式的存储架构(如 SAN 或者 NAS) 都可以较好地完成存储问题。于是淘汰直接连接存储的进程越来越快。但是,目前直接连接存储仍然是服务器与存储连接的一种常用方式。

总结

数据常用的存储介质为磁盘和磁带,数据存储组织方式因存储介质不同而异。

直接连接存储(DAS)适用于小型网络及一些硬盘播出系统,网络连接存储(NAS)采用独立于服务器的一种文件服务器来连接所存储设备,存储域网络(SAN)通过支持SAN协议的光纤信道交换机,将主机和存储系统联系起来,组成一个LUN Based的网络。

DAS、NAS和SAN三种存储方式各有优劣,相互共存,占到了现在磁盘存储市场的70%以上。

SAN和NAS系统可以利用自动精简配置技术来弥补早期存储分配不灵活问题。

SAN和NAS产品的价格仍然远远高于DAS,许多用户出于价格因素考虑选择了低效率的直连存储而不是高效率的共享存储。


思维导图

大数据存储方式有哪些?文章来源地址https://www.toymoban.com/news/detail-471534.html

到了这里,关于大数据存储方式有哪些?的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • HTML中有哪些属于表单元素?那些属于表格元素?请分别列举5个并说明用途?

    在HTML中,有一些元素是专门用于表单的输入和布局,还有一些元素是专门用于表格的显示。以下是五个表单元素和五个表格元素,以及它们的用途: 表单元素: input :这是最常用的表单元素,用于获取用户输入的数据。可以通过不同的\\\"type\\\"属性值(如\\\"text\\\", \\\"password\\\", \\\"submit

    2024年01月22日
    浏览(49)
  • 什么是数据脱敏,数据脱敏有哪些方式

            数据脱敏又称数据去隐私化或数据变形,是在给定的规则、策略下对敏感数据进行变换、修改的技术机制,能够在很大程度上解决敏感数据在非可信环境中使用的问题。 静态脱敏 静态脱敏是指对敏感数据进行脱敏处理后,将数据从生产环境导入到其他非生产环境

    2024年02月11日
    浏览(53)
  • 这个开源项目,让你轻松搭建属于自己的云存储服务!

    大家好,我是 Java陈序员 。 我们在工作生活中,难免会有一些学习资料、文档,或者是生活中记录下来的精彩瞬间。大家是如何保存这些文件的呢? 可能有些文件仅仅是保存在本地的终端中,手机、电脑等。如果本地存储满了,会考虑将文件上传到云盘中。 如果你有自己的

    2024年02月03日
    浏览(55)
  • 哪些存储设备的数据需要注意,防止误删除或者格式化丢失?

    以下是一些存储设备的数据要注意,防止误删除或者格式化丢失: 1.硬盘:存储重要数据时要备份,避免硬盘故障、误格式化等情况导致数据丢失。 2.USB闪存驱动器:在拔出USB闪存驱动器前,应该先进行“安全删除”,否则可能会造成数据丢失、损坏等问题。 3.存储卡:避免

    2024年02月10日
    浏览(48)
  • 网络隔离后,网间数据交换方式有哪些?

    网络隔离通常由需要保护其内部网络和敏感数据不受外部威胁的企业实施,再通过安全可控的网间数据交换产品,来管控数据交换行为。 需要做网络隔离的企业可能包括但不限于政府部门、金融机构、能源和电力公司以及大型企业组织,比如生物制药、IC设计等有研发数据的

    2024年04月15日
    浏览(36)
  • JavaScript数据存储方式

    内置对象 js内部提供的对象,包含各种属性和方法给开发者调用 document.write() console.log() Math Math对象是js提供的一个 “数学”对象,提供了一系列做 数学运算 的方法 max 找最大值 Math.max(3,8,5,4) 返回8 min 找最小值 Math.min(3,8,5,4) 返回4 abs 绝对值 Math.abs(-1) 返回1 ceil 向上取整 Mat

    2024年02月12日
    浏览(39)
  • Python 数据存储 ---->方式

    我的个人博客主页:如果’\\\'真能转义1️⃣说1️⃣的博客主页 关于Python基本语法学习----可以参考我的这篇博客:《我在VScode学Python》 缕清一个关系–文本和文件的关系 1 最简单的就是文本文件,扩展名 .txt 对于大多数的平台或者系统都兼容的很好。 二进制文件是指以二进制

    2024年02月01日
    浏览(36)
  • 数据加密存储常见的加密方式

    下面详细说下数据加密存储常见的加密方式 数据加密存储方式一、MD5加密(加密不可逆) MD5的全称是Message-Digest Algorithm 5(信息摘要算法)。128位长度。目前MD5是不可逆算法。具有很高的安全性。对应任意字符串,可以加密成唯一的固定长度代码。 那为什么MD5加密算法是不

    2023年04月08日
    浏览(49)
  • 数据的存储方式(Parquet、ORC)

    目前的数据存储方式分为行式和列式。 按行存储   常见的关系型数据库,如Oracle、DB2、MySQL、SQL SERVER都是行式存储的, 在我们查询的条件需要得到大多数列的时候, 相对列式格式,查询效率更高。基础逻辑存储单元是行数据,在存储介质中是以连续存储的形式存在的。

    2024年02月09日
    浏览(46)
  • Unity——数据存储的几种方式

    PlayerPrefs适合用于 存储简单的键值对数据 存储的数据会在游戏关闭后依然保持,并且可以在不同场景之间共享,适合用于需要在游戏不同场景之间传递和保持的数据。 它利用key-value的方式将数据保存到本地,跟字典类似。然后通过代码进行保存、读取、更新操作。值得注意

    2024年02月03日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包