大数据入门-大数据技术概述(一)

这篇具有很好参考价值的文章主要介绍了大数据入门-大数据技术概述(一)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

大数据入门系列文章

  1. 大数据入门-大数据是什么

一、概念

大数据技术是指在构架大数据平台的时候需要的技术。包含存储系统,数据库,数据仓库,资源调度,查询引擎,实时框架等。下面以我目前所了解到的一些技术做简要介绍。目前之介绍简单概念。

二、技术详解

1.基础架构:Hadoop

1.架构
大数据入门-大数据技术概述(一)

2.简介

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

2.分布式文件系统:HDFS
1.HDFS架构

大数据入门-大数据技术概述(一)

2.简介

指被设计成适合运行在通用硬件上的分布式文件系统。

3.特点

HDFS有着高容错性的特点,并且设计用来部署在低廉的硬件上。而且它提供高吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序。

3.数据仓库:Hive
1.架构

2.简介

Hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。

3.特点

执行过程走MapReduce比较慢,处理规模大,可扩展性高,加载模式为读时模式。后面就MapReduce会做专门的解释。

4.存储引擎:Kudu
1.架构

2.简介

Apache Kudu是由Cloudera开源的存储引擎,可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu支持水平扩展,使用Raft协议进行一致性保证,并且与Cloudera Impala和Apache Spark等当前流行的大数据查询和分析工具结合紧密。

3.特点

支持随机读写,支持OLAP 分析,太多列查询时性能下降,跟关系型数据有点类似。其存储文件不在HDFS上面,有自己的存储文件系统。

5.分布式数据库:HBase
1.架构

2.简介

HBase是一个开源的非关系型分布式数据库,它参考了谷歌的BigTable建模,实现的编程语言为Java。它是Apache软件基金会的Hadoop项目的一部分,运行于HDFS文件系统之上,为 Hadoop 提供类似于BigTable 规模的服务。因此,它可以容错地存储海量稀疏的数据。

3.特点

高可靠、高性能、面向列、可伸缩。

6.实时框架:Flink
1.架构

2.简介

Apache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行,以内存速度和任何规模执行计算。

3.特点

流处理特性、API支持、Libraries支持、整合支持。

三、其他
以上就是我目前涉及到的部分技术,下一篇出Zookpeer、Yarn、Spark、Impala、Kafka、Flume。
————————————————
版权声明:本文为CSDN博主「水坚石青」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/helongqiang/article/details/119282811文章来源地址https://www.toymoban.com/news/detail-495343.html

到了这里,关于大数据入门-大数据技术概述(一)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【ARM Cache 系列文章 8 -- ARM DynamIQ 技术介绍

    请阅读 【ARM Cache 系列文章专栏导读】 2017年3月21日下午,ARM在北京金隅喜来登酒店召开发布会,正式发布了全新的有针对人工智能及机器学习进行优化的DynamIQ技术,ARM 称 DynamIQ将是下一代计算革命的开始,将重新定义计算,可以覆盖覆盖从端到云的安全、通用平台。将被广

    2024年02月13日
    浏览(57)
  • 区块链入门系列文章—solidity中的HelloWord

    本系列教程将从零开始记入笔者学习区块链的过程,欢迎批评指正。 Solidity 的代码都涵盖在智能合约里面. 一个智能合约就是以太坊应用的最小单元, 所有的变量和函数都属于一个智能合约, 它是你所有应用的起点。 代码如下(示例): pragma solidity ^0.4.19; 0.4.19代表的是你使

    2024年02月02日
    浏览(58)
  • 【ARM Cache 系列文章 9 -- ARM big.LITTLE技术】

    转自 :https://zhuanlan.zhihu.com/p/630981648 如有侵权,请联系删除 为满足在移动设备应用领域中的节能需求,ARM于2011年首次提出了big.LITTLE技术。big.LITTLE技术是一种使用两种不同ARM处理器的处理架构技术,即big处理器和LITTLE处理器,big处理器用于提供高性能,LITTLE处理器用于追求

    2024年02月13日
    浏览(42)
  • API 渗透测试从入门到精通系列文章(下)

    导语:在本系列文章的前面一部分我们从使用 Postman 开始,创建了集合和请求,并通过 Burp Suite 设置为了 Postman 的代理,这样我们就可以使用 Burp 的模糊测试和请求篡改的功能。 在本系列文章的前面一部分我们从使用 Postman 开始,创建了集合和请求,并通过 Burp Suite 设置为了

    2024年02月03日
    浏览(52)
  • FPGA入门系列(1)产品选型(一篇文章弄懂FPGA不同系列)

    Xilin的FPGA芯片可以分为多个系列,我们常见的7系列、UltraScale、UltraScale+。 根据不同的工艺可以划分为45nm、28nm、20nm、16nm,可以划分为: 特别的在这些系列之外,还有ZYQN。这个系列主要的特点是在具备FPGA功能外,还额外封装了一个处理器,比较的常见的是ZYNQ-7000系列,便宜

    2024年04月14日
    浏览(57)
  • 【ARM Coresight Debug 系列 1 -- ARM Debug 技术概述】

    请阅读 【ARM Coresight SoC-400/SoC-600 专栏导读】 下篇文章:ARM Coresight 系列文章 2 - ARM Coresight 介绍 在过去的系统中,开发人员可能使用昂贵的硬件工具,如逻辑分析仪或示波器来观察程序的行为。但现代处理器是一个复杂的SOC,通常包含内存、缓存、和许多其他逻辑单元。可能

    2024年02月03日
    浏览(55)
  • uniapp快速入门系列(1)- 概述与基础知识

    1.1.1 什么是uniapp? uniapp是一款基于Vue.js框架的跨平台应用开发框架,它可以让开发者使用一套代码,同时构建多个平台(包括但不限于微信小程序、支付宝小程序、抖音小程序等)的应用程序。 在过去,我们可能需要分别使用不同的技术和工具来开发不同平台的应用,但是

    2024年02月07日
    浏览(52)
  • C++软件调试与异常排查从入门到精通系列文章汇总

    本文是 C++软件调试与异常排查从入门到精通系列教程 专栏的导航贴( 点击链接,跳转到专栏主页,欢迎订阅,持续更新… )。 📢 建议在阅读专栏文章时,使用本篇导航文章,本导航文章对专栏中的文章进行了分类与排序,读起来更有条理! 专栏介绍 :根据近几年C++软件

    2023年04月09日
    浏览(50)
  • Spring Security 6.x 系列【1】基础篇之概述及入门案例

    有道无术,术尚可求,有术无道,止于术。 本系列Spring Boot 版本 3.0.4 本系列Spring Security 版本 6.0.2 源码地址:https://gitee.com/pearl-organization/study-spring-security-demo 本系列基于最新 Spring Boot 3.0 + Spring Security 6.0 版本,由浅入深,从实战到源码分析,详细讲解各种 Spring Security 的使用

    2024年02月06日
    浏览(55)
  • 前端新手Vue3+Vite+Ts+Pinia+Sass项目指北系列文章 —— 第一章 技术栈简介 (开篇)

    旨在帮助初学者掌握使用现代前端技术栈构建应用的基础知识和技能。在这个系列中,我们将深入探讨如何结合Vue.js、Vite、TypeScript、Pinia和Sass这些强大的工具和框架来开发现代化的前端应用。 通过这个系列,我们将从零开始构建一个完整的前端项目,覆盖项目初始化、组件

    2024年02月05日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包