大数据分析-第三章 大数据存储和处理

Lecture3-大数据存储和处理

1. 常见存储方式

1. 关系型数据库
2. NoSQL:泛指非关系型数据库，比如MongoDB
3. 全文检索框架:Elasticsearch

1.1. 存储的区别

1. 行式存储：大数据量查询，如果没有索引，则会遍历
2. 列式存储：可以大量的压缩空间
3. 位图索引

位图索引的例子，如下图所示，我们可以存储为

1. “男”:100101
2. “女”:011010

1.2. 不同形式存储的对比

1. MySQL形式存储

1,小明,21,男,女
2,隔壁老王,25, null, 隔壁孩子

2. HBase的形式存储:
   1. HBase是一个分布式列式存储系统，记录按列簇集中存放，通过主键(row, key)和主键的range来检索数据。
   2. HBase表中每个列都属于某一个列簇
   3. 列簇是表的Schame的一部分，但是列不是，列名都是以列簇作为前缀。

<1, name>,小明
<1, age>, 21
...
<2, name>, 隔壁老王

3. 传统表中使用Alter子句来修改表结构，而HBase直接插入就可以修改表结构

1.3. ES方式

倒排索引示例:ES的存储(倒排索引)的结果如下

1. 应该将查询频率高的单词放在前面(越高越前)
2. ES默认将文档存储，也可以配置不存储文件信息
3. TF-IDF算法：参见Tec1-TF-IDF算法

1.4. 列存储和行存储

1.5. 读写的区别

1.6. 聚簇索引和非聚簇索引

物理存储的最小的单位是块(Block)

聚集索引	非聚集索引

1.7. MySQL

1. 查询:Select (tuple) from database
2. 插入:Insert into database value
3. 更新:Update database set xxx = xxx where statement
4. 删除:Delete from database where xxx

1.8. HBase

1.8.1. HBase对LSM的实现

LSM，Log-Structured Merge-Tree，日志结构合并树

1. 假设内存非常大，有限的使用内存存储，结合日志结构实现。
2. 有数据更新不是立马更新，而是先驻留数据，积累到一定条目后归并排序，然后追加到磁盘的队列中，这样子可以显著减少磁盘的开销，一次性大规模写入，减少随机的I/O，不能命中会导致较多的磁盘消耗。

1.8.2. HBase的实现

1. 查询
2. 插入
3. 更新&删除:看做一个插入操作，使用时间戳和Delete标识来标识

memstore:插入时优先放置到memstore，驻存内存，到了一定程度后再刷新到storeFile、插入都是写入操作

1.9. ES

1.9.1. ES的部分实现方式

1. 一个Node是一个进程
2. 容灾的话就是多副本容灾

1.9.2. ES的操作

1. 插入:和HBase相似，不是写入即可查询，建立index需要比较大的开销
2. 读取
3. 更新&删除

1.10. 不同存储的容灾方式

2. Hadoop介绍

Hadoop:一个Apache基金会开发的开源软件框架，支持在由普通计算机组成的集群中运行海量数据的分布式计算，他可以让应用程序轻松扩展到上千个节点和PB级别的数据。

2.1. Google 三大论文

1. MapReduce
2. GFS
3. Big Table

2.2. Doug Cutting 山寨项目

1. MapReduce
2. HDFS
3. HBase

2.3. 大数据处理层次架构

2.4. Hadoop核心

1. MapReduce
   1. Map:任务的分解
   2. Reduce:结构的汇总
2. HDFS
   1. NameNode
   2. DataNode
   3. Client

2.4.1. MapReduce

1. MapReduce是一种并行编程模型，其实是分治算法的一种实现，适用于大规模数据集的并行计算
   1. map:(k1,v1)->list(k2,v2)
   2. reduce:(k2,list(v2)) -> (k3, v3)
2. 示例:曹冲称象
3. 过程:Input -> Map -> Sort -> Combine -> Partition -> Reduce -> Output

2.4.2. HDFS的基本概念

1. Block
2. NameNode & Secondary NameNode
3. Datanode

2.4.3. HDFS架构

2.4.3.1. Block

1. 块大小默认为64M(v1.0)
2. 块大小默认为128M(v2.0)
3. 数据和元数据

3. 备份
4. 一次写入多次读取

2.4.3.2. NameNode

1. 可以看做是分布式文件系统中的管理者，存储文件系统的metadata，主要负责管理文件系统的命名空间，集群配置信息，存储块的赋值
2. 两个文件：EditLog、FSImage
3. 两个映射：Filename -> BlockSequence(FsImage)、Block -> DatanodeList(BlockReport)
4. 单点(NameNode)风险

2.4.3.3. Secondary NameNode

1. 不是备用NameNode，而是秘书
2. 合并和保存EditLog、FSImage
   1. Checkpoint.period
   2. Checkpoint.size

2.4.3.4. Datanode

文件存储的基本单位。它存储文件块在本地文件系统中，保存了文件块的meta-data，同时周期性的发送所有存在的文件块的报错给Namenode

2.4.3.5. HDFS文件读写

读文件：读取完之后会校验(Check Sum)，未通过则告知错误

写文件:复制的策略，冗余数据放置在机柜中，跨机柜要经过交换机等设备

3. HBase

1. HBase以谷歌的BigTable为模型，并用Java编写
2. HBase是在HDFS上开发，提供了一种容错的方式存储大量的稀疏数据
3. 一个HBase系统包括一组表，每个表包含行和列，就像传统的数据库一样。每个表都必须有一个定义为主键的元素，所有对HBase表的访问尝试都必须使用这个主键。一个HBase Column表示一个对象属性。

3.1. 什么是HBase

1. HBase是一个分布式、非结构化、稀疏、面向列的数据库。
2. HBase是基于HDFS，山寨版的BigTable，继承了可靠性、高性能、可伸缩性

3.2. HBase架构

3.3. HBase角色

3.4. HBase数据模型

Table & Column Family

1. RowKey:Table的主键, 记录按照RowKey排序
2. Timestamp:每次数据操作对应的时间戳,可以看作是数据的version number(垃圾清理)
3. Column Family:Table在水平方向由一个或者多个Column Family组成,一个Column Family中可以由任意多个Colum组成

Table & Region

1. 记录数不断增多后,Table会逐渐分裂成多份splits,成为regions
2. 一个region由[startkey,endkey)表示
3. 不同的region会被Master分配给相应的RegionServer进行管理.

1. .META.:记录用户表的Region信息,可以有多个regoin
2. -ROOT-:记录.META.表的Region信息,只有一个region
3. Zookeeper:记录了-ROOT-表的location

3.5. 数据导入

1. Sybase -> HBase
   1. bcp out
   2. importtsv

hadoop jar ~/hbase-0.92.1/hbase-0.92.1.jar importtsv \
-Dimporttsv.separator= "," # 指定输入文件的分隔符为;\
-Dimporttsv.bulk.output=/output # 输出hfile到/output
-Dimporttsv.columns=HBASE ROW KEY,cf1:USER NAME
#源文件的第一列为rowkey ，第二列为cf1:USER NAME\
users /bulkload/users.txt #导 入hbase的users表中,输 入文件在/bulkload\
hadoop jar ~/hbase-0.92. 1/hbase-0.92.1.jar completebulkload/output users

3.6. 访问接口

1. Hadoop & HBase提供JAVA接口
2. Thrift支持多语言访问HBase，C++、C#、Cocoa、Erlang、Haskell、Java、Ocami、Perl、PHP、Python、Ruby、Smalltalk

4. Hive

1. Hive是基于Hadoop的数据仓库工具，提供完整的SQL查询功能，可以将结构化的数据文件映射为一张数据库表。
   1. 可以将SQL语句转换为MapReduce任务进行运行。
   2. 可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用
2. 学习成本低

4.1. Hive体系结构

4.2. Hive运维要点

Hive相当于一套Hadoop的访问接口，运维如下几个问题需要注意

1. 使用单独的数据库存储元数据
2. 定义合理的表分区和键
3. 设置合理的bucket数据量
4. 进行表压缩
5. 定义外部表使用规范
6. 合理的控制Mapper，Reducer数量

5. Pig

Apache Pig架构文章来源地址https://www.toymoban.com/news/detail-488309.html

1. 严格用于使用Pig分析Hadoop中的数据的语言称为Pig Latin是一种高级数据处理语言。它提供了一组丰富的数据类型和操作符来对数据执行各种操作。
2. 要执行特定任务时，程序员使用Pig，需要用Pig Latin语言编写Pig脚本,并使用任何执行机制( Grunt Shell，UDFs，Embedded )执行它们。执行后,这些脚本将通过应用Pig框架的一系列转换来生成所需的输出。
3. 在内部, Apache Pig将这些脚本转换为一系列MapReduce作业,因此,它使程序员的工作变得容易。

5.1. Pig组成组成

1. Parser (解析器)：最初, Pig脚本由解析器处理,它检查脚本的语法,类型检查和其他杂项检查。解析器的输出将是DAG(有向无环图),它表示Pig Latin语句和逻辑运算符。在DAG中,脚本的逻辑运算符表示为节点,数据流表示为边。
2. Optimizer (优化器)：逻辑计划(DAG)传递到逻辑优化器,逻辑优化器执行逻辑优化,例如投影和下推。
3. Compiler (编译器)：编译器将优化的逻辑计划编译为一系列MapReduce作业。
4. Execution engine (执行引擎)：最后,MapReduce作业以排序顺序提交到Hadoop。这些MapReduce作业在Hadoop上执行,产生所需的结果。

5.2. Pig与SQL区别

1. 使用延迟评价、使用ETL、能够在管道中任何时刻存储数据、支持管道分裂
2. Pig Latin是程序性的,它在管道范例中非常自然,而SQL则是声明性的。在SQL用户中,可以指定要连接两个表的数据,但不能指定要使用的连接实现。
3. Pig Latin允许用户指定一个实现或实现的各个方面 ,以在多个方面执行脚本。Pig Latin编程类似于 指定查询执行计划。

6. 参考

1. HBase存储方式

到了这里，关于大数据分析-第三章 大数据存储和处理的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！