大数据学习之Hadoop-Toy模板网

这篇具有很好参考价值的文章主要介绍了大数据学习之Hadoop。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

分布式存储HadoopHDFS

1.分布式：将多台服务器集中在一起，每台服务器都能实现整个中的不同的业务，可以做不同的事。

举例：做一顿年夜饭，一个人的话花费时间会很久，但我可以多叫两个人来帮助我，一个人去买菜，一个人切菜，一个人炒菜，这样做完年夜饭的效率就大大提高了。

2.集群：所谓集群是指一组独立的计算机系统构成的一多处理器系统，它们之间通过网络实现进程间的通信，让若干台计算机联合起来工作(服务)，可以是并行的，也可以是做备份。

总结：简单来说分布式就是多台机器做不同的事，然后组成一个整体，而集群是多台机器做相同的事

大数据学习之Hadoop,大数据,学习,hadoop,分布式,big data,linux

如果多人待在一起的话会引起混乱，这里我们引入一个新词叫主从模式

3.主从模式：有一个中心节点（服务器）来统筹其它服务器的工作，统一指挥，统一调派，避免混乱

4.Hadoop就是采用主从模式（中心化模式）的架构。

1.HDFS：分布式存储框架

2.MapReduce ：分布式计算框架

3.Yarn：任务调度器和接收器

1.Hadoop1.x

Hadoop1.x是由HDFS和MapReduce组成

HDFS集群

MapReduce集群

2.Hadoop2.x（第一版已经淘汰，主要记第二版）

由于在第一版中MapReduce集群中的主节点JobTracker任务过于繁重，容易造成单点故障，所以引入了第二版

Hadoop2.x = HDFS+MapReduce+Yarn（Hadoop3.x也是一样的）

HDFS集群：作用同上

Yarn集群：

3.Hadoop集群高可用模式图解大数据学习之Hadoop,大数据,学习,hadoop,分布式,big data,linux

格式：hadoop fs <args> #既可以操作HDFS，也可以操作本地系统

或者

hdfs dfs <args> #只能操作HDFS系统

ls命令，例如hadoop fs -ls / #显示文件列表 hadoop fs –ls -R / #递归显示文件列表
mkdir命令，hadoop fs -mkdir /dir1 #创建目录 hadoop fs -mkdir -p /aaa/bbb/ccc创建多级目录
put命令， hadoop fs -put /root/1.txt /dir1 #上传文件 hadoop fs –put /root/dir2 / #上传目录（注意，前面是Linux的文件，必须写绝对路径，后者是HDFS路径）
get命令，hadoop fs -get /input/1.txt ./ #将HDFS文件拷贝到Linux # 1.txt是HDFS的文件路径, ./Linux的路径.

三大机制：

心跳机制：1.datanode会像主节点namenode每隔一段时间（3s）都会发送一次心跳包，作用就是报活，证明我还能正常工作。2.如果namenode一段时间没有收到datanode的心跳包，就会认为datanode宕机了，就会将该datanode的块信息传给其他活跃的datanode存储。3.每隔6个小时，所有的datanode会向namenode汇报一次自己完整的块信息，让namenode进行更新校正。
负载均衡：namenode会让所有的datanode资源使用率尽量保持一致。
副本机制：可以提高容错率，默认副本数为3