基于Docker搭建hdfs分布式实验环境-Toy模板网

这篇具有很好参考价值的文章主要介绍了基于Docker搭建hdfs分布式实验环境。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1. 理论知识
  1. Docker

Docker 是一个开源的应用容器引擎，基于 Go 语言并遵从 Apache2.0 协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口，容器性能开销极低。

Docker 能够将应用程序与基础架构分开，从而可以快速交付软件。借助 Docker，开发者可以与管理应用程序相同的方式来管理基础架构。通过利用 Docker 的方法来快速交付，测试和部署代码，可以大大减少编写代码和在生产环境中运行代码之间的延迟。

1.快速，一致地交付应用程序。Docker 允许开发人员使用应用程序或服务的本地容器在标准化环境中工作，从而简化了开发的生命周期。

2.响应式部署和扩展。Docker 是基于容器的平台，允许高度可移植的工作负载。Docker 容器可以在开发人员的本机上，数据中心的物理或虚拟机上，云服务上或混合环境中运行。

3.在同一硬件上运行更多工作负载。Docker 轻巧快速，它为基于虚拟机管理程序的虚拟机提供了可行、经济、高效的替代方案。

1. 1. HDFS

HDFS（Hadoop Distributed File System），作为Google File System（GFS）的实现，是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来了很多便利。

HDFS由四部分组成，HDFS Client、NameNode、DataNode和Secondary NameNode。
HDFS是一个主/从（Mater/Slave）体系结构，HDFS集群拥有一个NameNode和一些DataNode。NameNode管理文件系统的元数据，DataNode存储实际的数据。

HDFS特点：高容错性、可构建在廉价机器上；适合批处理；适合大数据处理；流式文件访问。

HDFS局限：不支持低延迟访问；不适合小文件存储；不支持并发写入；不支持修改。

HDFS结构图文章来源地址https://www.toymoban.com/news/detail-400363.html