这篇具有很好参考价值的文章主要介绍了开源大数据集群部署（一）集群实施规划。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。
作者：櫰木
本次集群规划信息
本次实际生产业务体量存在巨大差异，但集群规划内容相同，因此建议实际生产环境按照按照一定比例扩展即可。文章来源：https://www.toymoban.com/news/detail-778415.html
主机操作系统要求
| 软件信息 |
参数 |
| 配置 |
8C16G |
| 操作系统版本 |
CentOS Linux release 7.8.2003 (Core) |
| java版本 |
java version "1.8.0_281" |
| hadoop版本 |
hadoop 3.2.4 |
集群版本规划
| 集群组建 |
版本 |
| HDFS |
3.2.4 |
| YARN |
3.2.4 |
| MapReduce2 |
3.2.4 |
| Hive |
3.1.2 |
| HBase |
2.1.0 |
| ZooKeeper |
3.7.1 |
| Trino |
389 |
主机角色规划
| 服务器 |
IP |
角色 |
| hd1.dtstack.com（管理节点） |
172.16.104.226 |
namenode/resourcemanager/journalnode/zkfc//hive_metastore/hiveserver2 |
| hd2.dtstack.com（管理节点） |
172.16.106.252 |
namenode/resourcemanager/journalnode/zkfc/hamster/ranger |
| hd3.dtstack.com（数据节点） |
172.16.107.127 |
datanode/nodemanager/journalnode/ |
| hd1.dtstack.com(kerberos节点) |
172.16.106.165 |
freeipaserver |
配置目录规划
所有安装包目录为/opt/hadoop 类似文章来源地址https://www.toymoban.com/news/detail-778415.html
| 组件 |
目录名称 |
目录 |
| HADOOP |
hadoop datanode目录 |
/data/hadoop/dfs/data |
|
hadoop namenode目录 |
/data/hadoop/dfs/name |
|
hadoop临时目录 |
/data/hadoop/tmp |
| ZOOKEEPER |
zookeeper数据目录 |
/data/zookeeper/data/ |
|
zookeeper日志目录 |
/data/zookeeper/log/ |
组件系统用户规划
| 组件 |
启动用户 |
所属组 |
| hdfs（namenode/datanode/zkfc/journalnode） |
hdfs |
hadoop |
| yarn（reourcemanager/nodemanager/） |
yarn |
hadoop |
| zookeeper |
zookeeper |
zookeeper |
| hive |
hive |
hadoop |
| hbase |
hbase |
hadoop |
| mysql |
mysql |
mysql |
| ranger |
ranger |
ranger |
| grafana |
grafana |
grafana |
| prometheus |
prometheus |
prometheus |
| trino |
trino |
hadoop |
到了这里，关于开源大数据集群部署（一）集群实施规划的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！
