HDFS NFS Gateway(环境配置,超级详细!!)

这篇具有很好参考价值的文章主要介绍了HDFS NFS Gateway(环境配置,超级详细!!)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

🐮博主syst1m 带你 acquire knowledge!

✨博客首页——syst1m的博客💘

😘《CTF专栏》超级详细的解析,宝宝级教学让你从蹒跚学步到健步如飞🙈

😎《大数据专栏》大数据从0到秃头👽,从分析到决策,无所不能❕

🔥 《python面向对象(人狗大战)》突破百万的阅读量,上过各种各样的官方大型专栏,python面向对象必学之一!🐽

🎉希望本文能够给读者带来帮助,更好地理解这个问题或解决你的困惑🐾

HDFS NFS Gateway简介:

​ HDFS NFS Gateway是Hadoop Distributed File System(HDFS)中的一个组件,它允许客户端通过NFS(Network File System,网络文件系统)与HDFS进行交互。具体来说,HDFS NFS Gateway允许客户端像访问本地文件系统一样挂载和访问HDFS文件系统,支持上传,下载,删除,追加内容,有点类似于windows的文件共享。下面正文即开始讲解该组件的功能使用,以及配置

正文

以图片的方式描述NFS,让读者能更好的理解!

​ 如下图,将HDFS挂载为windows文件管理器的网络位置

HDFS NFS Gateway(环境配置,超级详细!!),大数据,hdfs,gateway,hadoop

HDFS NFS Gateway(环境配置,超级详细!!),大数据,hdfs,gateway,hadoop

hadoop内容

HDFS NFS Gateway(环境配置,超级详细!!),大数据,hdfs,gateway,hadoop

1,配置NFS

配置HDFS需要配置如下内容

core-site.xml,新增配置项以及hdfs-site.xml,新增配置项

开启protmap,nfs3两个进程

在root1进行如下操作

1.1 在core-site.xml内新增如下两项

HDFS NFS Gateway(环境配置,超级详细!!),大数据,hdfs,gateway,hadoop

1.2 在hdfs-site.xml中新增如下项

HDFS NFS Gateway(环境配置,超级详细!!),大数据,hdfs,gateway,hadoop

nfs.suerpser:NFS操作HDFS系统,所使用的超级用户(hdfs的启动用户为超级用户)

nfs.dump.dir:NFS接受数据上传时使用的临时目录

nfs.exports.allowed.hosts:NFS允许连接的客户端IP和权限,rw表示读写,ip整体活部分可以*代替

上面写的192.168.88.1以rw连接(这个是电脑虚拟网卡VMnet8的IP,与虚拟机通讯就走这个网卡)

HDFS NFS Gateway(环境配置,超级详细!!),大数据,hdfs,gateway,hadoop

2,启用NFS功能

2.1 将配置好的core-site.xml和hdfs-site.xml分发到root2和root3

HDFS NFS Gateway(环境配置,超级详细!!),大数据,hdfs,gateway,hadoop

2.2 重启Hadoop HDFS集群(先stop-dfs.sh然后start-dfs.sh)

HDFS NFS Gateway(环境配置,超级详细!!),大数据,hdfs,gateway,hadoop

2.3 停止系统的NFS相关进程

systemctl stop nfs;systemctl disable nfs 关闭系统nfs并关闭其开机自启

HDFS NFS Gateway(环境配置,超级详细!!),大数据,hdfs,gateway,hadoop

2.4 启动portmap(HDFS自带的rpcbind功能)(必须root执行):hdfs --daemon start portmap

HDFS NFS Gateway(环境配置,超级详细!!),大数据,hdfs,gateway,hadoop

2.5 启动nfs(HDFS自带的nfs功能)(必须以hadoop用户执行):hdfs --daemon start nfs3

HDFS NFS Gateway(环境配置,超级详细!!),大数据,hdfs,gateway,hadoop

2.6 最后启动HDFS集群

检查NFS是否正常

以下操作在root2或root3执行(因为root1卸载了rpcbind,缺少了必要的2个命令)

执行:rpcinfo -p root1,正常输出如下

HDFS NFS Gateway(环境配置,超级详细!!),大数据,hdfs,gateway,hadoop

执行showmount -e root1

可以看到 / 192.168.88.1

HDFS NFS Gateway(环境配置,超级详细!!),大数据,hdfs,gateway,hadoop

这样就是表示正常了

3,在windows挂载HDFS文件系统(windows必须是专业版)

3.1 开启windows的NFS功能

HDFS NFS Gateway(环境配置,超级详细!!),大数据,hdfs,gateway,hadoop

3.2 在windows挂载HDFS文件系统并访问

在windows命令提示符cmd输入net use X:\192.168.88.101!

HDFS NFS Gateway(环境配置,超级详细!!),大数据,hdfs,gateway,hadoop

总结

到这里这个HDSF NFS就完全部署完成了,希望该文章能有有效的帮助到大家,如有不懂的,可留言,来帮你解决剩下的疑难问题文章来源地址https://www.toymoban.com/news/detail-765569.html

到了这里,关于HDFS NFS Gateway(环境配置,超级详细!!)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【大数据】HDFS客户端命令行(hdfs dfs)详细使用说明

    hadoop分布式文件系统客户端命令行操作 全局变量说明 Path 路径支持正则表达式 通配符 名称 匹配 * 星号 匹配0或多个字符 ? 问号 匹配单一字符 [ab] 字符类别 匹配{a,b}中的一个字符 [^ab] 非字符类别 匹配不是{a,b}中的一个字符 [a-b] 字符范围 匹配一个在{a,b}范围内的 字符(包括

    2024年02月09日
    浏览(52)
  • 黑马大数据学习笔记2-HDFS环境部署

    https://www.bilibili.com/video/BV1WY4y197g7?p=22 Hadoop HDFS的角色包含: NameNode,主节点管理者 DataNode,从节点工作者 SecondaryNameNode,主节点辅助 节点 CPU 内存 服务 node1 1核心 4GB NameNode、DataNode、SecondaryNameNode node2 1核心 2GB DataNode node3 1核心 2GB DataNode node1节点执行,root身份登录 上传Hadoo

    2024年02月16日
    浏览(31)
  • 大数据技术之Hadoop(HDFS)——超详细

    1.1 HDFS产出背景及定义 1)HDFS产生背景 先给大家介绍一下什么叫HDFS,我们生活在信息爆炸的时代,随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这

    2024年02月03日
    浏览(56)
  • HDFS中的NAMENODE元数据管理(超详细)

    在HDFS中,元数据主要值得是文件相关的元数据,有namenode管理维护。从广义的角度来说,因为namenode还需要管理众多的DataNode结点,因此DataNode的位置和健康状态信息也属于元数据 在hdfs中,文件相关的元数据具有两种类型: 文件自身属性信息 文件名称、权限、修改时间,文件

    2024年02月13日
    浏览(60)
  • ClickHouse配置Hdfs存储数据

    背景 由于公司初始使用Hadoop这一套,所以希望ClickHouse也能使用Hdfs作为存储 看了下ClickHouse的文档,拿Hdfs举例来说,有两种方式来完成,一种是直接关联Hdfs上的数据文件,比如说 TSV 格式的文件,这种模式不支持插入数据。第二种是将Hdfs作为存储,可以理解为云存储方式,这

    2024年02月10日
    浏览(41)
  • 头歌大数据作业二:搭建Hadoop环境及HDFS

    课外作业二:搭建Hadoop环境及HDFS 作业详情 内容 阿里云-云起实验室-《搭建Hadoop环境》-Hadoop-2.10.1伪分布式: 1.截图本实验ECS的公网IP地址,并添加彩色框标注,如下图所示: 2.步骤6.启动Hadoop成功之后,截图并添加彩色框标注,如下图所示 3.hdfs 根目录创建文件夹(文件夹命

    2024年02月08日
    浏览(56)
  • 配置Kettle连接大数据HDFS

    需求:配置Kettle连接大数据HDFS Kettle对接大数据平台的配置 一.软件环境 1.Hadoop集群,版本:Hadoop3.3.0 2.ETL工具Kettle,版本:pdi-ce-7.0.0.0-25 (解压命令:*.zip 用 unzip 解压) 3.MySQL服务器,版本:mysql5.7.37 二.修改Kettle配置文件 1.文件名称: /home/hadoop/softwaredata-integrationplugins

    2024年02月09日
    浏览(47)
  • 【Hive】安装配置及导入Hdfs数据

    大家好!我是初心,很高兴再次和大家见面。 今天跟大家分享的文章是 Hive的安装以及导入Hdfs的数据到Hive中 ,希望能帮助到大家!本篇文章收录于 初心 的 大数据 专栏。 🏠 个人主页:初心%个人主页 🧑 个人简介:大家好,我是初心,和大家共同努力 💕 欢迎大家:这里

    2024年02月09日
    浏览(98)
  • 大数据开源框架环境搭建(四)——HDFS完全分布式集群的安装部署

    前言:本实验的所有路径均为本人计算机路径,有些路径需要看自己的,跟着我的一起做最好。普通用户下大部分命令需要加sudo,root模式下不用。如果怕麻烦,直接在root用户下操作。 目录 实验环境: 实验步骤: 一、配置NAT网络 ,分配静态IP地址 1.打开VMware,选择编辑,

    2024年02月05日
    浏览(56)
  • [数据存储]HDFS的简介、初始化配置与运行

    HDFS(Hadoop Distributed File System)Hadoop分布式文件系统,是Hadoop项目中关于数据存储的组件,是Hadoop项目的一部分。 HDFS采用主从模式的分布式存储方式存储文件。对于超大的数据而言,单个服务器无法承担对改数据的存储和读取工作。所以采用分布式的架构对文件进行存储。

    2024年02月12日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包