本机使用python操作hdfs搭建及常见问题

这篇具有很好参考价值的文章主要介绍了本机使用python操作hdfs搭建及常见问题。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、虚拟机安装CentOS7并配置共享文件夹
二、CentOS 7 上hadoop伪分布式搭建全流程完整教程
三、本机使用python操作hdfs搭建及常见问题
四、mapreduce搭建
五、mapper-reducer编程搭建
六、hive数据仓库安装

一、环境搭建

1.打开虚拟机系统,打开hadoop

确保网页可以打开
使用python语言访问hdfs进行分布式文件系统的文件创建、上传、下载、移动、重命名,笔记,python,hdfs,centos,hadoop,云计算

2.修改本机hosts文件

ifconfig查看当前ip,
使用python语言访问hdfs进行分布式文件系统的文件创建、上传、下载、移动、重命名,笔记,python,hdfs,centos,hadoop,云计算
打开C:\Windows\System32\drivers\etc\,编辑hosts文件 ,在末尾添加192.168.137.134 hadoop4
使用python语言访问hdfs进行分布式文件系统的文件创建、上传、下载、移动、重命名,笔记,python,hdfs,centos,hadoop,云计算
若不可以编辑
右键属性->安全->选择Users那个->编辑->勾选修改 即可

3.进行ping测试连通

打开我的电脑打开任意文件夹->左上角文件->打开Windows powershell->
进行ping测试
使用python语言访问hdfs进行分布式文件系统的文件创建、上传、下载、移动、重命名,笔记,python,hdfs,centos,hadoop,云计算

4.安装hdfs

wIn+r 输入cmd进入执行(在任意python或conda环境安装皆可)

pip install hdfs -i https://pypi.douban.com/simple/

使用python语言访问hdfs进行分布式文件系统的文件创建、上传、下载、移动、重命名,笔记,python,hdfs,centos,hadoop,云计算

二、python操作hdfs

1.建立连接

PS D:\software\Bandicam\video> python
Python 3.9.7 (default, Sep 16 2021, 16:59:28) [MSC v.1916 64 bit (AMD64)] :: Anaconda, Inc. on win32

Warning:
This Python interpreter is in a conda environment, but the environment has
not been activated.  Libraries may fail to load.  To activate this environment
please see https://conda.io/activation

Type "help", "copyright", "credits" or "license" for more information.
>>> from hdfs.client import Client
>>> link=Client('http://hadoop4:50070')
>>> link.list('/')
[]

2.创建文件夹

新建文件夹出现错误

>>> link.makedirs('/test')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "D:\Anaconda3\install_position\lib\site-packages\hdfs\client.py", line 1036, in makedirs
    self._mkdirs(hdfs_path, permission=permission)
  File "D:\Anaconda3\install_position\lib\site-packages\hdfs\client.py", line 118, in api_handler
    raise err
hdfs.util.HdfsError: Permission denied: user=dr.who, access=WRITE, inode="/":huangqifa:supergroup:drwxr-xr-x

解决:
虚拟机端执行hadoop fs -chmod -R 777 /
使用python语言访问hdfs进行分布式文件系统的文件创建、上传、下载、移动、重命名,笔记,python,hdfs,centos,hadoop,云计算

>>> link.makedirs('/test')
>>> link.list('/')
['test']
>>>

使用python语言访问hdfs进行分布式文件系统的文件创建、上传、下载、移动、重命名,笔记,python,hdfs,centos,hadoop,云计算
创建文件夹出现安全模式问题:

>>> link.makedirs('/test')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "D:\Anaconda3\install_position\lib\site-packages\hdfs\client.py", line 1036, in makedirs
    self._mkdirs(hdfs_path, permission=permission)
  File "D:\Anaconda3\install_position\lib\site-packages\hdfs\client.py", line 118, in api_handler
    raise err
hdfs.util.HdfsError: Cannot create directory /test. Name node is in safe mode.
Resources are low on NN. Please add or free up more resources then turn off safe mode manually. NOTE:  If you turn off safe mode before adding resources, the NN will immediately return to safe mode. Use "hdfs dfsadmin -safemode leave" to turn safe mode off.

解决:
虚拟机端执行

hdfs dfsadmin -safemode leave

使用python语言访问hdfs进行分布式文件系统的文件创建、上传、下载、移动、重命名,笔记,python,hdfs,centos,hadoop,云计算

3.上传文件(需保证jps服务中datanode namenode均打开)

>>> link.makedirs('/test')
>>> link.list('/')
['test']
>>> link.upload('/test','C:/readme.txt')
'/test/readme.txt'
>>> link.list('/test')
['readme.txt']

使用python语言访问hdfs进行分布式文件系统的文件创建、上传、下载、移动、重命名,笔记,python,hdfs,centos,hadoop,云计算
使用python语言访问hdfs进行分布式文件系统的文件创建、上传、下载、移动、重命名,笔记,python,hdfs,centos,hadoop,云计算

4.写文件

>>> link.write('/test/test01.txt',"hello world")
>>> link.list('/test')
['readme.txt', 'test01.txt']

使用python语言访问hdfs进行分布式文件系统的文件创建、上传、下载、移动、重命名,笔记,python,hdfs,centos,hadoop,云计算

5.下载文件或文件夹

>>> link.download('/test/test01.txt','D:/')
'D:\\test01.txt'
>>>

使用python语言访问hdfs进行分布式文件系统的文件创建、上传、下载、移动、重命名,笔记,python,hdfs,centos,hadoop,云计算
使用python语言访问hdfs进行分布式文件系统的文件创建、上传、下载、移动、重命名,笔记,python,hdfs,centos,hadoop,云计算

三、可能出现的问题

问题描述:物理机ping不到虚拟机ip或物理机192.168…hadoop网页打不开
重置虚拟机网络中NAT那个
解决:
虚拟机软件->左上角编辑->虚拟机网络编辑器
使用python语言访问hdfs进行分布式文件系统的文件创建、上传、下载、移动、重命名,笔记,python,hdfs,centos,hadoop,云计算
使用python语言访问hdfs进行分布式文件系统的文件创建、上传、下载、移动、重命名,笔记,python,hdfs,centos,hadoop,云计算文章来源地址https://www.toymoban.com/news/detail-800551.html

到了这里,关于本机使用python操作hdfs搭建及常见问题的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Git 操作以及Git 常见问题

    git 教程:https://www.runoob.com/git/git-tutorial.html 工作区 :克隆项目到本地后,项目所在的文件夹; 暂存区 :从工作区添加上来的变更(新增,修改,删除)的文件 执行 git add 命令后,将工作区的文件添加到暂存区; 本地仓库 :用于存储本地工作区和暂存区提交上来的变更(新

    2024年02月21日
    浏览(42)
  • Hadoop环境搭建及常见问题解决(保姆级教程)

    学习大数据的路上,肯定少不了Hadoop的陪伴。 在学习Hadoop之初,一件\\\"痛苦\\\"的事情莫过于装环境,没有环境,练不了HDFS命令,写不了MapReduce程序,后续的HBase、Hive无从下手。 为了学好Hadoop,于是下决心,一定把环境装好,于是,跟着老师做,跟着网上学,别人都顺理成章、

    2023年04月09日
    浏览(88)
  • Java接入Apache Spark(入门环境搭建、常见问题)

    背景介绍 Apache Spark 是一个快速的,通用的集群计算系统。它对 Java,Scala,Python 和 R 提供了的高层 API,并有一个经优化的支持通用执行图计算的引擎。它还支持一组丰富的高级工具,包括用于 SQL 和结构化数据处理的 Spark SQL,用于机器学习的 MLlib,用于图计算的 GraphX 和 S

    2024年02月02日
    浏览(46)
  • docker搭建redis三主三从集群,及其常见问题解决

    每个配置文件都要修改对应的端口 容器内端口不能都是是6379,集群总线接口是端口号+10000 端口号与network_mode: \\\"host\\\"不能一起配置,出现下述问题 “主机”网络模式与端口绑定不兼容 问题,具体看github,有对应解释。 如果一直卡在 Waiting for the cluster to join ,那一般是端口问题

    2024年02月11日
    浏览(56)
  • 计算机保研面试常见问题(408操作系统简答题)

    1. 操作系统的特点和功能是什么? 答:操作系统的特点是并发、共享、虚拟、异步。其中,并发和共享是操作系统主要的特点。操作系统的功能主要包括:处理机管理、存储器管理、设备管理和文件管理等。操作系统管理计算机的全部软、硬件资源,合理组织计算机的工作流

    2024年02月07日
    浏览(62)
  • TencentOS Server镜像操作系统介绍_常见问题解答FAQ

    腾讯云TencentOS Server镜像是腾讯云推出的Linux操作系统,完全兼容CentOS生态和操作方式,TencentOS Server操作系统为云上运行的应用程序提供稳定、安全和高性能的执行环境,TencentOS可以运行在腾讯云CVM全规格实例上,包括黑石物理服务器2.0。腾讯云服务器网分享TencentOS Server镜像

    2024年02月15日
    浏览(63)
  • 【玩转幻兽帕鲁】常见问题解答+常用教程合集(搭建、参数设置、备份、迁移、安全保护、费用)

    很多小伙伴在用腾讯云搭建自己的《幻兽帕鲁》服务器时,会对如何选择服务器、部署服务器、修改游戏参数、存档备份、存档迁移、设置服务器密码等问题有疑惑,本文集合了所有教程和常见问题,供大家参考,也欢迎加入文末的交流群一起讨论。 这篇文章会持续更新 ,

    2024年02月19日
    浏览(52)
  • 银河麒麟桌面操作系统V10-常见运维问题类别:兼容适配 04

    目录 问题类别 4:兼容适配 4.1 硬盘在操作系统无法识别问题 【适用版本】 【问题现象】 【解决方案】 4.2 在麒麟系统上无法删除 U 盘里的文件 【适用版本】 【问题现象】 【解决方案】 4.3 使用命令行无法彻底卸载 WPS 【适用版本】 【问题现象】 【解决方案】 【适用版本

    2024年02月16日
    浏览(59)
  • 银河麒麟桌面操作系统V10-常见运维问题类别:外设管理 03

    目录 问题类别 3:外设管理 3.1 添加网络共享打印机后,无法进行打印 【适用版本】 【问题现象】 【解决方案】 方法 1:图形软件关闭防火墙。  方法 2:使用命令关闭防火墙。 3.2 系统设置共享打印机问题 【适用版本】 【问题现象】 【解决方案】 3.3 系统共享打印认证问

    2024年02月09日
    浏览(47)
  • 银河麒麟桌面操作系统V10-常见运维问题类别:启动登录 01

    目录 1.1 系统桌面启动时加载插件失败 【问题现象】 【解决方案】 1.2 启动配置文件损坏导致系统启动失败 【问题现象】 【解决方案】  1.3 系统启动卡死在 Logo 界面 【问题现象】 【解决方案】 1.4 系统登录界面多次输错密码导致账户锁定 【问题现象】 【解决方案】 1.5 系

    2024年02月15日
    浏览(64)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包