hadoop解决文件上传问题(DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException)

这篇具有很好参考价值的文章主要介绍了hadoop解决文件上传问题(DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

完成Hadoop环境搭建后,使用Hadoop shell命令时---上传本地文件到HDFS的目录下,出现如下报错:

hadoop解决文件上传问题(DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException)

        通过查资料,应该是我多次执行NameNode格式化导致的(因为多次格式化namenode会造成namenode和datanodeclusterID不一致!每次格式化时,namenode会更新clusterID,但是datanode只会在首次格式化时确定

解决方案:

1、首先使用以下命令查看磁盘空间情况

hadoop dfsadmin -report

磁盘下的节点空间为0!怎么会出现这种情况?

hadoop解决文件上传问题(DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException)

2、停止集群(切换到/sbin目录下),输入如下命令

./stop-all.sh

3、删除在hdfs中配置的data目录(即在core-site.xml中配置的hadoop.tmp.dir对应文件件)下面的所有数据,我这里是如下路径

使用rm -rf /opt/hadoop2.7/tmp/*

3、重新格式化namenode(切换到hadoop目录下的sbin目录下)

hadoop namenode -format

4、重新启动hadoop集群(切换到hadoop目录下的sbin目录下)

./start-all.sh

(ps:注意检查相关文件的配置有没有出问题,这点很重要!!!) 

再输入hadoop dfsadmin -report命令查看,没问题了!

hadoop解决文件上传问题(DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException)

文件上传成功!

hadoop解决文件上传问题(DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException)文章来源地址https://www.toymoban.com/news/detail-423416.html

到了这里,关于hadoop解决文件上传问题(DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • uniapp:uni.chooseFile()文件上传,解决app端非媒体文件上传问题。

    uni.chooseFile(OBJECT)主要用于h5端的非媒体文件上传,如:.txt,.doc,.xls等文件类型 h5文件上传解决方案 app端文件上传解决方案 uniapp文件选择上传插件,可选择任意类型。目前只测试了H5和安卓端。 安卓端弹窗为原生弹窗,不支持修改弹窗显示的内容。

    2024年02月11日
    浏览(75)
  • 完全解决FTP上传文件名称中文乱码问题

    今天项目上加了个定时扫描本地文件路径下所有文件实现自动上传至ftp文件服务器的功能,经测试发现一旦上传中文名称的文件就会乱码或者文件上传不了。初步排查就是FTP服务器字符编码的问题。在网上查了很多资料都没有效果。在这里讲一下我踩过的坑,以及分享我能上

    2024年02月13日
    浏览(56)
  • Postman上传文件遇到的问题及解决方法

            昨天用postman测试上传文件接口时遇到一个问题,设置好后文件参数怎么都不识别,报错提示: file load error:invalid or missing file source , 但是这个参数是之前设置好的,而且不用关联参数的话,这个接口是可以走通的,所以我之前一直怀疑和关联参数设置有关,但是试

    2024年02月16日
    浏览(44)
  • uniapp小程序解决不能上传文件/图片问题

    当前uniapp微信小程序无法使用formData( )来上传文件/图片,会出现FormData is not defined 问题, 而官方给的uni.uploadFile()也是看的懵懵懂懂。 解决方法 使用uni-app提供的uni.uploadFile()来上传文件/图片。 uni.uploadFile( )官方API 其中sourceFile是你选择要上传的文件/图片,包括tempFiles和

    2024年02月11日
    浏览(43)
  • 运行IDEA出现log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).问题解决方法

    报错 解决步骤: 1.在src/main/resources目录下创建log4j.properties 右击resource→New→Resource Bundle  name为log4j,不要勾选,直接点击ok  2.创建成功后在里面填写如下内容 3.在main函数中加入 4.Rerun一下就可以正常运行了

    2024年02月16日
    浏览(62)
  • 24、文件上传漏洞——Apache文件解析漏洞

      Apache文件解析漏洞与用户配置有密切关系。严格来说,属于用户配置问题,这里使用ubantu的docker来复现漏洞: CGI:共同网关接口,是HTTP服务器与机器上其他程序进行通信的一个接口,让web服务器必要时启动额外的程序处理动态内容。 FastCGI:CGI解释器的更快实现,可以提

    2024年02月04日
    浏览(46)
  • 阿里云-解决EDAS创建应用文件过大无法上传部署问题

    在一次使用阿里云-EDAS发布应用服务过程中出现EDAS 上传应用包过大无法上传现象。 最近在使用阿里云-EDAS发布应用过程中出现EDAS创建应用的jar或war包过大(200M)情况,导致上次包失败,无法创建应用。 页面现现象就是一直卡住,未出现上传地址,正常情况下上传成功会显示

    2024年02月02日
    浏览(53)
  • Git Bash 上传本地文件到Gitee(AI助力解决问题)

    #[端午特别征文]探索技术极致,未来因你出“粽”# 消失了将近一个月,预祝大家端午节快乐! 这篇文章主要介绍下在上传本地项目到gitee时出现的问题,以及借助AI解决问题。 Gitee 是一个基于 Git 的代码托管和开发协作平台, 它提供了代码仓库、代码审查、持续集成/持续部

    2024年02月10日
    浏览(52)
  • 从本地到Gitee:一步步学习文件上传及解决常见报错问题

    🙂博主:小猫娃来啦 🙂文章核心: 一步步学习文件上传及解决常见报错问题 git官方下载地址 点击上面的链接进入下载页面: 然后就是傻瓜式安装即可。 gitee官网:点击进入 进入官网后是这个样子: 右上角登录注册,自己需要先登录一个账号,没有账号就创建一个 然后,

    2024年02月03日
    浏览(38)
  • 云计算 上传大文件至hadoop

    手动创建一个大文件,并使用 HDFS Shell Command 进行操作,包括 dfsadmin(查看文件系统状态)、fsck(测试系统完 整性)和常规文件操作(ls、put、get 等); ①首次启动hdfs,需要格式化文件系统,后面不需要重复运行 在hadoop文件的bin目录下,执行 hdfs namenode -format ②到hadoop文件

    2024年02月05日
    浏览(6)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包