完成Hadoop环境搭建后,使用Hadoop shell命令时---上传本地文件到HDFS的目录下,出现如下报错:
通过查资料,应该是我多次执行NameNode格式化导致的(因为多次格式化namenode会造成namenode和datanode的clusterID不一致!每次格式化时,namenode会更新clusterID,但是datanode只会在首次格式化时确定)
解决方案:
1、首先使用以下命令查看磁盘空间情况
hadoop dfsadmin -report
磁盘下的节点空间为0!怎么会出现这种情况?
2、停止集群(切换到/sbin目录下),输入如下命令
./stop-all.sh
3、删除在hdfs中配置的data目录(即在core-site.xml中配置的hadoop.tmp.dir对应文件件)下面的所有数据,我这里是如下路径
使用rm -rf /opt/hadoop2.7/tmp/*
3、重新格式化namenode(切换到hadoop目录下的sbin目录下)
hadoop namenode -format
4、重新启动hadoop集群(切换到hadoop目录下的sbin目录下)
./start-all.sh
(ps:注意检查相关文件的配置有没有出问题,这点很重要!!!)
再输入hadoop dfsadmin -report命令查看,没问题了!
文件上传成功!文章来源:https://www.toymoban.com/news/detail-423416.html
文章来源地址https://www.toymoban.com/news/detail-423416.html
到了这里,关于hadoop解决文件上传问题(DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!