Hadoop上传文件到hdfs中
hadoop常见指令:
-
hdfs dfs -copyFromLocal /local/data /hdfs/data
:将本地文件上传到 hdfs
上(原路径只能是一个文件) -
hdfs dfs -put /tmp/ /hdfs/
:和 copyFromLocal 区别是,put 原路径可以是文件夹等 -
hadoop fs -ls /
:查看根目录文件 -
hadoop fs -ls /tmp/data
:查看/tmp/data目录 -
hadoop fs -cat /tmp/a.txt
:查看 a.txt,与 -text 一样 -
hadoop fs -mkdir dir
:创建目录dir -
hadoop fs -rmr dir
:删除目录dir
出现 Call From master to localhost:9000 failed on connection exception…的错误:
原因没有打开权限:
修改 /hadoop/etc/hadoop/hdfs.site.xml
找到dfs.permissions属性修改为false(默认为true)OK了
出现hdfs.DFSClient: DataStreamer Exception的问题:
原因:在进行namenode格式化时多次造成那么spaceID不一致。
1.删除core.site.xml中临时文件指定的目录
2.重新进行格式化
hadoop name -formate
3.启动集群
start-all.sh
4.创造目录文章来源:https://www.toymoban.com/news/detail-414626.html
hadoop fs -mkdir /user
hadoop fs -mkdir /user/root
5上传文件文章来源地址https://www.toymoban.com/news/detail-414626.html
hdfs dfs -put movie.csv /user/root/
到了这里,关于Hadoop上传文件到hdfs中的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!