在windows系统本地运行spark的wordcount程序,会出现一个异常,但不影响现有程序运行。
发现是因为在Windows环境中缺少winutils.exe程序。
因为一般情况下Hadoop、spark都是运行在Linux系统下的,在windows下运行时需要安装Windows下运行的支持插件:hadoop2.7-common-bin。
原因分析 :https://www.cnblogs.com/tijun/p/7567664.html
解决办法
1、下载spark 依赖对应的hadoop版本,我的spark版本是3.0 对应的 hadoop选择 3.0.0即可。
http://hadoop.apache.org/releases.html
2.解压配置环境变量
文章来源:https://www.toymoban.com/news/detail-544043.html
下载地址:https://github.com/cdarlint/winutils
下载对应的版本这两个文件,放到hadoop 的bin 目录下。
如图:
bingo,问题解决!文章来源地址https://www.toymoban.com/news/detail-544043.html
到了这里,关于Could not locate executable null\bin\winutils.exe in the Hadoop binaries.的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!