win10安装spark

这篇具有很好参考价值的文章主要介绍了win10安装spark。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、进入spark下载页面

连接  Downloads | Apache Spark

win10安装spark,spark

二、解压下载后的.tgz文件

直接解压即可

win10安装spark,spark

三、运行

运行bin目录下的 spark-shell.cmd

win10安装spark,spark

提示  Did not find winutils.exe: java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset

win10安装spark,spark

解决办法

【精选】spark环境搭建window篇_windows spark_邱可爱的博客-CSDN博客

还有问题可以见第六点

四、运行成功

win10安装spark,spark

五、winutils.exe 新版本hadoop没有的原因

winutils.exe 新版本hadoop没有了_mob649e81624618的技术博客_51CTO博客

六、错误解决

执行  hadoop fs -ls
报错
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIO$POSIX$Stat;

解决办法
https://blog.csdn.net/sx157559322/article/details/115339328

替换 hadoop bin目录下的 hadoop.dll、winutils文件  和 windows/system32 下的 hadoop.dll、winutils文件  

 

说明不能只替换第三点中的 hadoop bin目录下的 hadoop.dll、winutils文件文章来源地址https://www.toymoban.com/news/detail-715122.html

到了这里,关于win10安装spark的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • mac可以只安装win10系统吗,2023年 Macbook Air 全格单独安装win10教程

    说明: 1、以下介绍mac book air 13寸单独安装win10系统的方法,不是双系统,即全盘格式化只安装win10系统 2、安装之前请做好相应的备份操作,避免重要数据丢失,如果要换回MAC OS,需要制作或购买苹果启动盘重装 一、准备工作 1、8G或更大容量空U盘 2、制作uefi pe启动盘:制作

    2024年02月13日
    浏览(66)
  • win10安装docker

    1.win10安装docker,前提必须是要安装WSL2。 现在Docker Desktop默认使用WSL 2来运行,而不是以前的Hyper-V。 WSL2 全称是Windows Subsystem on Linux。意思是,在win10,可以直接启动一个Linux。因为docker依赖Linux内核。 可查看地址 旧版 WSL 的手动安装步骤 | Microsoft Learn 上面地址的步骤1、2、3可

    2024年02月15日
    浏览(27)
  • Win10安装CUDA

    安装Nvidia显卡驱动前可以先检查Nvidia显卡驱动是否已安装。搜索 Nvidia控制面板 或 Nvidia Control Panel可以看到当前已经安装的显卡驱动及版本。 如需安装显卡驱动,在官方驱动下载网站找到自己的显卡型号对应的驱动下载并安装:官方驱动 下载cuDNN cuDNN无需登录的官方下载地址:

    2024年02月11日
    浏览(33)
  • Win10下安装Anaconda

    Anaconda 是可以便捷获取包且对包能够进行管理,同时对环境可以统一管理的发行版本,它包含了conda、Python在内的超过180个科学包及其依赖项。 卸载已安装的Python版本 选择 开始 ,然后选择 设置 应用 应用和功能 输入 python ,选择要删除的python应用,然后选择 卸载 安装Anac

    2024年04月11日
    浏览(42)
  • win10安装VS2015

        VS2015是一个非常好用的开发平台,支持C、C++、C#、F#等语言,下面介绍在win10系统上安装VS2015。     在 MSDN i tell you 里找到VS2015专业版,这里选择VS2015 Update3,点击【详细信息】,复制ed2k地址,然后使用迅雷下载即可,如图(1)所示。     VS2015专业版的ed2k地址: 图(1) 下

    2024年02月08日
    浏览(47)
  • win10虚拟机安装教程

    目录 1、安装VMware 10、12、16都可以,看个人选择 2、开始安装系统(以vm16为例) 3、在虚拟机中安装win10 完成 下面链是我虚拟机安装包,需要可以下载。 YR云盘 软件安装过程就不赘述了,一直点下一步默认安装就可以了 先创建一个虚拟机-首先点击文件,新建虚拟机 选择相

    2024年02月08日
    浏览(39)
  • 【win10下安装Fscan】

    首先,因为fscan是用go语言编译的。所以电脑需要go语言环境,所以,第一步是给电脑安装一个go语言环境 首先,在这里有一个坑,如果是为了使用fscan的话,go环境的版本配置需要高版本。我这里使用的是1.19版本。之前安装的是1.16 版本。一直报错。 go 环境的安装配置在wind

    2024年02月08日
    浏览(29)
  • win10安装配置PostgreSQL

    ①进入官网https://www.postgresql.org/,点击页面中心处的download 也可以直接跳过下面的步骤(下面的步骤主要是为了帮助大家了解一般外国软件是如何从官网进入下载页面),直接进入下载页面,链接地址: https://www.enterprisedb.com/downloads/postgres-postgresql-downloads ②选择对应的操作系统

    2024年02月11日
    浏览(31)
  • win10安装docker教程

    https://www.docker.com/products/docker-desktop 官网下载 打开控制面板 - 程序和功能 - 启用或关闭Windows功能,勾选Hyper-V,然后点击确定即可,点击确定后,启用完毕会提示重启系统,我们可以稍后再重启。 这是因为Docker无法在Windows系统中直接运行,而需要创建一个Windows系统中的Linu

    2024年02月13日
    浏览(38)
  • win10、win11下WSL2环境安装

    微软官方wsl手册 微软官方wsl手册pdf 打开win10的设置,搜索windows功能,打开启用或者关闭Windows功能(win11可能搜不到,需要在控制面板里面搜索) 勾选以下2个地方,并重启,也有可能是中文名字“虚拟机平台” 下载WSL2升级包,并点击安装 WSL2升级包 以管理打开Powershell,并执行

    2023年04月17日
    浏览(31)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包