spark报错：WARN TaskSchedulerImpl: Initial job has not accepted any resources； check your cluster UI...-Toy模板网

这篇具有很好参考价值的文章主要介绍了spark报错：WARN TaskSchedulerImpl: Initial job has not accepted any resources； check your cluster UI...。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1 报错描述

在使用spark跑任务时，进度条突然停止，并且warning了，而且持续…

WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

2 分析&解决

翻译报错：初始作业未接受任何资源；请检查群集UI以确保工作进程已注册并且有足够的资源
ok，那么就从两个角度出发：
1、检查群集UI以确保工作进程已注册
2、有足够的资源

2.1集群节点未完全开启

如果开启的是集群模式的情况下，要保证三个节点的服务都是开启的状态。否则就会报错
在./spark-3.0.3-bin-hadoop3.2/sbin 目录下，重启！

./stop-all.sh
./start-all.sh
jps  #查看

spark报错：WARN TaskSchedulerImpl: Initial job has not accepted any resources； check your cluster UI...
基本上问题可以解决啦~

2.2是spark节点内存不够了

内存可以在spark的配置文件—>spark-env.sh中可以看到。
文件目录： ./spark-3.0.3-bin-hadoop3.2/conf
spark报错：WARN TaskSchedulerImpl: Initial job has not accepted any resources； check your cluster UI...
进入后可以看到内存情况

同时访问浏览器（前提是服务都起来了哈~）
http://192.168.19.3:8080/ 这个ip是我自己的master
大家可以使用你们的 master:8080 进行访问
spark报错：WARN TaskSchedulerImpl: Initial job has not accepted any resources； check your cluster UI...

如果此时发现running模块，正在有一个进程占用，那么就找到原因了，把这个kill就行，再执行自己的

tips

也需要注意一下，自己使用的环境对不对。例如，我很久很久之前是在conda的base运行的代码，那么最好还是在这个环境下，实测之前忘记conda activate base 激活环境，然后直接运行时也报了这个错误，后面进入环境再运行就好啦~

good luck！文章来源地址https://www.toymoban.com/news/detail-468823.html

到了这里，关于spark报错：WARN TaskSchedulerImpl: Initial job has not accepted any resources； check your cluster UI...的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！