hadoop- yarn启动后用jps查看没有resourcemanager

这篇具有很好参考价值的文章主要介绍了hadoop- yarn启动后用jps查看没有resourcemanager。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1. 问题

启动hadoop的 yarn时 发现jps 并没有 resourcemanager

2 . 排查

在hadoop-xxx-resourcemanager-.log 日志文件中 发现了报错日志

日志内容如下

context logs
2024-01-15 11:46:14,440 ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Error starting ResourceManager
java.lang.ExceptionInInitializerError
	at com.google.inject.internal.cglib.reflect.$FastClassEmitter.<init>(FastClassEmitter.java:67)
	at com.google.inject.internal.cglib.reflect.$FastClass$Generator.generateClass(FastClass.java:72)
	at com.google.inject.internal.cglib.core.$DefaultGeneratorStrategy.generate(DefaultGeneratorStrategy.java:25)
	at com.google.inject.internal.cglib.core.$AbstractClassGenerator.create(AbstractClassGenerator.java:216)
	at com.google.inject.internal.cglib.reflect.$FastClass$Generator.create(FastClass.java:64)
	at com.google.inject.internal.BytecodeGen.newFastClass(BytecodeGen.java:204)
	at com.google.inject.internal.ProviderMethod$FastClassProviderMethod.<init>(ProviderMethod.java:256)
	at com.google.inject.internal.ProviderMethod.create(ProviderMethod.java:71)
	at com.google.inject.internal.ProviderMethodsModule.createProviderMethod(ProviderMethodsModule.java:275)
	at com.google.inject.internal.ProviderMethodsModule.getProviderMethods(ProviderMethodsModule.java:144)
	at com.google.inject.internal.ProviderMethodsModule.configure(ProviderMethodsModule.java:123)
	at com.google.inject.spi.Elements$RecordingBinder.install(Elements.java:340)
	at com.google.inject.spi.Elements$RecordingBinder.install(Elements.java:349)
	at com.google.inject.AbstractModule.install(AbstractModule.java:122)
	at com.google.inject.servlet.ServletModule.configure(ServletModule.java:52)
	at com.google.inject.AbstractModule.configure(AbstractModule.java:62)
	at com.google.inject.spi.Elements$RecordingBinder.install(Elements.java:340)
	at com.google.inject.spi.Elements.getElements(Elements.java:110)
	at com.google.inject.internal.InjectorShell$Builder.build(InjectorShell.java:138)
	at com.google.inject.internal.InternalInjectorCreator.build(InternalInjectorCreator.java:104)
	at com.google.inject.Guice.createInjector(Guice.java:96)
	at com.google.inject.Guice.createInjector(Guice.java:73)
	at com.google.inject.Guice.createInjector(Guice.java:62)
	at org.apache.hadoop.yarn.webapp.WebApps$Builder.build(WebApps.java:417)
	at org.apache.hadoop.yarn.webapp.WebApps$Builder.start(WebApps.java:465)
	at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.startWepApp(ResourceManager.java:1389)
	at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceStart(ResourceManager.java:1498)
	at org.apache.hadoop.service.AbstractService.start(AbstractService.java:194)
	at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:1700)
Caused by: java.lang.reflect.InaccessibleObjectException: Unable to make protected final java.lang.Class java.lang.ClassLoader.defineClass(java.lang.String,byte[],int,int,java.security.ProtectionDomain) throws java.lang.ClassFormatError accessible: module java.base does not "opens java.lang" to unnamed module @4d7c417d
	at java.base/java.lang.reflect.AccessibleObject.checkCanSetAccessible(AccessibleObject.java:354)
	at java.base/java.lang.reflect.AccessibleObject.checkCanSetAccessible(AccessibleObject.java:297)
	at java.base/java.lang.reflect.Method.checkCanSetAccessible(Method.java:199)
	at java.base/java.lang.reflect.Method.setAccessible(Method.java:193)
	at com.google.inject.internal.cglib.core.$ReflectUtils$2.run(ReflectUtils.java:56)
	at java.base/java.security.AccessController.doPrivileged(AccessController.java:318)
	at com.google.inject.internal.cglib.core.$ReflectUtils.<clinit>(ReflectUtils.java:46)
	... 29 more

jdk8之后 限制了跨包访问 如果要访问需要添加 --add-opens java.base/xxx.xxx=ALL-UNNAMED

3. 解决

编辑yarn-env.sh 文件 添加如下参数
export YARN_RESOURCEMANAGER_OPTS=“–add-opens java.base/java.lang=ALL-UNNAMED”
export YARN_NODEMANAGER_OPTS=“–add-opens java.base/java.lang=ALL-UNNAMED”

保存后 然后清空所有hadoop的临时文件 然后尝试重新开启 即可文章来源地址https://www.toymoban.com/news/detail-793423.html

到了这里,关于hadoop- yarn启动后用jps查看没有resourcemanager的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop集群配置问题—小记jps没有NameNode的问题

    本人Hadoop集群部署如下: hadoop102 hadoop103 hadoop104 HDFS NameNode DataNode SecondaryNameNode DataNode DataNode Yarn NodeManager ResourceManager NodeManager NodeManager   问题:当格式化NameNode后,启动hdfs。发现jps后没有显示NameNode。 解决方法:          1、先关闭各节点的运行                 在h

    2023年04月11日
    浏览(41)
  • hadoop集群slave节点jps后没有datanode解决方案

    这个问题是重复格式化造成的,重复格式化namenode造成datanode中的VERSION文件中clusterID与主节点的不一致。 1.关闭集群 2.找到安装hadoop的文件夹,我的是(/usr/local/hadoop)再找到里面的tmp/dfs/name/current,打开VERSION查看并复制clusterID的内容。 操作:在master里输入命令 3.切换到slave节点,

    2024年02月11日
    浏览(47)
  • 解决Hadoop伪分布式集群jps没有datanode节点问题

    在启动Hadoop时,通过jps目录发现没有datanode进程。

    2024年02月13日
    浏览(46)
  • 解决Hadoop完全分布式集群中从节点jps没有datanode节点问题

    当用start-dfs.sh和start-yarn.sh后,在slave节点(从节点)中用jps命令查看进程 正常情况: 有时候可能发现没有Datanode,即只有两项(第一项和最后一项)。原因可能是 重复格式化 namenode 后,导致 datanode 的 clusterID 和 namenode 的 clusterID 不一致。 解决方法: 在master节点(namenode): 找到你

    2024年02月06日
    浏览(41)
  • 启动HDFS时jps查看不到namenode

    使用命令 start-dfs.sh启动集群,然后使用jps查看进程时发现没有namenode,SecondaryNameNode、和DataNode正常启动,其他集群的DataNode也是正常启动。 然后去/export/server/hadoop-3.3.4/logs查找日志文件,发现日志中的错误信息为: : Failed to load FSImage file ,表示FSImage文件存在异常。 关闭

    2024年02月08日
    浏览(39)
  • hadoop报错:Hadoop启动时,没有启动datanode

    当我们多次格式化文件系统(hadoop namenode -format)时,会出现DataNode无法启动。 多次启动中发现有NameNode节点,并没有DataNode节点 在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的clusterID会重新生成,而datanode的clusterID

    2024年02月15日
    浏览(44)
  • hadoop集群启动后datanode没有启动

    今天启动hadoop集群后,查看进程发现名称节点的NameNode进程启动了,但是数据节点的DataNode进程没有启动,如下: 这个问题是个常见问题,对于自学的初学者来说,真的是个很头大的问题,一时不知道该怎么弄,我就是其中一个。但遇到问题不要慌,认真看错并查找解决办法

    2023年04月27日
    浏览(30)
  • 启动 Hadoop 后没有 dataNode 进程

    原因:进行 hadoop 格式化的时候没有事先结束所有进程,或者多次进行了 format 导致的 datanode 的 clusterID 和 namenode 的 clusterID 不匹配,从而在启动后没有 datanode 进程。 解决办法1: 删除hadoop下的日志文件logs 重新格式化 解决办法2(成功率更高): 重新安装,或者恢复快照 重

    2024年02月05日
    浏览(37)
  • Hadoop在启动yarn时报错:Cannot set priority of resourcemanager process xxxxx

    着急看解决方法的请直接奔文末。 今天刚开始弄Hadoop,启动完namenode和hadoop之后,开始启动yarn,结果直接报错了: Cannot set priority of resourcemanager process 93826 翻译过来就是说:无法设置resourcemanager进程的优先级(大概)。 然后就开始百度,stackOverflow上有说是没有设置ssh免密登

    2023年04月12日
    浏览(27)
  • Hadoop启动后没有namenode进程的解决办法

    在启动Hadoop时,通过jps目录发现没有namenode进程。 先关闭hadoop:stop-all.sh 删除文件夹 (/opt/module/hadoop-3.1.3/tmp/)的tmp/文件夹里边所有的东西 删除日志 : 删除 logs文件夹下所有的东西:rm -rf logs/ mkdir logs 重新格式化:bin/hadoop namenode -format 格式化完成启动hadoop:

    2024年02月11日
    浏览(30)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包