改变hive的端口8020到9000。(SemanticException Unable to determine if hdfs://node1:8020/user/hive/warehouse)

这篇具有很好参考价值的文章主要介绍了改变hive的端口8020到9000。(SemanticException Unable to determine if hdfs://node1:8020/user/hive/warehouse)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

问题:SemanticException Unable to determine if hdfs://node1:8020/user/hive/warehouse/t_score is encrypted: org.apache.hadoop.hive.ql.metadata.HiveException: java.net.ConnectException: Call From node1/192.168.88.151 to node1:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

改变hive的端口8020到9000。(SemanticException Unable to determine if hdfs://node1:8020/user/hive/warehouse),hdfs,hive

分析

本人的情况是把Hadoop的hdfs的端口号改为9000,后原本的能用的hive出现这个错
改变hive的端口8020到9000。(SemanticException Unable to determine if hdfs://node1:8020/user/hive/warehouse),hdfs,hive
Hive在执行某个操作(可能是在查询、加载数据或者写入数据到表中)时,试图连接到HDFS Namenode服务(位于node1:8020)。
所以我们要改一下hive的这个端口号,把他也改变成9000。同时因为原来是的数据都已经有8020的标签,所以一会还要去删除hive元数据,本人也把datanode节点的数据都给格式化了。

解决问题步骤:

1、先改变hive的hive-site.xml配置文件。

在hive-site.xml中加入以下的代码。

$HIVE_HOME/conf
vim hive-site.xml

改变hive的端口8020到9000。(SemanticException Unable to determine if hdfs://node1:8020/user/hive/warehouse),hdfs,hive

2、删除原本就有的hive元数据。(可以试一下更新元数据的信息,就是把所有元数据的8020端口改成9000,本人的试了没有解决,要是你们解决了,就不用进行下面的操作了)

更新元数据

步骤:思路可以试一下。
1、进入mysql
2、找到hive
3、找到DBS和SDS两张表
DBS:保存着数据仓库的路径 (存放数据库的元数据信息)
SDS:保存着每张表对应的路径(表中存储了存储了各种类型元数据)
只需要修改上面两张表元数据存储的路径就好了。

mysql -uroot -p
****
show databases;
use hive3; //自己的
UPDATE DBS SET DB_LOCATION_URI='/new/warehouse/path' WHERE NAME='default';  //自己的
UPDATE SDS SET LOCATION='/new/table/path' WHERE 1=1; //自己的要改变
exit;

完成以上步骤后,Hive 的数据仓库路径和表路径将被更新为你指定的新路径。请确保新路径是有效的,并且有相应的权限访问。

改变hive的端口8020到9000。(SemanticException Unable to determine if hdfs://node1:8020/user/hive/warehouse),hdfs,hive
记得关闭hive,重启hive。

删除元数据:进入myslq,删除hive元数据的那个数据库。

mysql -uroot -p
****
show databases;
drop database hive3;// hive3 是自己的,每个人不一样。我下面的drop hive3;是错的少database.

改变hive的端口8020到9000。(SemanticException Unable to determine if hdfs://node1:8020/user/hive/warehouse),hdfs,hive

删除后格式化hive,也就是在创建一个hive3来存储元数据。

schematool -dbType mysql -initSchema //我用的是mysql存储元数据,你们用的啥写啥

改变hive的端口8020到9000。(SemanticException Unable to determine if hdfs://node1:8020/user/hive/warehouse),hdfs,hive
成功的标记:
改变hive的端口8020到9000。(SemanticException Unable to determine if hdfs://node1:8020/user/hive/warehouse),hdfs,hive

3、格式化hadoop

注意:hive的数据存在hdfs上记得在新建一个目录

本人应改新建的目录是:

hdfs dfs -mkdir -p /user/hive/warehouse //自己的目录

改变hive的端口8020到9000。(SemanticException Unable to determine if hdfs://node1:8020/user/hive/warehouse),hdfs,hive

关闭Hadoop

stop-all.sh

删除旧的Hadoop元数据文件

本人博客:https://blog.csdn.net/ysl1196321875/article/details/135491368?spm=1001.2014.3001.5501

确认DataNode目录

本人博客:https://blog.csdn.net/ysl1196321875/article/details/135491368?spm=1001.2014.3001.5501

格式化NameNode

hdfs namenode -format

启动Hadoop集群

start-all.sh

改变hive的端口8020到9000。(SemanticException Unable to determine if hdfs://node1:8020/user/hive/warehouse),hdfs,hive

总结:

我们改了一个hive端口号,把hive的元数据都给删了,把hdfs的数据也给删除了。算是全部重置了。告别以前的所有的数据,自然而然的就不会在有影响。文章来源地址https://www.toymoban.com/news/detail-808880.html

到了这里,关于改变hive的端口8020到9000。(SemanticException Unable to determine if hdfs://node1:8020/user/hive/warehouse)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Failed to rollback to checkpoint/savepoint hdfs://mycluster:8020/ck/sapgateway

    解決方法:需要加上-n參數

    2024年02月10日
    浏览(30)
  • Unable to negotiate with ***** port **:no matching host key type found...连接的端口的密钥没有匹配

    连接的端口的密钥没有匹配 ● 解决方法 查看网上的各种方法,这种情况的原因就是新的ssh客户端不支持ssh-rsa算法,要修改本地配置重新使用ssh-rsa算法。 在.ssh文件下创建 config 文件(config没有后缀名),使用记事本打卡添加以下内容并保存: Host * HostkeyAlgorithms +ssh-rsa Pubk

    2024年02月11日
    浏览(45)
  • FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.me

    当hive-site.xml以及mysql等都配置好时,格式化元数据库进入hive,仍然报未格式化元数据库的错 第一种方法便是把元数据删除,重新格式化 第二种,便是上诉方法并未解决,看报错信息是metastore的原因 可能是metastore未启动,进hive下的bin目录下 一般可以解决,不能解决的可能没有

    2024年01月19日
    浏览(56)
  • 二百零九、Hive——with嵌套语句报错:hadoop.hive.ql.parse.SemanticException: Line 2:5 Ambiguous table alias ‘t2‘

    在Hive的with嵌套语句时,HQL报错Line 2:5 Ambiguous table alias \\\'t2\\\' org.apache.hadoop.hive.ql.parse.SemanticException: Line 2:5 Ambiguous table alias \\\'t2\\\' 看报错提示,Ambiguous table alias \\\'t2\\\',似乎是with嵌套子语句命名t2报错,但是我试了很多其他命名,都报类似的错误,如果大家知道原因的话还望告知,谢

    2024年01月20日
    浏览(45)
  • Failed to determine a suitable driver class

    刚新建的新项目,写了pom文件后,遇到这个问题。。。 导致这个问题的原因是因为,在 pom.xml 配置文件中,配置了数据连接技术 spring-boot-starter-jdbc 包 ,在启动配置文件时 ,Spring Boot 的自动装配机制就会去配置文件中找,相关的数据库的连接配置信息,如果找不到则抛出异

    2024年02月01日
    浏览(42)
  • 处理Java中的“Failed to determine a suitable driver class“错误

    在Java开发过程中,经常会使用数据库进行数据存储和检索。当连接到数据库时,我们通常会使用JDBC(Java Database Connectivity)来与数据库进行通信。然而,有时候在连接数据库时可能会出现\\\"Failed to determine a suitable driver class\\\"的错误。本文将介绍这个错误的原因,并提供一些解决

    2024年02月04日
    浏览(48)
  • Reason: Failed to determine a suitable driver class 项目启动报错解决

    今天遇到了这个问题,因为在网关服务的pom.xml文件中引用了其他模块,而其他模块有DataSource相关的依赖,我的配置文件中没有对应的配置,所以报错了。顺便总结一下吧 报错信息如下: 2021-04-01 10:47:19.255 ERROR 3249 --- [  restartedMain] o.s.b.d.LoggingFailureAnalysisReporter   :  *********

    2024年02月05日
    浏览(83)
  • 使用skvideo.io.vread读取avi视频,报错“No way to determine width or height from video...”

    问题描述: 一开始安装sk-video,在使用skvideo.io.vread读取avi视频,报错“No way to determine width or height from video. Need `-s` in `inputdict`. Consult documentation on I/O.” 解决方案: 1. 卸载sk-video 2. 安装skicit-video 3. 安装ffmpeg 4. 查看ffmpeg存储路径 5. 测试是否安装成功 成功!!!正确输出avi视

    2024年02月10日
    浏览(37)
  • Unable to initialize Git; AggregateError(2) Error: Unable to find git Error: Unable to find git

    MacBook Pro m1 升级系统到13版本后,系统中原有的git突然就不能用了,,,输入git -v 既然打印不到版本号???使用which git 是能打印到配置路径的,,, 解决方案: stack overfolw 帖子地址 然后会跳出一个弹窗让你安装xcode-select 点击安装,自动安装完成,控制台再输入git -v就能

    2024年02月12日
    浏览(80)
  • Portainer连不上docker Unable to retrieve images或Unable to connect to the Docker environment

    系统:Centos docker:23.0.6 portainer:2.19.2 服务器A and 服务器B A,B都有Docker 现象 1、在A上安装了Portainer后,local evironment 可以显示images数量等信息,但无法显示详情,出现Unable to connect to the Docker environment 2、尝试         编辑docker.service         找到 ExecStart字段修改如下  

    2024年04月13日
    浏览(48)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包