pycharm pyspark连接虚拟机的hive表 读取数据

这篇具有很好参考价值的文章主要介绍了pycharm pyspark连接虚拟机的hive表 读取数据。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

方法:

hive配置hiveserver2和metastore url

<!-- 指定hiveserver2连接的host -->
<property>
        <name>hive.server2.thrift.bind.host</name>
        <value>hadoop111</value>
</property>
    <!-- 指定hiveserver2连接的端口号 -->
<property>
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
</property>


    <!-- 指定存储元数据要连接的地址 -->
<property>
        <name>hive.metastore.uris</name>
        <value>thrift://hadoop111:9083</value>
</property>

启动metastore

hive --service metastore

启动hiveserver2

hive --service hiveserver2

python代码

给个demo示例:

from pyspark.sql import SparkSession

# 创建 SparkSession
spark = SparkSession \
    .builder \
    .appName("HiveConnectionExample") \
    .config("spark.sql.warehouse.dir", "hdfs://192.168.10.111:8020/user/hive/warehouse") \
    .config("hive.metastore.uris", "thrift://192.168.10.111:9083") \
    .enableHiveSupport() \
    .getOrCreate()

# 读取 Hive 表
# df = spark.sql("SELECT * FROM a")
df = spark.sql("show tables")
df.show()

# 关闭 SparkSession
spark.stop()

运行成功

pycharm pyspark连接虚拟机的hive表 读取数据,pycharm,hive,pyspark,python文章来源地址https://www.toymoban.com/news/detail-849977.html

到了这里,关于pycharm pyspark连接虚拟机的hive表 读取数据的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Xshell连接不上虚拟机的解决办法

    目录 一,首先检查对应的会话信息是否正确 二,检查网络配置 三,防火墙是否关闭 四,ssh服务是否开启 五:更改网关 一,首先检查对应的会话信息是否正确 (1)主机号是否与连接的的一致         查看IP:ip addr (2)对应的密码是否是你设置的虚拟机的密码      

    2023年04月16日
    浏览(32)
  • 对于xshell连接不上虚拟机的一些解答

    如果你发现你可以在虚拟机内ping通 之后,在你电脑dos下也可以ping通。 然而,还是发现你的xshell连接不上虚拟机。 这里使用ifconfig   我发现这个地址是在变化的,之前是129,现在是131,所以这样再到xshell,在连接属性那里,把地址改了就可以了,再重新连接,OK了。   本文

    2024年02月07日
    浏览(28)
  • PySpark 读写Hive数据源

    一、环境配置 本文在Windows下配置Spark访问Hive。如需在Linux上配置,请对应Linux上同样的目录即可。 检查PySpark环境正常运行;检查Hive环境正常运行;启动Hive元数据服务 hive –service metastore 先将%HIVE_HOME%confhive-site.xml拷贝到%SPARK_HOME%conf。此步骤是为了Spark能读取Hive相应的配置

    2024年04月16日
    浏览(31)
  • IDEA无法连接虚拟机中的Redis的解决方案,无法连接Jedis,无法ping通虚拟机的解决方案

    首先,笔者先说明一下自身的情况,怎么连接都连不上,网上的教程全部都看了一遍,基本上没用得上的,这篇文章里面的解决方案包括了笔者能在网上找到了最全面的办法总结,最后终于是连上了 目录 一.连接Jedis出错 二.解决方案 1.确保虚拟网卡的存在 2.主机和虚拟机之间

    2024年04月08日
    浏览(38)
  • 【CentOS 7联网】手把手解决CentOS7虚拟机的网络连接问题

    在安装CentOS7虚拟机之后发现连不上网络,捣鼓了好久都没有弄好,一路上走了很多弯路,希望我的经验能够帮助到大家。这里我是通过NAT连接配置静态网络的方式来连接的。 本机:windows1 虚拟机:centos7 x86_64 网络连接方式:NAT模式 第一步:首先关闭防火墙,这里我使用的是

    2024年02月04日
    浏览(36)
  • 在pycharm中使用PySpark第三方包时调用python失败,求教

    python版本是3.12 输入代码: 环境配置如下: path路径配置: 错误代码如下: D:pythonpython.exe \\\"D:python工具python学习工具第二阶段test pyspark.py\\\"  Setting default log level to \\\"WARN\\\". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). 3.5.0 24/01/07 16:24:31 ERROR Executor: E

    2024年01月20日
    浏览(38)
  • idea连接虚拟机的Hbase(附基本的创建表与查看表是否存在代码)

    先看一下总体概况 1,首先快速创建一个Maven项目提供依赖支持 如果不用模板,我是不能采用aliyun镜像下载相关依赖的,可能是我自己默认配置有问题 改变 Maven仓库为提前下载的仓库(具体配置可以自行搜索, 主要是改变setting配置与新建maven仓库) 可以看到相关配置已经自动通过阿

    2023年04月21日
    浏览(23)
  • Mac连接Centos、Ubuntu等linux虚拟机的方法(自带终端和iterm2)

    1.1 点击右上角的聚焦搜索,再输入终端 1.2 查找linux系统的ip地址 在虚拟机里输入如下命令,找到蓝色区域的就是ip地址 如果没有显示ip地址,可以重新安装一下虚拟机,之后确保 以太网的连接 是打开的,再重复此步骤就可以了 1.3  输入如下命令: username 替换为我们Linux系

    2024年01月22日
    浏览(41)
  • Autodl+Pycharm远程连接+虚拟环境设置

    c站上参考了许多帖子,但自己实践后发现仍有些小问题需要注意,尤其是连接远程服务器后虚拟环境的设置。 目录 一、算力租用 第一步:根据计算量的大小,参考autodl帮助文档里面选择合适的算力进行租用。   第二步:将算力的“登录指令”和“密码” 保存下来。 第三

    2024年01月18日
    浏览(24)
  • 使用 Kafka Tools(现已更名为 Offeset Exploer)无法连接虚拟机的 Kafka 集群,报错error connecting to the cluster

    学习 Kafka 的使用,结果发现使用 Kafka Tools(现已更名为 Offeset Exploer)无法连接虚拟机的 Kafka 集群,报错信息:error connecting to the cluster. unable to connect to zookeeper server xxx.xxx.xxx.xxx2181 with timeout of 10000ms 电脑系统版本:Windows 10 64bit VMware Workstation:VMware Workstation 15Pro 15.1.0 build-1

    2024年01月17日
    浏览(28)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包