方法:
hive配置hiveserver2和metastore url
<!-- 指定hiveserver2连接的host -->
<property>
<name>hive.server2.thrift.bind.host</name>
<value>hadoop111</value>
</property>
<!-- 指定hiveserver2连接的端口号 -->
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
<!-- 指定存储元数据要连接的地址 -->
<property>
<name>hive.metastore.uris</name>
<value>thrift://hadoop111:9083</value>
</property>
启动metastore
hive --service metastore
启动hiveserver2
hive --service hiveserver2
python代码
给个demo示例:文章来源:https://www.toymoban.com/news/detail-849977.html
from pyspark.sql import SparkSession
# 创建 SparkSession
spark = SparkSession \
.builder \
.appName("HiveConnectionExample") \
.config("spark.sql.warehouse.dir", "hdfs://192.168.10.111:8020/user/hive/warehouse") \
.config("hive.metastore.uris", "thrift://192.168.10.111:9083") \
.enableHiveSupport() \
.getOrCreate()
# 读取 Hive 表
# df = spark.sql("SELECT * FROM a")
df = spark.sql("show tables")
df.show()
# 关闭 SparkSession
spark.stop()
运行成功
文章来源地址https://www.toymoban.com/news/detail-849977.html
到了这里,关于pycharm pyspark连接虚拟机的hive表 读取数据的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!