大数据--pyspark远程连接hive-Toy模板网

这篇具有很好参考价值的文章主要介绍了大数据--pyspark远程连接hive。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

上一篇文章介绍了python连接hive的过程，通过地址+端口号访问到hive并对hive中的数据进行操作，这一篇文章介绍一下怎么通过windows本地pyspark+本地部署好的spark+远程虚拟机的hive，完成本地pyspark对hive的访问。

一.环境介绍

(1)关于pyspark

这个是之前就已经部署好的，本地安装了hadoop、scala、spark之后，配置好对应的系统环境变量，在python中下载好pyspark包，就可以了

(2)关于hive

这个是前几篇文章中介绍的hive部署，在虚拟机node01上完成了部署

二.pyspark连接hive

其实pyspark只是一个python接口，实际的连接hive操作是由spark完成的，也就是之前本地下载的spark，那么想要spark能够连接上hive，就需要将hive的一些配置文件放到spark中，让spark可以通过配置文件中的metastore.uris找到hive的元数据库，从而访问hive，在上一篇文章中提到了hive的hive-site.xml上配置了metastore的地址为node01的地址+端口号，那么将hive-site.xml放到spark中，spark就明白要到这个地址去找到hive啦。

<property>
    <name>hive.metastore.uris</name>
    <value>thrift://192.168.121.130:9083</value>
    <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property>

1.配置文件

(1)将虚拟机上hive的conf文件夹下的hive-site.xml，复制到本地spark的conf文件夹中

(2)将虚拟机上hive的lib文件夹下的mysql连接包mysql-connector-java-5.1.47(也是前面文章中部署hive时提到的)，复制到本地spark的jars文件夹中

3.修改hosts

在C:\Windows\System32\drivers\etc中修改HOSTS文件，在下方添加虚拟机的地址

如果忘记了虚拟机服务器的地址，可以使用以下命令查看(也是前面在部署hive时就已经设置好了的)

cat /etc/hosts

三.测试连接

在完成了上面的操作后，spark就已经可以访问到hive了，下面分别通过本地spark-shell和pyspark操作来查看是否配置成功

1.spark-shell

(1)进入spark-shell

直接命令行输入spark-shell(在配置好环境变量的情况下)

(2)语句

①导入hivecontext包

import org.apache.spark.sql.hive.HiveContext

②构建hivecontext

val hc = new HiveContext(sc)

③使用sql语句查看数据库

hc.sql("show databases").show

2.pyspark

这里很多老的教程会使用hc=hiveContext进行构建，然后使用hc.sql进行查询，然后导致查询结果错误，这样其实spark是不支持的，spark在2.x后就弃用了这种方法。具体的更多详细用法请参考官方文档

from pyspark.sql import SparkSession


spark = SparkSession \
    .builder \
    .appName("Python Spark SQL Hive integration example") \
    .enableHiveSupport() \
    .getOrCreate()
spark.sql("show databases").show()