【大数据技术】spark SQL如何连接MySQL并读取数据
1、配置连接MySQL的驱动
- 根据自己安装的MySQL的版本，找到正确的驱动文件，我的是MySQL8.0.19
所以驱动文件是mysql-connector-java-8.0.19.jar，将其复制到spark目录下的jars文件夹下
my@ubuntu:/usr/local/spark245_h_local/jars$ cp
/home/my/myfolder/mysql-connector-java-8.0.19/mysql-connector-java-8.0.19.jar
.
2、spark-shell里配置MySQL连接信息（含账号密码，默认库等）
例如我想读取MySQL里test库下的cc表，则可进行如下配置：
> val mysql_connect = new java.util.Properties()
> mysql_connect.put("user","root")
> mysql_connect.put("password","123456")
> spark.read.jdbc("jdbc:mysql://ubuntu:3306/test","cc",mysql_connect)
3、从MySQL读取数据
spark.read.jdbc("jdbc:mysql://ubuntu:3306/test","cc",mysql_connect)
4、写数据到MySQL
- 与向表test.cc中写入如下数据
id | name
-------- | -----
21| aaa
22| bbb
> val r1 = sc.parallelize(Array((21,"aaa"),(22,"bbb")))
> r1.collect
- 此时r1仍为RDD，故需要转换为dataframe才可以进一步操作
> r1.toDF("id","name")
> res6.show()
- 写入到MySQL
r1.toDF("id","name").write.mode("append").jdbc("jdbc:mysql://ubuntu:3306/test","cc",mysql_connect)文章来源：https://www.toymoban.com/news/detail-478146.html
文章来源地址https://www.toymoban.com/news/detail-478146.html
- 去MySQL里查看数据
如红色标注，说明已写入成功
到了这里，关于【大数据技术】Spark-SQL如何连接MySQL并进行读写数据的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
