最近需要处理Clickhouse里面的数据,经过上网查找总结一下spark读写Clickhouse的工具类已经遇到的问题点。具体Clickhouse的讲解本篇不做讲解,后面专门讲解这个。
一、clickhouse代码操作
话不多说直接看代码文章来源:https://www.toymoban.com/news/detail-772646.html
1.引入依赖:
<dependency>
<groupId>ru.yandex.clickhouse</groupId>
<artifactId>clickhouse-jdbc</artifactId>
<version>0.2.4</version>
</dependency>
0.2.4 这个版本用的比较多一点文章来源地址https://www.toymoban.com/news/detail-772646.html
2.spark对象创建
val spark = SparkSession.builder().appName("testclickHouse")
.master("local")
.getOrCreate()
3.spark读取clickhouse数据:
def clickHouseRead(spark: SparkSession): DataFrame = {
val sql = "select * from test1"
//将结果提前存到临时表
val tablename = "( " + sql + " ) temp"
val url = "jdbc:clickhouse://192.168.0.0:
到了这里,关于spark读取、写入Clickhouse以及遇到的问题的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!