spark通过connector的方式读写starrocks

7月前作者：YiRan_Zhao 分类：Toy博客阅读(70) 违法举报

这篇具有很好参考价值的文章主要介绍了spark通过connector的方式读写starrocks。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1，添加maven依赖

<!--starrocks的包-->
<dependency>
    <groupId>com.starrocks.connector</groupId>
    <artifactId>spark</artifactId>
    <version>1.0.0</version>
    <scope>system</scope>
    <systemPath>${project.basedir}/src/main/resources/starrocks-spark2_2.11-1.0.0.jar</systemPath>
</dependency>

spark通过connector的方式读写starrocks,doris,spark,大数据,java

然后在resources下面加上这个包

上面的包可以在下面git里的resource里下载

参考官方github demo/SparkDemo/src/main/resources at master · StarRocks/demo · GitHub

2，导入官方github里的sparkdemo下的文件到自己的目录下，如下

spark通过connector的方式读写starrocks,doris,spark,大数据,java

代码链接demo/SparkDemo/src/main/scala/com/starrocks at master · StarRocks/demo · GitHub

3，spark写数据到starrocks样例代码可以根据官方demo改

spark通过connector的方式读写starrocks,doris,spark,大数据,java

参考文档

GitHub - StarRocks/demo

spark/Flink 导入导出starrocks-阿里云开发者社区文章来源地址https://www.toymoban.com/news/detail-568752.html

到了这里，关于spark通过connector的方式读写starrocks的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

Apache Doris和StarRocks的区别

Apache Doris是一个分布式的列式存储系统，它的设计目标是提供大规模数据处理的可靠性和高性能。Doris采用了集群方式，通过将数据分布在多个机器上进行处理来提高性能，并提供了SQL查询接口方便用户使用。 StarRocks是一个分布式存储系统，它建立在Apache Hadoop之上，旨在为大

2024年02月15日
浏览(33)
生态扩展：Flink Doris Connector

官网地址： https://doris.apache.org/zh-CN/docs/dev/ecosystem/flink-doris-connector flink的安装： flink环境配置：vim /etc/profile 复制到flink的lib目录 doris官网：https://doris.apache.org/docs/ecosystem/flink-doris-connector

2024年02月06日
浏览(32)
Apache Doris (六十四）： Flink Doris Connector - (1)-源码编译

🏡 个人主页：IT贫道-CSDN博客 🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~ 🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频目录 1. Flink与Doris版本兼容

2024年01月18日
浏览(40)
第3.4章：StarRocks数据导入--Flink Connector与CDC秒级数据同步

Flink作为当前流行的流式计算框架，在对接StarRocks时，若直接使用JDBC的方式“流式”写入数据，对StarRocks是不友好的，StarRocks作为一款MVCC的数据库，其导入的核心思想还是“攒微批+降频率”。为此，StarRocks单独开发了flink-connector-starrocks，其内部实现仍是通过对数据缓存攒批

2023年04月15日
浏览(61)
Spark通过jdbc性能调优--采用分区的方式从oracle读数据

spark通过jdbc读取Oracle，当数据量很大的时候会出现两个问题：读取数据异常缓慢，甚至卡死大表中进行操作也会出现OOM的问题调优常规的读取数据库的方式如下常规jdbc读取表的时候只有一个分区在执行，也就是只有一个excutor在工作，没有把spark并行操作的特性发挥出来

2023年04月14日
浏览(39)
Flink读写Doris操作介绍

Flink Doris Connector 可以支持通过 Flink 操作（读取、插入、修改、删除） Doris 中存储的数据。可以将 Doris 表映射为 DataStream 或者 Table。 Flink操作Doris修改和删除只支持在 Unique Key 模型上 pom.xml加入依赖创建测试库测试表 Doris 和 Flink 列类型映射关系 Doris Type Flink Type NULL_TYPE

2024年02月12日
浏览(32)
StarRocks案例4: Spark load第二次运行报错

需求背景: CDH集群 Spark版本 2.4.0 StarRocks版本 2.5.5 使用Spark 2.4.0客户端会报错，java.lang.NoClassDefFoundError: org/slf4j/Logger 看StarRocks lib下面使用的是Spark 2.4.6版本的jar包于是使用Spark 2.4.6版本的客户端。遇到的问题: 第二次使用resource 的时候， label很快就显示报错这个 ErrorMsg: type:E

2024年02月09日
浏览(32)
通过starrocks jdbc外表查询sqlserver

1.sqlserver环境准备，使用docker环境，可以参考使用flink sqlserver cdc 同步数据到StarRocks_gongxiucheng的博客-CSDN博客部署获得sqlserver环境； 2.获取starrocks环境，也可以通过docker部署，参考：使用 Docker 部署 StarRocks @ deploy_with_docker @ StarRocks Docs 3.下载microsoft sql server jdbc driver jar包：

2024年02月10日
浏览(35)
Apache Doris (三十）：Doris 数据导入(八）Spark Load 3- 导入HDFS数据

目录 1. 准备HDFS数据 2. 创建Doris表 3. 创建Spark Load导入任务 4. 查看导入任务状态进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道࿰

2024年02月16日
浏览(35)
Apache Doris (二十八）：Doris 数据导入(六）Spark Load 1- 原理及配置

目录 1. 基本原理 2. Spark集群搭建 2.1 Spark Standalone 集群搭建 2.2 Spark On Yarn 配置

2024年02月16日
浏览(33)