第3.3章:StarRocks数据导入--Stream Load

这篇具有很好参考价值的文章主要介绍了第3.3章:StarRocks数据导入--Stream Load。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、概述

     Stream Load是StarRocks常见的数据导入方式,用户通过发送HTTP请求将本地文件或数据流导入至StarRocks中,该导入方式不依赖其他组件。

    Stream Load作是一种同步导入方式,可以直接通过请求的返回值判断导入是否成功,无法手动取消Stream Load任务,在超时或者导入错误后会被系统自动取消。

   Stream Load支持csv和json两种数据文件格式,适用于数据文件数量较少且单个文件的大小不超过10GB 的场景。Stream Load支持在导入过程中做数据转换、以及通过 upsert和delete 操作实现数据变更。

二、 Stream Load原理

2.1 流程图

    Stream Load本质上是一个HTTP的PUT请求 ,执行流程如下:

第3.3章:StarRocks数据导入--Stream Load,# StarRocks,sql,数据库

2.2 流程详解

(1)用户发起导入请求,该请求可以直接发往FE,由FE将请求转发给某个BE,由该BE充当协调者的角色,也可以由用户自己在导入请求时指定某个BE为协调者角色,发起导入请求。

   ps:如果把导入作业请求发送给 FE,FE 会通过轮询机制选定由哪一个 BE 来接收请求,从而实现 StarRocks 集群内的负载均衡。因此,推荐您把导入作业请求发送给 FE。

(2)协调者在收到导入请求后,会把数据分发到其他BE数据节点,当集群内一份数据有两个数据节点完成数据写入后,就标志着这次导入事务成功,剩余的一份数据会由剩下的节点从这两个副本中去同步数据。

(3)导入数据成功后,协调者会将导入任务的状态返回给用户。

2.3 注意事项

(1)请求直接发往FE时,FE 会通过 HTTP 重定向 (Redirect) 指令将请求转发给某一个 BE。需要注意重定向过程中,可能会由于网络波动问题造成导入任务的失败。

(2) Stream Load导入作业的系统参数配置:

streaming_load_max_mb:代表单个源数据文件的大小上限,默认文件大小上限为 10 GB

  建议一次导入的数据量不要超过 10 GB,否则失败重试的代价过大。源文件较大,可以拆分为多个Stream Load任务并行的方式(手动指定不同的协调者BE)来提高Stream Load导入任务的导入性能。如果确实无法拆分,可以适当调大该参数的取值,从而提高数据文件的大小上限。

   ps :如果调大该参数的取值,需要重启 BE 才能生效,系统性能可能会受影响,失败重试时的代价也会增加。

2.4 应用案例

   Stream Load对本地csv和json两种数据格式的导入案例,见文章

第3.2章:StarRocks数据导入--Stream Load_starrocks stream load-CSDN博客

参考文章:

第3.2章:StarRocks数据导入--Stream Load_starrocks stream load-CSDN博客

从本地文件系统导入 | StarRocks

Docs

如何基于 Apache Doris 构建简易高效的用户行为分析平台?|解决方案

Apache Doris 2.0 如何实现导入性能提升 2-8 倍文章来源地址https://www.toymoban.com/news/detail-832517.html

到了这里,关于第3.3章:StarRocks数据导入--Stream Load的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Doris(6):数据导入(Load)之Stream Load

    Broker load是一个同步的导入方式,用户通过发送HTTP协议将本地文件或者数据流导入到Doris中,Stream Load同步执行导入并返回结果,用户可以通过返回判断导入是否成功。 1 适用场景 Stream load 主要适用于导入本地文件,或通过程序导入数据流中的数据。 2 基本原理 下图展示了

    2023年04月19日
    浏览(45)
  • 《数据库系统概论》SQL Server 数据库导出、导入教程

    在SQL Server的使用过程中,大家难免遇到数据库表的导出、导入,从而实现用其它电脑打开数据库。 如果是使用学校实验室(机房)电脑做实验的同学,一定要掌握本技能!!! 1、右键点击数据库,“任务”,“生成脚本”,如下图 2、选择对象操作如图,“选择具体的数据

    2024年02月10日
    浏览(75)
  • sql server导入、导出数据库

    目录 一、导出数据库  二、导入数据库 1、连接服务器  2、选中需要导出的数据库,任务-》生成脚本  3、(跳过简介)选择该数据库中具体的某些表(如下图,选择所有当前数据库下的所有表格)  4、指定保存为文本文件 5、选择文件保存路径,以及生成的脚本文件名(此

    2024年02月12日
    浏览(54)
  • IDEA自带数据库导入SQL文件

    右键数据库 - 点击SQL Scripts -   run SQL Scripts 就可以选择对应的文件了  

    2024年02月05日
    浏览(55)
  • sql server的导入、导出数据库

    1、连接服务器  2、选中需要导出的数据库,任务-生成脚本  3、选择该数据库中具体的某些表  4、指定保存为文本文件、选择文件保存路径,以及生成的脚本文件名 6、点击选择高级设置,在“要编写脚本的数据的类型”中选择“架构和数据”,点击确定按钮。 选择下一步

    2024年02月09日
    浏览(58)
  • 将excel数据导入到SQL server数据库

    将要导入的excel表格数据如下,第一行数据默认为数据库表中的字段,所以这个必须要有,否则无法映射导入。 选择你要导入数据的数据库,右键选择任务,再点击导入文件 点击下一步 选择Microsoft Excel 点击预览选择你要导入的表,选择对应版本,但是一般导入就会预设好,

    2024年02月06日
    浏览(50)
  • mysql,mysqldump数据库导入导出sql文件

    在使用MySQL数据库时,经常需要备份和恢复数据库,通过导出sql文件备份和直接执行sql文件恢复是非常便捷的方式。本篇博客主要介绍如何对MySQL数据库通过cmd命令导出和导入sql文件。 导出sql文件可以使用mysqldump。主要有如下几种操作: ①导出整个数据库 (包括数据库中的数

    2023年04月10日
    浏览(63)
  • sql文件导入数据库的三种方式

    方式一:在数据库的表中直接右键运行sql文件    方式二:终端窗口 cmd,管理员身份运行 C:WINDOWSsystem32mysql -uroot -p 输入密码 use 数据库名; mysql use reggie; source sql文件路径(不能含有中文) 方式三:在数据库或终端输入sql指令 新建查询--输入sql语句--运行

    2024年02月03日
    浏览(55)
  • 如何将 .sql 文件导入到 MySQL 数据库?

    导入 SQL 文件到 MySQL 数据库是一个常见的任务,本文将介绍如何执行该操作。我们将逐步讲解具体的步骤,帮助您完成这个过程。 首先,在您的计算机上打开命令提示符或终端窗口。这将是执行导入操作的地方。 在执行导入操作之前,请确保您的计算机已安装并且可以从命

    2024年02月11日
    浏览(57)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包