tidb流式读取配置

这篇具有很好参考价值的文章主要介绍了tidb流式读取配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

程序中执行会话变量(显示数据速度):--后是tidb默认值。

配合流式读取,作如下读取速度限制,

限制fullscan&index速度:

以下是在java中的示例,com.adata.common.tidb.read.是java包类名:

com.adata.common.tidb.read.tidb_distsql_scan_concurrency=1; --15

com.adata.common.tidb.read.tidb_init_chunk_size=8; --32

com.adata.common.tidb.read.tidb_max_chunk_size=32; --128

com.adata.common.tidb.read.tidb_executor_concurrency=1; --5

限制index读取速度:

com.adata.common.tidb.read.tidb_index_lookup_size=20; --2000

com.adata.common.tidb.read.tidb_index_serial_scan_concurrency=1; --1

流式读数限制Tiflash读取速度在当前session的代码设置:set @@tidb_max_tiflash_threads=3; --"-1"

另外限制客户端读取速度:配合连接字符串cursorfetch=true,java代码设置setfetchsize(1000);

分页是另一个控制OOM的选项,一个选择但是用户侧目前为了通用性,不方便分页。文章来源地址https://www.toymoban.com/news/detail-834309.html

到了这里,关于tidb流式读取配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 如何配置openai的返回Stream数据并转发到h5页面按markdown格式流式输出

    如何配置openai返回数据,保持流式输出,可以分段加载 可以使用OpenAI API的stream参数来实现流式输出,并且可以使用max_tokens参数控制每次返回数据的长度。 以下是一个示例代码,演示如何使用OpenAI API来实现流式输出并分段加载: 在这个示例中,我们将 stream 参数设置为 Tru

    2024年02月01日
    浏览(41)
  • Springboot读取外部配置文件,项目部署时配置读取不到问题

    需求: 最近项目部署,但是每个地方都有个别地方配置的差异,我们每次打包后再进行修改极度不方便,这里将有关的配置都抽取出来,放在jar包外进行配置,这样以后更新时只需要将jar包更换然后重启即可,配置读取外部的固定配置文件。 SpringBoot 配置 springboot默认配置的

    2024年02月07日
    浏览(49)
  • Springboot读取配置文件

    springboot项目中不同配置文件的优先加载顺序 为:properties yml yaml自定义核心类配置 自定义配置文件的加载 一般系统会加载默认的application.properties或者application.yml,但如果使用自定义配置文件,可使用下面方式进行加载: @PropertySource(\\\"classpath:myApplication.properties\\\")加载自定义配置

    2024年01月17日
    浏览(33)
  • Yaml配置文件读取方法

    在日常的代码中,有一些值是配置文件中定义的,这些值可以根据用户的要求进行调整和改变。这往往会写在yaml格式的文件中。这样开放程序给用户时,就可以不必开放对应的源码,只开放yaml格式的配置文件即可。 将配置文件中的值读入程序也非常的简单。 我们先写一个简

    2024年02月11日
    浏览(51)
  • [python]常用配置读取方法

    常见的应用配置方式有环境变量和配置文件,对于微服务应用,还会从配置中心加载配置,比如nacos、etcd等,有的应用还会把部分配置写在数据库中。此处主要记录从环境变量、 .env 文件、 .ini 文件、 .yaml 文件、 .toml 文件、 .json 文件读取配置。 ini 文件格式一般如下: 使用

    2024年02月03日
    浏览(35)
  • 单例模式读取配置文件

    单例模式(Singleton Pattern)是一种常见的设计模式,它确保一个类只有一个实例,并提供一个全局访问点以获取该实例。当你需要在应用程序中读取配置文件时,使用单例模式可以确保你只创建一个配置对象,以避免重复加载配置数据。 以下是一个使用单例模式读取配置文件

    2024年02月05日
    浏览(56)
  • TiDB(2):TiDB架构特性

    1 TiDB 整体架构 TiDB 集群主要包括三个核心组件:TiDB Server,PD Server 和 TiKV Server。此外,还有用于解决用户复杂 OLAP 需求的 TiSpark 组件和简化云上部署管理的 TiDB Operator 组件。 架构图解   1.1 TiDB Server TiDB Server 负责接收 SQL 请求,处理 SQL 相关的逻辑,并通过 PD 找到存储计算所

    2024年02月12日
    浏览(43)
  • Springboot读取配置的一些方式

    从配置文件中获取属性应该是 SpringBoot 开发中最为常用的功能之一,但就是这么常用的功能,仍然有很多开发者在这个方面踩坑。 下面整理了几种获取配置属性的方式, 弄清配置加载、读取的底层原理 ,一旦出现问题可以分析。 以下示例源码 Springboot 版本均为 2.7.6 一、E

    2024年02月15日
    浏览(36)
  • NetCore读取JSON配置文件

    一、添加NuGet 包: 1. Microsoft.Extensions.Configuration.Binder :将对象与 Microsoft.Extensions.Configuration 的配置提供程序中的数据绑定的功能。 2. Microsoft.Extensions.Configuration.Json :Microsoft.Extensions.Configuration 的 JSON 配置提供程序实现。 3. Microsoft.Extensions.Configuration.EnvironmentVariables :Microso

    2024年02月05日
    浏览(36)
  • .Net Core 读取配置文件

    目录 appsetting.json IConfiguration 读取 IConfiguration Bind 读取 IOptionsMonitor 读取 Program.cs 构造注入 使用 IOptions 读取 Program.cs 构造注入 使用 用于测试appsetting.json 直接构造函数注入 使用Bind方法与对象绑定,然后操作对象即可, 注意: 对象属性与配置文件节点相同 Program.cs 读取要读取的节

    2024年02月17日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包