kettle配置提升读写性能

这篇具有很好参考价值的文章主要介绍了kettle配置提升读写性能。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、使用场景

        在多个数据库之间进行数据的抽取,转换,处理等

二、数据库配置

1.增加批量写的速度

        useServerPrepStmts=false (关闭服务器端编译,sql语句在客户端编译好再发送给服务器端,发送语句如上。如果为true,sql会采用占位符方式发送到服务器端,在服务器端再组装sql语句)

        rewriteBatchedStatements=true  (开启批量写功能)

        useCompression=true (压缩数据传输,优化客户端和MySQL服务器之间的通信性能。)

2. 增加读的速度

        useServerPrepStmts=true 

        cachePrepStmts=true

三、注意事项

        MySQL的JDBC连接的url中要加rewriteBatchedStatements参数,并保证5.1.13以上版本的驱动,才能实现高性能的批量插入。MySQL JDBC驱动在默认情况下会无视executeBatch()语句,把我们期望批量执行的一组sql语句拆散,一条一条地发给MySQL数据库,批量插入实际上是单条插入,直接造成较低的性能。只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL,另外这个选项对INSERT/UPDATE/DELETE都有效。文章来源地址https://www.toymoban.com/news/detail-789873.html

到了这里,关于kettle配置提升读写性能的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 详解数据库分片,大幅提升Spring Boot查询MySQL性能

    微服务项目中通常包含各种服务。其中一项服务与存储用户相关的数据有关。我们使用Spring Boot作为后端,使用MySQL数据库。 随着用户基数的增长,服务性能受到了影响,延迟也上升了。由于只有一个数据库和一张表,许多查询和更新由于锁异常返回错误。此外,随着数据库

    2024年01月16日
    浏览(31)
  • Linux权限提升—定时任务、环境变量、权限配置不当、数据库等提权

      在上篇文章中提到了Linux权限提升之前的信息收集操作,这里就不在赘述,在前言中讲上篇文章为提到的内容进行补充,至于其它内容可参考上篇文章。   Linux权限提升—内核、SUID、脏牛等提权   这里提一下,之前在设计找EXP都是使用自动化进行编译,但是就会出现

    2023年04月08日
    浏览(91)
  • Kettle连接SQLSERVER数据库

    下载驱动程序 微软官网下载 Microsoft SQL Server JDBC 驱动程序:https://www.microsoft.com/zh-cn/download/details.aspx?displaylang=enid=11774e6b34bbe-475b-1abd-2c51-b5034bcdd6d2=truea03ffa40-ca8b-4f73-0358-c191d75a7468=true44F86079-8679-400C-BFF2-9CA5F2BCBDFC=1 双击下载的软件进行解压,找到jre8文件夹底下的sqljdbc42.jar文件,

    2024年02月11日
    浏览(39)
  • Kettle之数据库连接方式

    Kettle软件主要提供了4种数据库连接方式,分别是JDBC、ODBC、OCI、JNDI,其中 OCI 只适用于Oracle。本文重点对使用比较普遍的 JDBC 和 JNDI 连接方式进行探讨,后面会有单独文章对 ODBC 连接方式进行说明。 在进行数据库连接之前,需要确保以下两个方面已经准备好: 1、对应类型对

    2023年04月24日
    浏览(54)
  • 大页内存配置引发的数据库性能问题

    问题背景:         用户来电报故障,他们一套正常运行的Oracle数据库,突然出现了10分钟左右的性能卡顿问题,期间全部的业务操作都变慢,他们通过查看问题期间的awr报告,发现数据库在问题时间出现大量的libary cache等待事件,但每秒的硬解析并不高,不知道是什么原

    2024年02月21日
    浏览(33)
  • 大数据ETL工具Kettle

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 提示:这里可以添加本文要记录的大概内容: 提示:以下是本篇文章正文内容,下面案例可供参考 ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱

    2024年02月10日
    浏览(31)
  • Kettle连接人大金仓KingbaseES数据库

    一、方法1:某些情况下连接上数据库后,加载数据较慢,甚至卡死时,可往下参考方法2。 1、驱动下载。在人大金仓官网–通用型数据库–接口驱动– JDBC 驱动程序 X86(第一个驱动包)下载出来,直达链接(点此直达)。 2、解压驱动包。注意,驱动包zip文件里面共有6个文

    2024年02月05日
    浏览(110)
  • Redis缓存设计与性能优化【缓存和数据库不一致问题,解决方案:1.加过期时间这样可以一段时间后自动刷新 2.分布式的读写锁】

    在大并发下,同时操作数据库与缓存会存在数据不一致性问题 1、双写不一致情况 2、读写并发不一致 解决方案: 1、对于并发几率很小的数据(如个人维度的订单数据、用户数据等),这种几乎不用考虑这个问题,很少会发生缓存不一致, 可以给缓存数据加上过期时间,每隔一

    2024年04月13日
    浏览(33)
  • kettle与MySQL数据库建立连接教程

    1、下载mysql8.0的jar驱动 https://mvnrepository.com/artifact/mysql/mysql-connector-java/8.0.28 2、将下载好的mysql的驱动放到kettle安装文件中的lib下面,然后重启Spoon 3 、建立连接的两种方式 第一种方式:数据库 连接

    2024年02月04日
    浏览(37)
  • GaussDB数据库SQL系列-SQL与ETL浅谈

    目录 一、前言 二、SQL与ETL的概述 三、ETL过程中的SQL示例(GaussDB) 1、提取(Extract) 2、转换(Transform) 3、加载(Load) 四、附DataArts Studio介绍 五、小结 在SQL语言中,ETL(抽取、转换和加载)是一种用于将数据从源系统抽取到目标系统的过程。ETL过程通常包括三个阶段:抽

    2024年02月08日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包