数据库连接池Druid

这篇具有很好参考价值的文章主要介绍了数据库连接池Druid。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

在 Spring Boot 项目中,数据库连接池已经成为标配,然而,我曾经遇到过不少连接池异常导致业务错误的事故。很多经验丰富的工程师也可能不小心在这方面出现问题。

在这篇文章中,我们将探讨数据库连接池,深入解析其实现机制,以便更好地理解和规避潜在的风险。

数据库连接池Druid,数据库,oracle,tcp/ip

1 为什么需要连接池

假如没有连接池,我们操作数据库的流程如下:

  1. 应用程序使用数据库驱动建立和数据库的 TCP 连接 ;
  2. 用户进行身份验证 ;
  3. 身份验证通过,应用进行读写数据库操作 ;
  4. 操作结束后,关闭 TCP 连接 。

创建数据库连接是一个比较昂贵的操作,若同时有几百人甚至几千人在线,频繁地进行连接操作将占用更多的系统资源,但数据库支持的连接数是有限的,创建大量的连接可能会导致数据库僵死。

当我们有了连接池,应用程序启动时就预先建立多个数据库连接对象,然后将连接对象保存到连接池中。当客户请求到来时,从池中取出一个连接对象为客户服务。当请求完成时,客户程序调用关闭方法,将连接对象放回池中。

数据库连接池Druid,数据库,oracle,tcp/ip

相比之下,连接池的优点显而易见:

1、资源重用:

因为数据库连接可以重用,避免了频繁创建,释放连接引起的大量性能开销,同时也增加了系统运行环境的平稳性。

2、提高性能

当业务请求时,因为数据库连接在初始化时已经被创建,可以立即使用,而不需要等待连接的建立,减少了响应时间。

3、优化资源分配

对于多应用共享同一数据库的系统而言,可在应用层通过数据库连接池的配置,实现某一应用最大可用数据库连接数的限制,避免某一应用独占所有的数据库资源。

4、连接管理

数据库连接池实现中,可根据预先的占用超时设定,强制回收被占用连接,从而避免了常规数据库连接操作中可能出现的资源泄露。

2 JDBC 连接池

下面的代码展示了 JDBC 操作数据库的流程 :

//1. 连接到数据库
Connection connection = DriverManager.getConnection(jdbcUrl, username, password);
//2. 执行SQL查询
String sqlQuery = "SELECT * FROM mytable WHERE column1 = ?";
PreparedStatement preparedStatement = connection.prepareStatement(sqlQuery);
preparedStatement.setString(1, "somevalue");
resultSet = preparedStatement.executeQuery();
//3. 处理查询结果
while (resultSet.next()) {
    int column1Value = resultSet.getInt("column1");
    String column2Value = resultSet.getString("column2");
    System.out.println("Column1: " + column1Value + ", Column2: " + column2Value);
}
//4. 关闭资源
resultSet.close();
preparedStatement.close();
connection.close();

上面的方式会频繁的创建数据库连接,在比较久远的 JSP 页面中会偶尔使用,现在普遍使用 JDBC 连接池。

JDBC 连接池有一个标准的数据源接口javax.sql.DataSource,这个类位于 Java 标准库中。

public interface DataSource  extends CommonDataSource, Wrapper {

  Connection getConnection() throws SQLException;

  Connection getConnection(String username, String password) throws SQLException;
}

常用的 JDBC 连接池有:

  • HikariCP
  • C3P0
  • Druid

Druid(阿里巴巴数据库连接池)是一个开源的数据库连接池库,它提供了强大的数据库连接池管理和监控功能。

1、配置Druid数据源

DruidDataSource dataSource = new DruidDataSource();
dataSource.setUrl("jdbc:mysql://localhost:3306/mydatabase");
dataSource.setUsername("yourusername");
dataSource.setPassword("yourpassword");
dataSource.setInitialSize(5); // 初始连接池大小
dataSource.setMinIdle(5); // 最小空闲连接数
dataSource.setMaxActive(20); // 最大活动连接数
dataSource.setValidationQuery("select 1 from dual");  // 心跳的 Query
dataSource.setMaxWait(60000); // 最大等待时间
dataSource.setTestOnBorrow(true); // 验证连接是否有效

2、使用数据库连接

Connection connection = dataSource.getConnection();
//使用连接执行数据库操作
// TODO 业务操作
// 使用后关闭连接连接
connection.close();

3、关闭数据源

dataSource.close();

3 连接池 Druid 实现原理

我们学习数据源的实现,可以从如下五个核心角度分析:

  • 初始化
  • 创建连接
  • 回收连接
  • 归还连接
  • 销毁连接

3.1 初始化

首先我们查看数据源实现「获取连接」的接口截图,初始化可以主动被动两种方式。

主从是指显示的调用 init 方法,而被动是指获取连接时完成初始化。

数据库连接池Druid,数据库,oracle,tcp/ip

调用getConnection方法时,返回的对象是连接接口的封装类 DruidConnectionHolder 。

在初始化方法内,数据源创建三个连接池数组 。

数据库连接池Druid,数据库,oracle,tcp/ip

  • connections:用于存放能获取的连接对象。

  • evictConnections:用于存放需要丢弃的连接对象。

  • keepAliveConnections:用于存放需要保活的连接对象。

初始化阶段,需要进行连接池的预热:也就是需要按照配置首先创建一定数量的连接,并放入到池子里,这样应用在需要获取连接的候,可以直接从池子里获取。

数据源「预热」分为同步异步两种方式 ,见下图:

数据库连接池Druid,数据库,oracle,tcp/ip

从上图,我们可以看到同步创建连接时,是原生 JDBC 创建连接后,直接放入到 connections 数组对象里。

异步创建线程需要初始化 createScheduler , 但默认并没有配置。

数据源预热之后,启动了两个任务线程:创建连接销毁连接

数据库连接池Druid,数据库,oracle,tcp/ip

3.2 创建连接

这一节,我们重点学习 Druid 数据源如何创建连接

CreateConnectionThread 本质是一个单线程在死循环中通过 condition 等待,被其他线程唤醒 ,并实现创建数据库连接逻辑。

数据库连接池Druid,数据库,oracle,tcp/ip

笔者将 run 方法做了适当简化,当满足了条件之后,才创建数据库连接 :

  • 必须存在线程等待,才创建连接
  • 防止创建超过最大连接数 maxAcitve

创建完连接对象 PhysicalConnectionInfo 之后,需要保存到 Connections 数组里,并唤醒到其他的线程,这样就可以从池子里获取连接。

数据库连接池Druid,数据库,oracle,tcp/ip

3.3 获取连接

我们详细解析了创建连接的过程,接下来就是应用如何获取连接的过程。

DruidDataSource#getConnection 方法会调用到 DruidDataSource#getConnectionDirect 方法来获取连接,实现如下所示。

数据库连接池Druid,数据库,oracle,tcp/ip

核心流程是

1、在 for 循环内,首先调用 getConnectionDirect内,调用getConnectionInternal 从池子里获取连接对象;

2、获取连接后,需要根据 testOnBorrow 、testWhileIdle 参数配置判断是否需要检测连接的有效性;

3、最后假如需要判断连接是否有泄露,则配置 removeAbandoned 来关闭长时间不适用的连接,该功能不建议再生产环境中使用,仅用于连接泄露检测诊断。

接下来进入获取连接的重点:getConnectionInternal 方法如何从池子里获取连接。

数据库连接池Druid,数据库,oracle,tcp/ip

getConnectionInternal()方法中拿到连接的方式有三种:

  1. 直接创建连接(默认配置不会执行)

    需要配置定时线程池 createScheduler,当连接池已经没有可用连接,且当前借出的连接数未达到允许的最大连接数,且当前没有其它线程在创建连接 ;

  2. pollLast 方法:从池中拿连接,并最多等待 maxWait 的时间,需要设置了maxWait

数据库连接池Druid,数据库,oracle,tcp/ip

pollLast 方法的核心是:死循环内部,通过 Condition 对象 notEmpty 的 awaitNanos 方法执行等待,若池子中有连接,将最后一个连接取出,并将最后一个数组元素置为空。

  1. takeLast 方法:从池中拿连接,并一直等待直到拿到连接。

数据库连接池Druid,数据库,oracle,tcp/ip

和 pollLast 方法不同,首先方法体内部并没有死循环,通过 Condition 对象 notEmpty 的 await 方法等待,直到池子中有连接,将最后一个连接取出,并将最后一个数组元素置为空。

3.4 归还连接

DruidDataSource 连接池中,每一个物理连接都会被包装成DruidConnectionHolder,在提供给应用线程前,还会将 DruidConnectionHolder 包装成 DruidPooledConnection

数据库连接池Druid,数据库,oracle,tcp/ip

原生的 JDBC 操作, 每次执行完业务操作之后,会执行关闭连接,对于连接池来讲,就是归还连接,也就是将连接放回连接池

下图展示了 DruidPooledConnection 的 close 方法 :

数据库连接池Druid,数据库,oracle,tcp/ip

在关闭方法中,我们重点关注 recycle 回收连接方法。

数据库连接池Druid,数据库,oracle,tcp/ip

我们可以简单的理解:将连接放到 connections 数组的 poolingCount 位置,并将其自增,然后通过 Condition 对象 notEmpty 唤醒等待获取连接的一个应用程序。

3.5 销毁连接

DruidDataSource连接的销毁 DestroyConnectionThread 线程完成 :

数据库连接池Druid,数据库,oracle,tcp/ip

从定时任务(死循环)每隔 timeBetweenEvictionRunsMillis 执行一次,我们重点关注destroyTaskrun方法。

数据库连接池Druid,数据库,oracle,tcp/ip

destroyTaskrun方法 会调用DruidDataSource#shrink方法来根据设定的条件来判断出需要销毁和保活的连接。

数据库连接池Druid,数据库,oracle,tcp/ip

核心流程:

1、遍历连接池数组 connections

​ 内部分别判断这些连接是需要销毁还是需要保活 ,并分别加入到对应的容器数组里。

2、销毁场景

  • 空闲时间idleMillis >= 允许的最小空闲时间 minEvictableIdleTimeMillis
  • 空闲时间idleMillis >= 允许的最大空闲时间 maxEvictableIdleTimeMillis

3、保活场景

  • 发生了致命错误(onFatalError == true)且致命错误发生时间(lastFatalErrorTimeMillis)在连接建立时间之后
  • 如果开启了保活机制,且连接空闲时间大于等于了保活间隔时间

4、销毁连接

​ 遍历数组 evictConnections 所有的连接,并逐一销毁 。

5、保活连接

​ 遍历数组 keepAliveConnections 所有的连接,对连接进行验证 ,验证失败,则关闭连接,否则加锁,重新加入到连接池中。

4 保证连接有效

本节,我们讲解如何合理的配置参数保证数据库连接有效。

很多同学都会遇到一个问题:“长时间不进行数据库读写操作之后,第一次请求数据库,数据库会报错,但第二次就正常了。"

那是因为数据库为了节省资源,会关闭掉长期没有读写的连接

笔者第一次使用 Druid 时就遇到过这样的问题,有兴趣的同学可以看看笔者这篇文章:

追源码的平凡之路 | 勇哥Java实战

下图展示了 Druid 数据源配置样例:

数据库连接池Druid,数据库,oracle,tcp/ip

我们简单梳理下 Druid 的保证连接有效有哪些策略:

1、销毁连接线程定时检测所有的连接,关闭空闲时间过大的连接 ,假如配置了保活参数,那么会继续维护待保活的连接;

2、应用每次从数据源中获取连接时候,会根据testOnBorrowtestWhileIdle参数检测连接的有效性。

因此,我们需要重点配置如下的参数:

A、timeBetweenEvictionRunsMillis 参数:间隔多久检测一次空闲连接是否有效。

B、testWhileIdle 参数:启空闲连接的检测,强烈建议设置为 true 。

C、minEvictableIdleTimeMillis 参数:连接池中连接最大空闲时间(毫秒),连接数 > minIdle && 空闲时间 > minEvictableIdleTimeMillis 。

D、maxEvictableIdleTimeMillis 参数:连接池中连接最大空闲时间,空闲时间 > maxEvictableIdleTimeMillis,不管连接池中的连接数是否小于最小连接数 。

E、testOnBorrow 参数:开启连接的检测,获取连接时检测是否有效,假如设置为 true ,可以最大程度的保证连接的可靠性,但性能会变很差 。文章来源地址https://www.toymoban.com/news/detail-754247.html

到了这里,关于数据库连接池Druid的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 数据库连接池druid参数详解

    1、type: 数据源类型,这里使用了Druid连接池的类型。 2、url: 数据库连接的URL。 注意事项:需要根据实际情况修改URL。 3、username: 数据库用户名。 4、password: 数据库密码 包含一些特殊字符的时候需要加引号。 5、initialSize: 连接池初始化时创建的连接数。 需要根据实际情况设置

    2024年02月15日
    浏览(24)
  • 数据库连接池(Druid(德鲁伊))

    在使用开发基于数据库的web程序时,传统的模式基本是按以下步骤 在主程序(如servlet、beans)中建立数据库连接 进行sql操作 断开数据库连接   这种模式开发,存在的问题: 普通的JDBC数据库连接使用 DriverManager 来获取,每次向数据库建立连接的时候都要将 Connection加载到内存

    2024年03月14日
    浏览(47)
  • openGauss学习笔记-100 openGauss 数据库管理-管理数据库安全-客户端接入之用SSL进行安全的TCP/IP连接

    100.1 背景信息 openGauss支持SSL标准协议(TLS 1.2),SSL协议是安全性更高的协议标准,它们加入了数字签名和数字证书来实现客户端和服务器的双向身份验证,保证了通信双方更加安全的数据传输。 100.2 前提条件 从CA认证中心申请到正式的服务器、客户端的证书和密钥。(假设

    2024年02月05日
    浏览(45)
  • 【八】spring boot集成数据库连接池druid

            最近在进行程序优化的过程中发现程序瓶颈在数据库连接这块,于是开始研究怎么对数据库连接池参数进行调优,在这个过程中发现很多人使用druid很不规范,经常会出现导入的包和配置参数不对应的情况,这些都是因为对集成druid一知半解导致的,因此决心写一

    2024年02月09日
    浏览(42)
  • SpringBoot整合(五)HikariCP、Druid数据库连接池—多数据源配置

    在项目中,数据库连接池基本是必不可少的组件。在目前数据库连接池的选型中,主要是 Druid ,为 监控 而生的数据库连接池。 HikariCP ,号称 性能 最好的数据库连接池。 在Spring Boot 2.X 版本,默认采用 HikariCP 连接池。而阿里大规模采用 Druid 。下面介绍在SpringBoot中使用Hika

    2024年02月17日
    浏览(59)
  • SpringBoot整合Druid数据库连接池&多数据源&注解切换&动态添加

    配置好之后 Druid 会通过 DruidDataSourceAutoConfigure 自动装配 属性配置 数据源枚举 动态数据源 继承 AbstractRoutingDataSource 就可以实现动态数据源了 实现了一个动态数据源类的构造方法,主要是为了设置默认数据源,以及以Map保存的各种目标数据源。其中Map的key是设置的数据源名称

    2024年03月22日
    浏览(49)
  • elastic-job-ui在使用druid作为数据库连接池时作业维度报错

    我们项目中使用到了elastic-job,然后自己封装了个sdk,方便使用,里面的数据源配置是常用的druid+mysql的组合,在操作中,发现elastic-job-ui可视化控制台会报错无法使用。 深究其原因是因为,各个服务把定时任务注册到了zk中,包括数据库配置类的一些信息,但是elastic-job-ui源

    2024年02月10日
    浏览(33)
  • Java连接Oracle数据库

    目录 第一步:导入jar包  第二步:配置数据库参数 Oracle配置参数:xml中配置 Mysql配置参数:xml方式配置 第三步:写一个工具类JDBCUtils 第四步:连接数据库 commons-dbutils-1.6.jar,jar包大家就到网上搜吧 Oracle配置参数:xml中配置 重点一: Oracle数据库的JDBC连接分为三种,服务名

    2024年02月13日
    浏览(38)
  • Navicat连接Oracle数据库

    打开服务里面找到Oracle服务 OracleServerXE或者OracleServerTTL  创建数据库连接 连接名默认自己起 主机选择本地 端口默认 服务名在服务中可以找到输入后缀 用户名默认都是system 密码是创建oracle时候填写的口令 点击测试连接即可

    2024年02月04日
    浏览(45)
  • 物联网开发终端管理篇-java从MQTT获取设备数据,并通过Druid连接池把数据写入MySQL数据库(Windows系统)

    下面来给大家做个简单的数据对接,也就是通过写JAVA代码实现MQTT协议 首页我们得搭建一个简单的IDEA项目,这个我就不做演示了 搭建完项目,我们需要准备一些jar包,jar包名如下: org.eclipse.paho.client.mqttv3-1.1.0.jar mysql-connector-java-5.1.34.jar jackson-databind-2.10.0.jar jackson-core-2.10.0

    2024年02月11日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包