解决运行clickhouseSql超时问题

这篇具有很好参考价值的文章主要介绍了解决运行clickhouseSql超时问题。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

表现

在平时工作中,会用到dolphinscheduler/datagrip/dbever等运行clickhouseSql,而clickhouse的jdbc在运行过程中给予我的痛苦可不是一星半点,常常运行一个sql会报错,没错,就是timeout。查阅各种资料后,找到了一个成本较低的解决方案。

原因

clickhouse作为一款近即席的数据库,数据处理是比较快的,但是遇见比较复杂的数据处理逻辑的时候,难免会在30s内没有任何的结果返回,此时jdbc认为是超时了,进而报错,无返回结果。实际上,CH仍在运行提交的sql,而开发人员会认为是失败。反而会再次提交任务,使得集群压力大,而且,CH的并发支持并不是很高,重复的提交会有拖垮进程的危险。

操作

datagrip/dbever等数据库链接工具:

直接修改url,在最后添加socket_timeout=300000即可解决,测试ok,可以在更长的时间返回处理的结果

dolphinscheduler:

使用的版本是2.0.6,在数据源中添加参数其实是不生效的,测试过多种方式,都没有起作用,最终,想到了一个黑科技,没错,就是元数据,打开mysql,找到对应的数据源的表,修改CH对应的URl。解决!

总结

虽然不是很官方的操作,但是,这无疑是最快速、成本最低的解决方式。还有几个方式据说是同样可以解决,但是需要改的配置比较多。

建议

除非是经常遇见这类情况,不建议修改元数据。修改时,做好数据的备份,以免操作失误。有更好的方式,也欢迎大家分享~文章来源地址https://www.toymoban.com/news/detail-505543.html

到了这里,关于解决运行clickhouseSql超时问题的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Kafka连接超时问题及解决方法

    Kafka是一个高性能、分布式的消息队列系统,被广泛应用于大规模数据处理和实时流处理场景。然而,在使用Kafka进行远程连接时,有时会遇到连接超时的问题。本文将介绍Kafka连接超时问题的原因,并提供一些解决方法。 连接超时问题通常会在以下几种情况下出现: 网络问

    2024年02月04日
    浏览(47)
  • rancher界面无法登陆问题解决,登录超时;

    1.找到rancher主机,查看日志 docker ps | grep rancher # rancher 容器 名称 jolly_ptolemy docker logs -f jolly_ptolemy 日志提示, java.sql.SQLException: Got error 28 from storage engine,磁盘满了 2.磁盘管理 df -h  #查看磁盘使用情况 100% 分析原因:该主机主要是docker容器,可能是docker 占用空间过大 docker

    2024年02月11日
    浏览(38)
  • Docker 拉取镜像超时问题解决方法

    centos7下安装好docker 配置了阿里云的镜像加速器 打算从dockerhub上拉取官方的nginx镜像,结果超时了  网上的解决方案是配置dns vi /etc/resolv.conf  但是,很多网友说配置完后要重启网卡,结果我重启网卡后,配置又变回原来的了,拉取结果还是超时 我重新修改配置后,没有重启

    2024年02月11日
    浏览(57)
  • es如何解决timeout超时30秒问题

    Timeouts | Java REST Client [7.12] | Elastic 我们使用es的相关client查询es时常会发现此报错,大概也知道是因为操作时间过长达到某个默认阈值30s才返回的报错,那么如何解决呢? 原本我们使用RestHighLevelClient操作es查询的时候,只顾构造SearchSourceBuilder,RequestOptions相关配置没有用,全

    2024年02月11日
    浏览(39)
  • 解决Android Studio下载gradle超时问题

      下载地址:https://mirrors.cloud.tencent.com/gradle/  

    2024年01月21日
    浏览(65)
  • 解决ssh远程登录,超时自动退出的问题

    ssh远程登录服务器,如果一段时间没有操作就会被迫下线。这在一定程度上提高了远程运维的安全性。但是如果时间设置的太短,往往会造成不便。 为了解决这个问题需要进行以下设置: 方法一:通过服务端配置解决 1、设置ssh的定期重试 2、修改shell的过期时间 如果回话超

    2024年01月18日
    浏览(71)
  • 妙用 FutureTask + 线程池:轻松解决接口超时问题!

    来源:blog.csdn.net/qq_44384533/article/details/112324224 之前红包权益领取查询的接口超时了,因为有用户订购的权益有点多 用线程池+ FutureTask将1个查询拆分成多个小查询 选择FutureTask是因为它具有仅执行1次run()方法的特性(即使有多次调用也只执行1次),避免了重复查询的可能。而且

    2024年02月05日
    浏览(38)
  • Springboot调整接口响应返回时长详解(解决响应超时问题)_springboot设置请求超时时间

    1、配置Http会话超时 可以通过两种方式为Spring Boot应用程序 配置HTTP会话超时 。 1.1 application.properties中配置会话超时 最简单的方法是在你的application.properties中加入参数 server.servlet.session.timeout 。 还要注意的是, Tomcat不允许你将超时时间设置得少于60秒 。 1.2 以程序方式配置会

    2024年04月27日
    浏览(71)
  • 记录解决Android Studio下载gradle超时问题

    大三学生,2023年3月19号晚,首次下载Android Studio2022版本并新建项目,发现在下载gradle总是连接超时,舍友则没有这个问题,用的是同一个安装包。 查阅文献太多,忘记都有哪些了,就不列出来了,都是公开的。 总结:连接不上外网的谷歌导致网络超时,通过其他方法下载好

    2024年02月05日
    浏览(100)
  • docker pip下载依赖超时或失败问题解决

    Docker容器使用 pip 安装Python库时超时,可能是由于多种原因。以下是一些建议和解决方法: 使用国内镜像源 : 如果你位于中国,可以尝试更换到国内的镜像源。例如,可以使用阿里云、腾讯云、清华大学提供的镜像。 你可以在Dockerfile中添加以下命令来更改pip源: 或者在安装

    2024年02月04日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包