一百八十九、ClickHouse——在海豚调度器中执行ClickHouse建库建表语句

这篇具有很好参考价值的文章主要介绍了一百八十九、ClickHouse——在海豚调度器中执行ClickHouse建库建表语句。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、目的

由于Hive处理好的结果数据要同步到ClickHouse中,因此需要在在海豚调度器中执行ClickHouse的ADS层的建库建表语句

二、执行步骤

(一)情形一:ClickHouse和海豚在同一服务器上

1、直接在海豚中创建执行SQL文件脚本的工作流

(1)第一步,在资源中心上传ADS层的建库建表SQL文件

一百八十九、ClickHouse——在海豚调度器中执行ClickHouse建库建表语句,ClickHouse,大数据调度工具,clickhouse

(2)第二步,在项目里建工作流,添加运行SQL文件的脚本

一百八十九、ClickHouse——在海豚调度器中执行ClickHouse建库建表语句,ClickHouse,大数据调度工具,clickhouse

#! /bin/bash
source /etc/profile

clickhouse-client --user default --password hurys@123 -d default --multiquery <basic_ads.sql

(3)第三步,保存并执行工作流

一百八十九、ClickHouse——在海豚调度器中执行ClickHouse建库建表语句,ClickHouse,大数据调度工具,clickhouse

(二)情形二:ClickHouse和海豚不在同一服务器上

1、在ClickHouse数据源里执行建库建表SQL语句(一个任务一条SQL

(1)第一步,在海豚中创建ClickHouse的数据源

一百八十九、ClickHouse——在海豚调度器中执行ClickHouse建库建表语句,ClickHouse,大数据调度工具,clickhouse

(2)第二步,创建海豚工作流,执行建库建表SQL

注意:建库和建表分开,然后一个任务一条建表SQL

一百八十九、ClickHouse——在海豚调度器中执行ClickHouse建库建表语句,ClickHouse,大数据调度工具,clickhouse

A、建库案例

一百八十九、ClickHouse——在海豚调度器中执行ClickHouse建库建表语句,ClickHouse,大数据调度工具,clickhouse

create database if not exists hurys_dc_ads;

B、建表案例

一百八十九、ClickHouse——在海豚调度器中执行ClickHouse建库建表语句,ClickHouse,大数据调度工具,clickhouse

--1.2 统计数据流量表——动态分区——1小时周期
create  table  if not exists  hurys_dc_ads.ads_statistics_volume_1hour(
    device_no       String                   comment '设备编号',
    name            Nullable(String)         comment '场景',
    lane_no         Nullable(int)            comment '车道编号',
    lane_direction  Nullable(String)         comment '车道流向',
    section_no      Nullable(Float32)        comment '断面编号',
    coil_no         Nullable(Float32)        comment '线圈编号',
    direction       Nullable(String)         comment '雷达朝向',
    sum_volume_hour Nullable(int)            comment '每小时总流量',
    start_time      DateTime                 comment '开始时间',
    end_time        DateTime                 comment '结束时间',
    day             Date                     comment '日期'
)ENGINE = MergeTree
PARTITION BY (day)
PRIMARY KEY day
order by day
TTL day + toIntervalMonth(12)
SETTINGS index_granularity = 8192;

(3)第三步,保存并执行工作流

一百八十九、ClickHouse——在海豚调度器中执行ClickHouse建库建表语句,ClickHouse,大数据调度工具,clickhouse

对于海豚调度器和ClickHouse在不在同一服务器上,ADS层建库建表语句会有不同的工作流配置方式。

注意,由于海豚调度器中的ClickHouse数据源,一个任务只能一条SQL语句,即一个;  因此不能把多个建表SQL放在一个任务中,否则会运行报错,因此海豚中的ClickHouse没有区分分段执行文章来源地址https://www.toymoban.com/news/detail-723376.html

到了这里,关于一百八十九、ClickHouse——在海豚调度器中执行ClickHouse建库建表语句的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Android14之Android Rust模块编译语法(一百八十七)

    简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长! 优质专栏: Audio工程师进阶系列 【 原创干货持续更新中…… 】🚀 优质专栏: 多媒体系统工程师系列 【 原创干货持续更新中…… 】🚀 人生格言: 人生从来没有捷径

    2024年02月22日
    浏览(76)
  • 高通sm7250与765G芯片是什么关系?(一百八十一)

    简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长! 优质专栏: Audio工程师进阶系列 【 原创干货持续更新中…… 】🚀 优质专栏: 多媒体系统工程师系列 【 原创干货持续更新中…… 】🚀 人生格言: 人生从来没有捷径

    2024年01月18日
    浏览(61)
  • Android14之解决Pixel手机联网出现感叹号(一百八十)

    简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长! 优质专栏: Audio工程师进阶系列 【 原创干货持续更新中…… 】🚀 优质专栏: 多媒体系统工程师系列 【 原创干货持续更新中…… 】🚀 人生格言: 人生从来没有捷径

    2024年01月22日
    浏览(48)
  • XUbuntu22.04之解决蓝牙鼠标不停掉线问题(追凶过程)(一百八十五)

    简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长! 优质专栏: Audio工程师进阶系列 【 原创干货持续更新中…… 】🚀 人生格言: 人生从来没有捷径,只有行动才是治疗恐惧和懒惰的唯一良药. 更多原创,欢迎关注:An

    2024年02月16日
    浏览(75)
  • XUbuntu22.04之Linux剪切板和selection primary区域(一百八十七)

    简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长! 优质专栏: Audio工程师进阶系列 【 原创干货持续更新中…… 】🚀 人生格言: 人生从来没有捷径,只有行动才是治疗恐惧和懒惰的唯一良药. 更多原创,欢迎关注:An

    2024年02月15日
    浏览(48)
  • 一百八十八、Hive——HiveSQL查询表中的日期是星期几(亲测,附截图)

    指标需要查询以工作日和周末维度的数据统计,因此需要根据数据的日期判断这一天属于星期几,周一到周五为工作日,周六到周日为周末 今天是2023年9月26日,周二! 2023-05-02为任意一天的周二,不是选周一或者周日,这个可以自行验证!

    2024年02月07日
    浏览(52)
  • Android14之Selinux报错:unknown type qemu_device at token (一百八十三)

    简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长! 优质专栏: Audio工程师进阶系列 【 原创干货持续更新中…… 】🚀 优质专栏: 多媒体系统工程师系列 【 原创干货持续更新中…… 】🚀 人生格言: 人生从来没有捷径

    2024年03月13日
    浏览(64)
  • Android14之adb remount报错:Cannot use remount when a checkpoint is in progress(一百八十四)

    简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长! 优质专栏: Audio工程师进阶系列 【 原创干货持续更新中…… 】🚀 优质专栏: 多媒体系统工程师系列 【 原创干货持续更新中…… 】🚀 人生格言: 人生从来没有捷径

    2024年04月28日
    浏览(61)
  • 一百八十六、大数据离线数仓完整流程——步骤五、在Hive的DWS层建动态分区表并动态加载数据

    经过6个月的奋斗,项目的离线数仓部分终于可以上线了,因此整理一下离线数仓的整个流程,既是大家提供一个案例经验,也是对自己近半年的工作进行一个总结。 1、Hive的DWS层建库建表语句 --如果不存在则创建hurys_dc_dws数据库 create database if not exists hurys_dc_dws; --使用hurys_

    2024年02月07日
    浏览(47)
  • 一百八十二、大数据离线数仓完整流程——步骤一、用Kettle从Kafka、MySQL等数据源采集数据然后写入HDFS

    经过6个月的奋斗,项目的离线数仓部分终于可以上线了,因此整理一下离线数仓的整个流程,既是大家提供一个案例经验,也是对自己近半年的工作进行一个总结。 项目行业属于交通行业,因此数据具有很多交通行业的特征,比如转向比数据就是统计车辆左转、右转、直行

    2024年02月07日
    浏览(52)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包