2.4 如何在FlinkSQL使用DataGen(数据生成器)

这篇具有很好参考价值的文章主要介绍了2.4 如何在FlinkSQL使用DataGen(数据生成器)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1、DataGen SQL 连接器

FLinkSQL中可以使用内置的DataGen SQL 连接器来生成测试数据

官网链接:DataGen SQL 连接器


2、随机数数据生成器

随机数数据生成器支持随机生成 char、varchar、binary、varbinary、string 类型的数据

它是一个无界流的数据生成器

-- TODO 随机数数据生成器 创建source表
drop table random_datagen_source_table;
CREATE TABLE random_datagen_source_table (
    user_name string,
    user_id int

) WITH (
    'connector' = 'datagen',
    'rows-per-second'='1',                 -- 指定生成速率:每秒生成的行数(默认值:10000)

    -- TODO 对表中的每个字段,进行配置
    -- 生成随机整数
    'fields.user_id.kind'='random',        -- 指定 数据生成器类型:random 随机数
    'fields.user_id.min'='1',              -- 指定 随机数的最小值 
    'fields.user_id.max'='1000',           -- 指定 随机数的最大值 

    -- 生成随机字符串(字段类型为string时,可以指定string长度)
    'fields.user_name.kind'='random',      -- 指定 数据生成器类型:random 随机数
    'fields.user_name.length'='3'          -- 指定 随机生成字符串的长度
);

-- 流式SQL
select * from random_datagen_source_table;

运行结果:

2.4 如何在FlinkSQL使用DataGen(数据生成器),# FlinkSQL 使用技巧,数据库


3、序列生成器

序列数据生成器,可以根据指定的起始值和结束值生成连续的整数数据

当序列数字达到结束值,读取结束,所以它是有界的生成器

-- TODO 序列数据生成器 创建source表
drop table sequence_datagen_source_table;
CREATE TABLE sequence_datagen_source_table (
    user_id int
) WITH (
    'connector' = 'datagen',
    'rows-per-second'='1',                 -- 指定生成速率:每秒生成的行数(默认值:10000)

    -- TODO 对表中的每个字段,进行配置
    'fields.user_id.kind'='sequence',        -- 指定 数据生成器类型:sequence 序列
    'fields.user_id.start'='1',              -- 指定 序列的起始值
    'fields.user_id.end'='120'               -- 指定 序列的结束值
);

-- 批式SQL
select * from sequence_datagen_source_table;

运行结果:

2.4 如何在FlinkSQL使用DataGen(数据生成器),# FlinkSQL 使用技巧,数据库文章来源地址https://www.toymoban.com/news/detail-743564.html

到了这里,关于2.4 如何在FlinkSQL使用DataGen(数据生成器)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 使用免费负载生成器swingbench对oracle数据库进行压力测试(测试Oracle的功能或评估性能)

    Swingbench 是一个免费负载生成器(和基准测试),旨在对 Oracle 数据库 进行压力测试。目前最新版本 Swingbench 2.6。 SwingBench 由负载生成器,协调器和集群概述组成。该软件可以生成负载 并绘制交易/响应时间图表。 Swingbench 可用于演示和测试技术,例如实际应用程序集群,在线

    2024年02月10日
    浏览(60)
  • 【信号生成器】从 Excel 数据文件创建 Simulink 信号生成器块研究(Simulink)

     💥💥💞💞 欢迎来到本博客 ❤️❤️💥💥 🏆博主优势: 🌞🌞🌞 博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️ 座右铭: 行百里者,半于九十。 📋📋📋 本文目录如下: 🎁🎁🎁 目录 💥1 概述 📚2 运行结果 🎉3 参考文献 🌈4 Matlab代码实现 要从

    2024年02月13日
    浏览(57)
  • MyBatisPlus代码生成器使用

    无侵入 :只做增强不做改变,引入它不会对现有工程产生影响,如丝般顺滑 损耗小 :启动即会自动注入基本 CURD,性能基本无损耗,直接面向对象操作 强大的 CRUD 操作 :内置通用 Mapper、通用 Service,仅仅通过少量配置即可实现单表大部分 CRUD 操作,更有强大的条件构造器,

    2024年02月03日
    浏览(60)
  • 《Linux操作系统编程》第九章 数据查找和筛选工具 : 了解流编辑器sed和报表生成器awk的简单使用

    🌷🍁 博主 libin9iOak带您 Go to New World.✨🍁 🦄 个人主页——libin9iOak的博客🎐 🐳 《面试题大全》 文章图文并茂🦕生动形象🦖简单易学!欢迎大家来踩踩~🌺 🌊 《IDEA开发秘籍》学会IDEA常用操作,工作效率翻倍~💐 🪁🍁 希望本文能够给您带来一定的帮助🌸文章粗浅,敬

    2024年02月12日
    浏览(53)
  • 二维码生成器简单使用

    以下是一个简单的 QRCodeUtil 示例,这个工具类使用了 zxing 库来生成二维码图片: 这个 QRCodeUtil 工具类包含了以下方法: createQRCode(String content) :生成默认宽度和高度的二维码图片,并返回 BufferedImage 对象。 createQRCode(String content, int width, int height) :根据指定的宽度和高度生成

    2024年02月15日
    浏览(55)
  • LaTex(1):使用在线表格生成器工具生成LaTex表格

    目录 0 在线工具 1 常用命令: 1.0 编辑表格 1.1 Table—set size可以改变表格大小: 1.2 合并表格和拆分表格: 1.3 生成latex代码与复制代码:  2 示例 3. 相关工具网站 3.1 latex公式编辑器 表格生成器网页:Create LaTeX tables online – TablesGenerator.com 支持在线生成latex表格的网站,还支持

    2024年02月02日
    浏览(55)
  • AI时代PPT如何制作?用这10款pptai生成器一键制作!

    这可能是很多职场人或大学生日常头疼的问题,职场上随便一个工作汇报、提案展示、团队会议,学校里的小组作业、论文答辩等场景,都会用到ppt。 都说人是视觉动物,在两份文档内容质量一致的情况下,一份制作精良、美观的PPT,无疑会给人留下深刻的印象,让人更愿意

    2024年04月09日
    浏览(46)
  • 使用这些.NET代码生成器,开发效率飙升

    在.NET开发过程中,可以使用一些辅助的代码生成器来提高开发效率,之前在.NET FW时代有国产的“动软代码生成器”,现在早已不维护了。下面介绍几种.NET码生成器,供大家参考使用。最后一个代码生产器绝对优秀,推荐使用。 T4 Text Template Generator: 简介:T4是.NET框架提供的

    2024年02月05日
    浏览(44)
  • 【沐风老师】3DMAX宇宙生成器(一键生成星系)插件使用方法详解

    3DMAX宇宙生成器(一键生成星系)插件  3DMAX宇宙生成器(一键生成星系)插件,用于模拟星团及星系的运动。可以创建单个集合进行动画计算,也可以输入不同坐标,建立多个集合后统一进行动画计算。 【安装方法】 无需安装,使用时直接拖动插件文件到3dMax视口打开即可

    2024年02月08日
    浏览(46)
  • (2023,3D 场景生成器 Infinigen)使用程序化生成的无限逼真世界

    Infinite PhotorealisticWorlds using Procedural Generation 公众号:EDPJ 目录 0. 摘要 1. 简介 2. 相关工作 3. 方法 4. 实验  参考 S. 总结 S.1 主要思想 S.2 方法 S.3 场景生成 我们介绍 Infinigen,一个自然世界逼真 3D 场景的程序生成器。 Infinigen 完全是程序化的:从形状到纹理的每一个资产(asse

    2024年02月16日
    浏览(71)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包