一站式Flink&Spark平台解决方案——StreamX

这篇具有很好参考价值的文章主要介绍了一站式Flink&Spark平台解决方案——StreamX。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

随着Flink&Spark生态的不断完善,越来越多的企业选择这两款组件,或者其中之一作为离线&实时的大数据开发工具,但是在使用他们进行大数据的开发中我们会遇到一些问题,比如:

  1. 任务运行监控怎么处理?
  2. 使用Cluster模式还是Nodeport暴露端口访问Web UI
  3. 提交任务能否简化打包镜像的流程?
  4. 如何减少开发压力?

StreamX就是专为解决这些问题而出现的,其提供了如下的一些功能:

  • 开发脚手架
  • Kubernetes部署模式支持
  • YARN-Application部署模式支持
  • 多版本Flink支持(1.12.x, 1.13.x, 1.14.x )
  • 一系列开箱即用的Connectors
  • 支持项目编译功能(CICD/maven编译)
  • 快捷的日常操作(任务启动、停止、savepoint)
  • 支持Notebook(在线任务开发)
  • 在线参数配置
  • 项目配置和依赖版本化管理
  • 在线管理依赖(maven pom)和自定义jar
  • 自定义 udf、连接器等支持
  • Flink SQL WebIDE

有的同学可能会使用Zeppelin比较多,两者是有一定区别的,侧重点不同。未来也会写文做一下两者的对比。

StreamX近期也发布了最新的版本StreamX 1.2.0

在最新的版本中支持了以下功能:

  •  Hadoop 解耦, 平台在启动时不在强制依赖 Hadoop 环境
  • 较完整的支持了 Kubernetes 部署模式(Native Application/Native Session)
  • Kubernetes 部署模式下, 任务的状态追踪监控
  • 支持自动 build/push 镜像
  • Flink 最新1.14.0 支持, 目前已经支持 Flink 1.12.x / 1.13.x / 1.14.0
  • 新增打包机模块,任务打包 fat-jar 更方便

谁在使用StreamX

20211118日,StreamX 也成功的入选了开源中国的2021年度最有价值开源项目。

未来的StreamX也进行着与dorisdolphinscheduler等整合的计划,也会继续增强StreamXFlink流上的开发部署能力与运行监控能力,努力把StreamX打造成一个功能完善的流数据 DevOps

StreamX是一个完全由国人发起的开源项目。也欢迎大家联系我们,加入到开源项目中来,为中国开源崛起献上一份自己的力量,未来共同向着成为Apache顶级项目而努力。文章来源地址https://www.toymoban.com/news/detail-636567.html

到了这里,关于一站式Flink&Spark平台解决方案——StreamX的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 腾讯云 Finops Crane 开发者集训营 - 云成本优化一站式解决方案实践

    一、 相关活动介绍: 自从上次参加完CSDN联合腾讯云发起的《云原生之降本增效》活动后,只是停留聚焦在优秀实践方法论、资源与弹性、架构设计上的了解,本次《腾讯云 Finops Crane 开发者集训营》是深入了解并实践基于 FinOps 框架开展的一个成本优化项目Crane。 活动相关链

    2024年02月12日
    浏览(31)
  • 一站式解决方案:体验亚马逊轻量服务器/VPS的顶级服务与灵活性

    文章目录 一、什么是轻量级服务器/VPS 二、服务器创建步骤 三、服务器连接客户端(私钥登录) 四、使用服务器搭建博客网站 五、个人浅解及总结 一、什么是轻量级服务器/VPS 亚马逊推出的轻量级服务器/VPS :是一种基于云计算技术的虚拟服务器解决方案。它允许用户在云端创

    2024年02月05日
    浏览(37)
  • 干洗店小程序:洗衣、洗鞋、工厂系统、上门取送、拍照预约、下单门店管理,一站式解决方案。

    干洗店小程序:洗衣、洗鞋、工厂系统、上门取送、拍照预约、下单门店管理,一站式解决方案。   一、核心功能亮点 1. 多种下单模式:支持上门取送、送货到店、寄存网点、智能衣柜,满足您不同需求。 2. 骑手接单:专业骑手快速响应,取货拍照,轻松入库。 3. 智能定位

    2024年01月25日
    浏览(61)
  • StreamX流批一体一站式大数据平台:大数据Flink可视化工具的革命性突破,让你的数据更高效、更直观!

    介绍:StreamX,开源的流批一体一站式大数据平台,致力于让Flink开发更简单。它极大地降低了学习成本和开发门槛,使开发者可以专注于最核心的业务。StreamX支持Flink多版本, 与Flink SQL WebIDE兼容,并可以进行Flink SQL校验。此外,StreamX还提供了一套标准化的配置、开发、测试

    2024年01月17日
    浏览(32)
  • 一站式统一返回值封装、异常处理、异常错误码解决方案—最强的Sping Boot接口优雅响应处理器

    作者:京东物流 覃玉杰 Graceful Response是一个Spring Boot体系下的优雅响应处理器,提供一站式统一返回值封装、异常处理、异常错误码等功能。 使用Graceful Response进行web接口开发不仅可以节省大量的时间,还可以提高代码质量,使代码逻辑更清晰。 强烈推荐你花3分钟学会它!

    2024年02月03日
    浏览(44)
  • AllData一站式大数据平台【一】

    ​ 💥🔥 Hey there! I\\\'m AllDataDC. Developing BigData Platform Exploring new technologies Studying Computer Science Enthusiast in BigData and AI Full Stack developer and BigData developer Create a product that is useful to society [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RsXUstB2-1679966837577)(

    2024年02月02日
    浏览(109)
  • AllData一站式大数据平台【二】

    AllData科学护城河:一种在数据驱动的科学和研究领域中, 保护和维护数据的竞争优势和独特性的解决方案。 AllData通过汇聚大数据与AI领域生态组件,提供自定义化数据中台。 包括大数据生态方案,人工智能生态方案, 大数据组件运维方案,大数据开发治理方案, 机器学习方案,大

    2024年02月02日
    浏览(41)
  • 使用Dream3D和MATLAB从综合构建微结构到创建具有周期性边界条件的Abaqus输入文件的一站式解决方案

    声明 :本文中的所有内容仅供学术研究和讨论,不保证完全无误。对于使用本文内容可能产生的任何后果,作者不承担任何责任。希望大家在使用时,结合自己的实际情况进行酌情调整。 当我们面临材料力学问题,包括材料的疲劳、断裂和塑性等行为的仿真时,一个常见的

    2024年02月10日
    浏览(46)
  • 一站式自动化测试平台-Autotestplat

    3.1 自动化平台开发方案 3.1.1 功能需求 3.1.3 开发时间计划 如果是刚入门、但有一点代码基础的测试人员,大概 3 个月能做出演示版(Demo)进行自动化测试,6 个月内胜任开展工作中项目的自动化测试。 如果是有自动化测试基础的测试人员,大概 1 个月能做出演示版(Demo)进行自动

    2024年02月13日
    浏览(40)
  • 阿里:DataWorks一站式大数据开发治理平台

    官网: 大数据开发治理平台 DataWorks - 帮助中心 - 阿里云

    2024年02月07日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包