可视化分布式调度框架PowerJob部署docker版

这篇具有很好参考价值的文章主要介绍了可视化分布式调度框架PowerJob部署docker版。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

PowerJob简介

PowerJob(原OhMyScheduler)是全新一代分布式任务调度与计算框架,其主要功能特性如下:

使用简单:提供前端Web界面,允许开发者可视化地完成调度任务的管理(增、删、改、查)、任务运行状态监控和运行日志查看等功能。

定时策略完善:支持 CRON 表达式、固定频率、固定延迟和API四种定时调度策略。

执行模式丰富:支持单机、广播、Map、MapReduce 四种执行模式,其中 Map/MapReduce 处理器能使开发者寥寥数行代码便获得集群分布式计算的能力。

工作流支持:支持在线配置任务依赖关系(DAG),以可视化的方式对任务进行编排,同时还支持上下游任务间的数据传递,以及多种节点类型(判断节点 & 嵌套工作流节点)。

执行器支持广泛:支持 Spring Bean、内置/外置 Java 类,另外可以通过引入官方提供的依赖包,一键集成 Shell、Python、HTTP、SQL 等处理器,应用范围广。

运维便捷:支持在线日志功能,执行器产生的日志可以在前端控制台页面实时显示,降低 debug 成本,极大地提高开发效率。

依赖精简:最小仅依赖关系型数据库(MySQL/PostgreSQL/Oracle/MS SQLServer…)

高可用 & 高性能:调度服务器经过精心设计,一改其他调度框架基于数据库锁的策略,实现了无锁化调度。部署多个调度服务器可以同时实现高可用和性能的提升(支持无限的水平扩展)。

故障转移与恢复:任务执行失败后,可根据配置的重试策略完成重试,只要执行器集群有足够的计算节点,任务就能顺利完成。

在线试用:https://www.yuque.com/powerjob/guidence/hnbskn

以上内容来自powerjob官网文档,文档地址:https://www.yuque.com/powerjob/guidence/intro
不多说,直接上教程,如果想了解更多,可以去powerjob官网文档了解更多更详细的内容,我这里只做一个部署的教程

1、安装docker

安装docker的教程可以去本人的《docker在线和离线的安装使用》文章中进行查看docker安装的教程,这里就不在赘述了。

2、安装mysql数据库

powerjob还支持MySQL/PostgreSQL/Oracle/MS SQLServer.,我这里是使用的mysql

docker run -p 3306:3306 --name raner_mysql \
-v /raner_file/mysql/log:/var/log/mysql \
-v /raner_file/mysql/data:/var/lib/mysql \
-v /raner_file/mysql/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=raner123  \
-d mysql:latest

在mysql中创建powerjob-product数据库

CREATE DATABASE IF NOT EXISTS `powerjob-product` DEFAULT CHARSET utf8mb4

3、安装MongoDB

docker run -p 27017:27017 --name raner_mongo  \
-v /raner_file/mongo/db:/data/db -d mongo:latest

4、安装powerjob调度中心(powerjob-server)

首先服务器需要开放7700、10086 、10010端口。

docker run -d \
--restart=always \
--name raner_powerjob-server \
-p 7700:7700 -p 10086:10086 -p 10010:10010 \
-e TZ="Asia/Shanghai" \
-e JVMOPTIONS="" \
-e PARAMS="--spring.profiles.active=product --spring.datasource.core.jdbc-url=jdbc:mysql://192.168.199.230:3306/powerjob-product?useUnicode=true&characterEncoding=UTF-8 --spring.datasource.core.username=root --spring.datasource.core.password=raner123 --spring.data.mongodb.uri=mongodb://192.168.199.230:27017/powerjob-product" \
-v ~/raner_file/powerjob-server:/root/powerjob/server -v ~/.m2:/root/.m2 \
tjqq/powerjob-server:latest

注意:重要的事情说3遍
将mysql、MongoDB的连接地址、用户名、密码修改为自己的!
将mysql、MongoDB的连接地址、用户名、密码修改为自己的!
将mysql、MongoDB的连接地址、用户名、密码修改为自己的!

5、访问powerjob

以上都安装成功之后即可访问powerjob的Web界面
http://IP:7700/
例如:http://192.168.199.230:7700/

6、应用注册

1、点击右上角执行应用注册

可视化分布式调度框架PowerJob部署docker版,docker,安装教程,docker,容器,运维,可视化,linux,java,分布式
2、填写应用名称和密码,点击注册。

可视化分布式调度框架PowerJob部署docker版,docker,安装教程,docker,容器,运维,可视化,linux,java,分布式
3、注册成功之后即可登录powerjob系统。
可视化分布式调度框架PowerJob部署docker版,docker,安装教程,docker,容器,运维,可视化,linux,java,分布式
到此就完成啦

注意:我本人使用的是springboot项目,在项目中使用到了powerjob,想着在局域网中的服务器部署的powerjob,然后本地开发时填写好了powerjob的配置,就那些调度服务器地址端口等配置,但是发现并不能与powerjob调度中心成功连接,调度任务也都执行失败,后来把自己的springboot项目打包部署到与powerjob同一个服务器上,发现成功了,目前就用的这种方式进行测试的,这里说明一下,如果有小伙伴也是遇到同样的问题,可以和我一样试一下,不过这样毕竟麻烦,每次都要打包部署测试,无法完成开发同步测试,影响开发效率,但我目前还没找到解决方式,如果有小伙伴知道怎么解决,也可以一起探讨一下。文章来源地址https://www.toymoban.com/news/detail-759157.html

到了这里,关于可视化分布式调度框架PowerJob部署docker版的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 使用可视化docker浏览器,轻松实现分布式web自动化

    顺着docker的发展,很多测试的同学也已经在测试工作上使用docker作为环境基础去进行一些自动化测试,这篇文章主要讲述我们在docker中使用浏览器进行自动化测试如果可以实现可视化,同时可以对浏览器进行相关的操作。 首先我们先了解什么是有头浏览器和无头浏览器的区别

    2024年02月14日
    浏览(49)
  • 完美的分布式监控系统 Prometheus与优雅的开源可视化平台 Grafana

    prometheus与grafana之间是相辅相成的关系。简而言之Grafana作为可视化的平台,平台的数据从Prometheus中取到来进行仪表盘的展示。而Prometheus这源源不断的给Grafana提供数据的支持。 Prometheus是一个开源的系统监控和报警系统,能够监控和告警各种系统,包括网络、存储、服务器和

    2024年02月07日
    浏览(45)
  • 史上最全从零搭建ELKB(Elasticsearch、Logstash、Kibana、Beat)分布式日志管理可视化平台之一

    ELKB(Elasticsearch、Logstash、Kibana、Beat的组合)是一套开源的分布式日志管理方案。凭借其闭环的日志处理流程、高效的检索性能、线性的扩展能力、较低的运维成本等特点,ELKB在最近几年迅速崛起,成为实时日志处理开源领域的首要选择。(https://cloud.tencent.com/developer/article/1143

    2024年01月19日
    浏览(81)
  • 完美的分布式监控系统——Prometheus(普罗米修斯)与优雅的开源可视化平台——Grafana(格鲁夫娜)

            prometheus与grafana之间是相辅相成的关系。作为完美的分布式监控系统的Prometheus,就想布加迪威龙一样示例和动力强劲。在猛的车也少不了仪表盘来观察。于是优雅的可视化平台Grafana出现了。         简而言之Grafana作为可视化的平台,平台的数据从Prometheus中取到来进

    2024年02月14日
    浏览(55)
  • 结合云计算的最新技术和现状,介绍云计算基础知识、开源分布式数据库Clickhouse、可视化数据分析工具、分布式链路跟踪系统Pinpoint、数据湖存储系统Pulsar等

    作者:禅与计算机程序设计艺术 2019年,“云计算”将成为“经济全球化”的热门词汇之一,2020年全球云计算市场规模预计达到1万亿美元。中国是继美国、英国之后,成为全球第四大云服务提供商。华为、腾讯、阿里巴巴等互联网巨头纷纷布局云计算领域,各家公司纷纷推出

    2024年02月08日
    浏览(54)
  • 分布式作业调度框架——ElasticJob

    ElasticJob 是面向互联网生态和海量任务的分布式调度解决方案,由两个相互独立的子项目 ElasticJob-Lite 和 ElasticJob-Cloud 组成。 它通过弹性调度、资源管控、以及作业治理的功能,打造一个适用于互联网场景的分布式调度解决方案,并通过开放的架构设计,提供多元化的作业生

    2024年02月13日
    浏览(37)
  • 分布式定时任务调度框架Quartz

    Quartz是一个定时任务调度框架,比如你遇到这样的问题: 比如淘宝的待支付功能,后台会在你生成订单后24小时后,查看订单是否支付,未支付则取消订单 比如vip的每月自动续费功能 … 想定时在某个时间,去做某件事 Quartz是一套轻量级的任务调度框架,只需要定义了 Job(

    2024年02月04日
    浏览(44)
  • 【微服务】分布式调度框架PowerJob使用详解

    目录 一、前言 二、定时任务调度框架概述 2.1 为什么需要定时任务调度框架 2.2 定时任务调度使用场景 三、PowerJob 介绍 3.1 PowerJob 概述 3.2 PowerJob 功能特性 3.3 PowerJob 应用场景 3.4 PowerJob 与其他同类产品对比 四、PowerJob 部署 4.1 PowerJob 架构 4.2 部署方式介绍 4.3 idea本地部署 4.3

    2024年03月18日
    浏览(42)
  • 字节跳动正式开源分布式训练调度框架 Primus

    动手点关注 干货不迷路 项目地址:https://github.com/bytedance/primus 随着机器学习的发展,模型及训练模型所需的数据量越来越大,也都趋向于通过分布式训练实现。而算法工程师通常需要对这些分布式框架涉及到的底层文件存储和调度系统有较深的理解,才能够快速批量开启模

    2024年02月05日
    浏览(45)
  • 分布式任务调度框架Power-Job

    在大型业务业务系统中,不可避免会出现一些需要定时执行需求的场景,例如定时同步数据,定时清洗数据,定时生成报表,大量机器一同执行某个任务,甚至有些需要分布式处理的任务例如需要更新一大批数据,单机耗时太长需要进行任务分发,利用集群的计算能力等等

    2024年02月04日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包