Redian新闻
>
开源分布式任务调度系统就选它!

开源分布式任务调度系统就选它!

公众号新闻

点击上方“芋道源码”,选择“设为星标

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 
来源:TJ君

分布式任务调度这个话题是每个后端开发和大数据开发都会接触的话题。因为应用场景的广泛,所以有很多开源项目专注于解决这类问题,比如我们熟知的xxl-job。

那么今天要给大家推荐的则是另一个更为强大的开源项目:DolphinScheduler

介绍

DolphinScheduler是一款开源的分布式任务调度系统,它可以帮助开发人员更加方便地进行任务调度和管理。DolphinScheduler支持常见的任务类型,包括Shell、Hadoop、Spark、Hive等,同时它也提供了可视化的任务编排和监控,使得任务管理变得更加简单。DolphinScheduler的开发团队源于支付宝的数据平台团队,经历了多年的实践和积累,已经成为了一个成熟的开源项目。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro
  • 视频教程:https://doc.iocoder.cn/video/

特点

分布式任务调度

DolphinScheduler支持分布式部署,可以扩展到上千台服务器,实现高可用和高并发的任务调度。

多种任务类型

DolphinScheduler支持多种任务类型,包括Shell、Hadoop、Spark、Hive、MR、Python等,在此基础上还可以支持自定义任务类型,方便用户扩展。

可视化任务编排和监控

DolphinScheduler提供了可视化的任务编排和监控,可以方便地查看任务依赖关系、任务执行情况等信息,帮助用户更好地管理任务。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud
  • 视频教程:https://doc.iocoder.cn/video/

DolphinScheduler的应用场景

数据处理

DolphinScheduler可以应用于数据处理场景,例如数据采集、数据清洗、数据分析等。用户可以通过DolphinScheduler轻松地配置和管理这些任务,同时也可以实现任务的并发执行和分布式处理。

业务流程

DolphinScheduler可以应用于业务流程场景,例如电商的订单管理、物流管理等。用户可以通过DolphinScheduler将不同的业务流程任务进行编排,实现自动化执行和监控。

系统集成

DolphinScheduler可以应用于系统集成场景,例如将多个系统的数据进行整合和处理。用户可以通过DolphinScheduler配置和管理不同系统之间的数据同步和交互任务,实现系统集成的自动化。

结论

DolphinScheduler是一款成熟的开源分布式任务调度系统,它支持多种任务类型、可视化任务编排和监控,适用于不同的应用场景。如果您正在寻找一款任务调度系统,那么不妨考虑一下DolphinScheduler。

  • 官网地址:https://dolphinscheduler.apache.org/
  • 项目地址:https://github.com/apache/dolphinscheduler


欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢

已在知识星球更新源码解析如下:

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。

谢谢支持哟 (*^__^*)

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
分布式人工智能,未来大有可为!| 文末赠书vivo自研Jenkins资源调度系统设计与实践你只会用 xxl-job?一款更强大、新一代分布式任务调度框架,很不错!分布式 Session 解决方案分布式软件跨X86/ARM CPU混合架构部署国产金融级分布式数据库在金融核心场景的探索实践糯叽叽、暖呼呼的大黄米汤圆来了!还能炸着吃,元宵就选它!松散耦合的分布式系统会让云账单飙升吗Galvatron项目原作解读:大模型分布式训练神器,一键实现高效自动并行浅谈分布式系统中的补偿机制设计问题任务调度系统就该这么设计(万能通用),稳的一批!糯叽叽、暖呼呼的大黄米汤圆来了!好吃不易胖,还能炸着吃,春节元宵就选它!浅析三款大规模分布式文件系统架构设计日本啊,日本(二十一)清酒的滋味辰鳗科技完成新一轮五千万元融资,持续加码工商业分布式储能分布式实时日志分析解决方案 ELK 部署架构79元入手2件重磅T恤!100%纯棉、百搭透气,春天的第一件T恤就选它...从审计角度系统解构年报的分析框架和流程逛跳蚤市场的收获工厂直出99元3件!!质感高级,上身巨有型,春天的第一件T恤就选它!分布式数据库架构及发展【推广】伊大将领导ACE可进化计算中心,着力于2030年后分布式计算技术开发猫人男士内裤,就选它!轻薄舒服、亲肤透气,价格还实惠!成人意外险,就选它南京银行:国内首个商业银行互联网金融核心分布式升级实践详解Redisson分布式限流的实现原理纽约每天30人死于XBB太高级了!你没见过的Yoku Moku限定礼盒,情人节甜品就选它们啦~真的每个都想试!百度工程师浅谈分布式日志分布式存储只能是“小而美”吗?分布式链路跟踪 Sleuth 与 Zipkin红场上的东正教堂老街坊找不着北, 高尔夫找不到球香港中文大学(深圳)濮实课题组分布式优化和机器学习方向招收博士生明星都爱穿的马卡龙T恤,好看好搭还不贵!夏天的第一件T恤就选它!
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。