【开源】国人之光，大数据调度器神器

文章预览

介绍 Apache DolphinScheduler 是一个分布式、去中心化的、易扩展的可视化DAG工作流任务调度平台，用于在各种计算任务之间进行有依赖关系的复杂工作流的调度和执行。它旨在解决复杂的大数据任务依赖关系问题，并对任务进行定时调度。 以下是 Apache DolphinScheduler 的一些关键特点： 分布式调度：DolphinScheduler 支持分布式调度，可以在多个节点上同时运行任务，提高了任务处理的效率和可靠性。 去中心化设计：系统采用去中心化设计，没有单点故障问题，保证了系统的高可用性。 可视化DAG：用户可以通过拖拽的方式绘制任务流程，形成DAG（Directed Acyclic Graph，有向无环图），直观地展示任务之间的依赖关系。 任务依赖：支持任务间的依赖配置，可以灵活地设置任务执行的先后顺序。 多种任务类型：支持shell、MR、Spark、Flink、Python、Sub_process等多种任务 ………………………………