三分钟上手apache顶级任务编排系统airflow
airflow已经成为了任务编排系统的事实标准,使用和terraform一样的代码及配置的任务开发方式。
airflow使用python作为开发语言,非常简单易学、容易上手。
完整案例代码已上传github:https://github.com/neatlife/myairflow
获取airflow实例
可以使用docker一键启动
git clone https://github.com/puckel/docker-airflow
cd docker-airflow
docker-compose -f docker-compose-LocalExecutor.yml up -d
访问ip:8080查看效果
可以看到airflow已经可用了
编辑dag文件
这个dag文件就是用来定义任务和任务之间的先后、依赖关系的。
在spring boot中3分钟上手分布式任务调度系统xxl-job
xxl-job在鼎鼎大名的quartz任务调度系统上进行了二次封装,变得更好用了
项目地址:https://github.com/xuxueli/xxl-job
官方文档:http://www.xuxueli.com/xxl-job/#/
虽然官方文档也很全,很详细,但需要多花些时间上手,以下是我根据官方文档整理出的快速上手步骤,可以减少上手需要花费的时间和一些生产使用需要注意的点
在mysql中执行以下sql
tables_xxl_job.sql
这个sql创建xxl-job的数据库和调度任务的表
记下mysql的地址,用户名和密码
使用docker一键启动调度中心
docker run -d --rm \
-e PARAMS="--spring.datasource.url=jdbc:mysql://你的mysql数据库ip:3306/xxl-job?Unicode=true&characterEncoding=UTF-8 --spring.datasource.username=你的mysql数据库用户名 --spring.datasource.password=你的mysql数据库密码" \
-p 8680:8080 \
--name xxl-job-admin xuxueli/xxl-job-admin:2.0.2
在浏览器中使用默认用户名和密码 admin 123456 登陆查看效果
Copyright © 2015 Theme used GitHub CSS. 访问人/ 次