thorns分布式异步队列系统

thorns 是一个 Python 开发的分布式异步队列系统。

运行流程

• 启动 redis 内存服务器，作为队列存储数据库使用




• 配置芹菜 (celery) 运行环境，并连接 redis 队列内存，读取执行任务，并返回结果存储到后端 MySQL 数据库




• 配置任务控制台花花 (flower)，并连接 redis 队列内存，管理所有 worker 客户端与执行的任务队列




• 通过 run.py 脚本调用 celery 向队列压入任务




• 通过 flower 的 http api 脚本调用 api 向队列压入任务




• 任务执行的结果自动存入后端数据库

运行环境：

• CentOS、Kali Linux、Ubuntu、Debian




• Python 2.7.x




• Redis




• MysQL




• Celery




• Tornado




• Supervisord