thorns分布式异步队列系统

thorns 是一个 Python 开发的分布式异步队列系统。

运行流程

• 启动 redis 内存服务器，作为队列存储数据库使用

• 配置芹菜 (celery) 运行环境，并连接 redis 队列内存，读取执行任务，并返回结果存储到后端 MySQL 数据库

• 配置任务控制台花花 (flower)，并连接 redis 队列内存，管理所有 worker 客户端与执行的任务队列

• 通过 run.py 脚本调用 celery 向队列压入任务

• 通过 flower 的 http api 脚本调用 api 向队列压入任务

• 任务执行的结果自动存入后端数据库

运行环境：

• CentOS、Kali Linux、Ubuntu、Debian

• Python 2.7.x

• Redis

• MysQL

• Celery

• Tornado

• Supervisord