gaffer-rs微批处理调度工具
gaffer 是 Rust 编写的微批处理调度工具,可优先级并行作业调度程序,具有并发排除、作业合并、重复作业和较低优先级的负载限制等功能。
特点
-
循环执行:作业将在某个时间间隔重新加入队列
-
作业队列:使用可克隆的
[JobRunner]
从各个不同的线程发送作业 -
Future Jobs:(可选)创建
Futures
以从作业中获取结果 -
作业优先级:为作业提供优先级,所有作业将按该优先级顺序执行
-
作业合并:合并队列中相同 / 相似的作业以减少工作量
-
并行执行:在多个线程上运行作业并锁定应该独占运行的作业,它们留在队列中,不占用其他资源
-
并发排除:基于键的锁定以避免不应并发运行的作业
-
优先级节流:为了让空闲线程准备好接收更高优先级的作业,通过将它们限制为较少数量的线程来限制较低优先级的作业
评论
AzkabanHadoop 批处理调度器
Azkaban是个简单的批处理调度器,用来构建和运行Hadoop作业或其他脱机过程。特性:兼容所有版本的Hadoop基于Web的易用UI简单的Web和HTTP工作流上传项目工作空间工作流调度模块化和插
AzkabanHadoop 批处理调度器
0
WinFF图像批处理工具
WinFF是一个跨平台的图像文件批处理的图形界面软件,它采用FFmpeg对图像进行操作,例如一次性转换多个MPEG、FLV、MOV文件成AVI文件。采用Pascal语言开发。
WinFF图像批处理工具
0
Jobber作业调度工具
Jobber是一个类似Unix上的cron工具,是一个作业调度工具。除了包含cron的功能外,Jobber还提供:作业执行历史记录复杂的错误处理错误报告
Jobber作业调度工具
0
Android-InitAndroid 应用调度工具
Init帮助Android应用调度复杂的任务流(如应用初始化流程),如下一节图示的那种任务流,处理类型、优先级、多进程(像是每个进程都会执行application的onCreate),任务依赖,提高应
Android-InitAndroid 应用调度工具
0
py-taskPython任务调度工具
py-task是一个Python下的任务调度工具支持简单的周期性调度支持Cron格式的任务调度安装方法python setup.py install或者pip install py-task示例代码:
py-taskPython任务调度工具
0
CDN_digCDN调度查询工具
介绍CDN_dig是一个用于在linux终端快速查询全国CDN 域名调度到哪个区域节点的工具。主要特性支持电信、联通、移动、铁通、长宽、教育网等网络的域名调度查询;利用dig的EDNS功能,能快速查询
CDN_digCDN调度查询工具
0