DatabotPython 数据驱动编程框架

用于 Web 爬虫、ETL、数据管道任务开发的高性能 Python 数据驱动编程框架。

特性：

• 数据驱动编程框架

• 基于协程的并行

• 基于类型和内容的函数路由

安装：

    pip install -U databot

Databot is...

• 简单

每2秒加载一次CoinDesk比特币价格. 高级价格聚合案例参见 here.

from databot.flow import Pipe, Timer
from databot.botframe import BotFrame
from databot.http.http import HttpLoader


def main():
    Pipe(
        Timer(delay=2),  # send timer data to pipe every 2 sen
        "http://api.coindesk.com/v1/bpi/currentprice.json",  # send url to pipe when timer trigger
        HttpLoader(),  # read url and load http response
        lambda r: r.json['bpi']['USD']['rate_float'],  # read http response and parese as json
        print,  # print out
    )

    BotFrame.render('simple_bitcoin_price')
    BotFrame.run()

main()

• 流程图形化

databot 生成的流程图：

• 快速

节点并行运行可以很好的处理流数据

• 可视化

执行函数: BotFrame.render('bitcoin_arbitrage') Databot 将会把数据处理流程生成为 graphviz 图片：https://github.com/kkyon/databot/blob/master/examples/bitcoin_arbitrage.png

• 可重放

配置可重放模式: config.replay_mode=True 异常发生在第N步的时候，不用从第一步执行到第N步，Databot可以从完成的最近点(通常是第N-1步)重新开始执行，在开发阶段可以节约很多时间。