DatabotPython 数据驱动编程框架
用于 Web 爬虫、ETL、数据管道任务开发的高性能 Python 数据驱动编程框架。
特性:
数据驱动编程框架
基于协程的并行
基于类型和内容的函数路由
安装:
pip install -U databot
Databot is...
简单
每2秒加载一次CoinDesk比特币价格. 高级价格聚合案例参见 here.
from databot.flow import Pipe, Timer from databot.botframe import BotFrame from databot.http.http import HttpLoader def main(): Pipe( Timer(delay=2), # send timer data to pipe every 2 sen "http://api.coindesk.com/v1/bpi/currentprice.json", # send url to pipe when timer trigger HttpLoader(), # read url and load http response lambda r: r.json['bpi']['USD']['rate_float'], # read http response and parese as json print, # print out ) BotFrame.render('simple_bitcoin_price') BotFrame.run() main()
流程图形化
databot 生成的流程图:
快速
节点并行运行可以很好的处理流数据
可视化
执行函数: BotFrame.render('bitcoin_arbitrage') Databot 将会把数据处理流程生成为 graphviz 图片:https://github.com/kkyon/databot/blob/master/examples/bitcoin_arbitrage.png
可重放
配置可重放模式: config.replay_mode=True
异常发生在第N步的时候,不用从第一步执行到第N步,Databot可以从完成的最近点(通常是第N-1步)重新开始执行,在开发阶段可以节约很多时间。
评论
re-baseJavaScript 数据驱动框架
re-base是基于Relay的构建ReactJS和Firebase应用的工具库,结合了React和Firebase的优势,允许每个组件指定自身的数据依赖,无需关注数据持久化,专注于应用的关键问题。特
re-baseJavaScript 数据驱动框架
0
JDaveJava行为驱动编程框架
BDD,即行为驱动编程,是TDD的一个改进版本,BDD本质上也是TDD,但是比TDD要更加自然一些,更DSL化,通过定义一个一个具体可执行的Behavior来驱动软件的开发过程。如果你是一个Ruby程
JDaveJava行为驱动编程框架
0
IGListKit数据驱动的 UICollectionView 框架
IGListKit是Instagram程序员做的一个数据驱动的UICollectionView框架,为了构建快速和可扩展的列表。另外,它有助于你在app结束对于大量视图控制器的使用。
IGListKit数据驱动的 UICollectionView 框架
0