phpDhtSpiderPHP 分布式 DHT 爬虫
php实现的dht (BT种子)分布式爬虫
24小时采集 bt种子磁力链接信息
区别于传统爬虫 不会被封ip
采集效率 vultr 1核1G机器 每日大概8~10w条记录
github地址:https://github.com/cuijun123/phpDhtSpider 欢迎star
需要swoole拓展
swoole version 1.9.5
PHP Version 5.6.22
运行 php go.php
采集效果如下
评论
Dodder分布式 DHT 网络爬虫
______________________________\___________/_____/______________///__\__/___/__\____/_/_////_///_////
Dodder分布式 DHT 网络爬虫
0
CrawlerDemon分布式爬虫
CrawlerDemon是垂直应用爬虫，基于akka+okHttp+spring+jsoup，配置简单，上手容易，支持配置动态参数，动态代理，http自动重试。特点基于akka高性能分布式框架使用sp
CrawlerDemon分布式爬虫
0
xxl-crawler分布式爬虫框架
分布式爬虫框架XXL-CRAWLERXXL-CRAWLER是一个分布式爬虫框架。一行代码开发一个分布式爬虫，拥有"多线程、异步、IP动态代理、分布式、JS渲染"等特性；特性1、简洁：API直观简洁，可
xxl-crawler分布式爬虫框架
0