phpDhtSpiderPHP 分布式 DHT 爬虫

联合创作 · 2023-09-29 13:37

php实现的dht (BT种子)分布式爬虫
24小时采集 bt种子磁力链接信息
区别于传统爬虫不会被封ip
采集效率 vultr 1核1G机器每日大概8~10w条记录
github地址:https://github.com/cuijun123/phpDhtSpider 欢迎star

需要swoole拓展
swoole version 1.9.5
PHP Version 5.6.22
运行 php go.php
采集效果如下

浏览 16

点赞

收藏

分享

举报

评论

图片

表情

Dodder分布式 DHT 网络爬虫

________ ____________________ __ \__________

Dodder分布式 DHT 网络爬虫

______________________________\___________/_____/______________///__\__/___/__\____/_/_////_///_////

CrawlerDemon分布式爬虫

CrawlerDemon 是垂直应用爬虫，基于akka+okHttp+spring+jsoup ，配

CrawlerDemon分布式爬虫

CrawlerDemon是垂直应用爬虫，基于akka+okHttp+spring+jsoup，配置简单，上手容易，支持配置动态参数，动态代理，http自动重试。特点基于akka高性能分布式框架使用sp

xxl-crawler分布式爬虫框架

分布式爬虫框架XXL-CRAWLERXXL-CRAWLER 是一个分布式爬虫框架。一行代码开发一个分

xxl-crawler分布式爬虫框架

分布式爬虫框架XXL-CRAWLERXXL-CRAWLER是一个分布式爬虫框架。一行代码开发一个分布式爬虫，拥有"多线程、异步、IP动态代理、分布式、JS渲染"等特性；特性1、简洁：API直观简洁，可

Ebot分布式网页爬虫

Ebot是一个用ErLang语言开发的可伸缩的分布式网页爬虫，URLs被保存在数据库中可通过RESTful的HTTP请求来查询。

Ebot分布式网页爬虫

Ebot 是一个用 ErLang 语言开发的可伸缩的分布式网页爬虫，URLs 被保存在数据库中可通过

Cola分布式爬虫框架

Cola是一个分布式的爬虫框架，用户只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。依赖首先，确保Python版本为2.6或者2.7（未来会支持

Cola分布式爬虫框架

Cola是一个分布式的爬虫框架，用户只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分

点赞

收藏

分享

举报