DribbbleCrawlerPython爬虫工具
DribbbleCrawler 是一款小而美的爬虫工具。
Windows平台应用程序
使用
PATH:存储图片的地址
PAGE_NUMBER:抓取图片的网页页数
POOL_NUMBER:下载图片时候使用的线程池个数,建议不要过大,防止IP封杀。
废话
本虫,第一步使用多线程防止堵塞主UI。第二步使用map多线程队列下载,就算是国外的网站图片也还是抓取的很快。
后面会拓展出其他功能。
继续说废话
一般来说的话,写爬虫的话,少有连界面一起写出来的,但python的依赖安装并不十分友好,所以打包成exe文件也是为了更多的方便使用。
评论
NCrawlerWeb爬虫工具
NCrawler是一个WebCrawler工具,它可以让开发人员很轻松的发展出具有WebCrawler能力的应用程式,并且具有可以延展的能力,让开发人员可以扩充它的功能,以支援其他类型的资源(例如PD
NCrawlerWeb爬虫工具
0
WebSPHINX网络爬虫工具
WebSPHINX(Website-SpecificProcessorsforHTMLINformationeXtraction)是一个用于网络爬虫的Java类库和互动开发环境。网络爬虫是一个自动浏览
WebSPHINX网络爬虫工具
0
github-issue-movergithub 的爬虫工具
github-issue-mover 是能快速迁移 github 上问题的工具。功能如下:Copy
github-issue-movergithub 的爬虫工具
0
github-issue-movergithub 的爬虫工具
github-issue-mover是能快速迁移github上问题的工具。功能如下:CopytheissueinthedestinationrepoAddreferencesbetweentheiss
github-issue-movergithub 的爬虫工具
0
wind-bell轻量级的爬虫工具
wind-bell风铃虫是一款轻量级的爬虫工具,似风铃一样灵敏,如蜘蛛一般敏捷,能感知任何细小的风吹草动,轻松抓取互联网上的内容。它是一款对目标服务器相对友好的蜘蛛程序,内置了二十余种常见或不常见的浏
wind-bell轻量级的爬虫工具
0