各种爬虫各种网站爬虫 找活

GrubNextGeneration是一个分布式的网页爬虫系统，包含客户端和服务器可以用来维护网页的索引。

scrapyScrapy：Python的爬虫框架实例Demo抓取：汽车之家、瓜子、链家等数据信息版本+环境库Python2.7+Scrapy1.12初窥ScrapyScrapy是一个为了爬取网站数据，

Harvestman是一个非常简单、轻量级的Web爬虫，使用Ruby编写，示例代码：require'harvestman'Harvestman.crawl'http://www.foo.com/bar

jcrawl是一款小巧性能优良的的web爬虫,它可以从网页抓取各种类型的文件,基于用户定义的符号,比如email,qq.

Crowbar:基于Mozilla浏览器的ajax爬虫，还可作为远程浏览器使用，比较有意思。

Heritrix是一个开源，可扩展的web爬虫项目。用户可以使用它来从网上抓取想要的资源。Herit