WebCrawler网站数据采集工具

WebCrawler 是一个网站数据采集工具，使用 scrapy 框架。

环境准备

• [Scrapy] (http://scrapy.org/)


• [MongoDB] (https://www.mongodb.org/)

已实现的功能

• 爬取网站发贴信息(标题、标题URL、作者、作者URL等)，以及下载图片到本地


• 爬取用户地理位置信息


• 增加 RandomUserAgent 功能,防止被 BAN


• 增加延时抓取功能，防止被 BAN


• 采用hash方法分散到多个目录进行管理，提高打开文件夹速度

快速开始

#: 安装必要 python 库



sudo pip install scrapy



sudo pip install pymongo



#: 下载数据到本地,并且保存相关信息到MongoDB中.



scrapy crawl collector





#: 建立本地http server，查看爬取数据



python -m SimpleHTTPServer 80



#: 打开浏览器输入http://localhost/data