depth-crawler-python三级页面定向爬取

depth-crawler 是一个三级页面定向爬取工具。

功能

1.在python中运用scrapy框架定向爬取至三级页面，保存html页面内容与链接为xlsx表格

2.将xlsx表格内容存至elasticsearch中

3.elasticsearch查询的时候运用ik分词

4.在python中运用flask框架写前端页面呈现搜索页面和搜索的信息内容

5.查询结果高亮显示

安装说明

首先安装python用于编辑代码，然后安装jdk环境用于后续安装elasticsearch,elasticsearch数据库对爬取下来的数据进行处理。npm 是随同 node.js 一起安装的包管理工具，用于node.js插件管理(包括安装、卸载、管理依赖等)，elasticsearch-head是elasticsearch用于监控 Elasticsearch 状态的客户端插件，包括数据可视化、执行增删改查操作等，使用JavaScript开发的依赖于Node.js

1.python(3.8.10)打开cmd输入python,有版本号说明安装成功

2.jdk(1.8.0_241)注意环境变量的配置，打开cmd输入java -version,有版本号说明安装成

3.elasticsearch(6.8.21)找到elasticsearch.bat启动成功后，在浏览器中输入(localhost:9200)出现如图便安装成

3.1.nodejs(v16.17.0）找到elasticsearch.bat启动成功后，在浏览器中输入(localhost:9200)出现如图便安装成功

3.2.elasticsearch-head(6.8.21)与elasticsearch版本一致(head插件的安装和基本使用)通过elasticsearch-head-master打开命令行，输入(grunt server)

4.扩展库部分 ——pip install 库名==版本号 （可以在cmd中输入pip list 查看所有的版本号）

4.1.flask(2.1.2)——使用 Python用于编写web应用的框架

在cmd中输入(pip install flask)，指定版本号的话输入(pip install flask==2.1.2)

4.2.scrapy(2.6.1)——用于爬取网站数据、提取结构性数据

4.3.elasticsearch(7.15.2)——用于搜索信息

4.4.pandas(1.4.1)——用于处理表格数据

4.5.openpyxl(3.0.9)——可用于读写excel表格

4.6.XlsxWriter(3.0.3)——用于创建Excel XLSX文件

启动流程

elasticsearch:

1.在"elasticsearch"的文件夹下打开“bin文件夹然后双击"elasticsearch.bat"开始运行

2.在"elasticsearch"的文件夹下打开“head"文件夹下的"elasticsearch-head-master"复制路径(D:\\ES\\elasticsearch-6.8.21\\head\\elasticsearch-head-master)打开cmd进入路径下输入命令(grunt server)

效果浏览

elasticsearch:

1.打开浏览器输入(http://localhost:9200/)访问端口

2.打开浏览器输入(http://localhost:9100/)可看到elasticsearch数据库中信息

前端 :

1.运行(route.py)在浏览器中访问第一个路由(http://127.0.0.1:5000/search)可看到搜索页面

2.在搜索框中输入搜索内容(如：纺织)可出现相关信息，在最后也有分页效果

3.点击标题和内容部分会返回原网址

4.点击快照会进去html页面

5.每条内容回根据点击次数提高排名，在浏览器中输入(http://127.0.0.1:5000/restore)排名恢复原样