手把手带你爬虫 | 爬取语录大全
小詹学Python
共 6657字,需浏览 14分钟
· 2021-01-09
目标
爬取语录,批量下载到本地。
项目准备
软件:Pycharm
第三方库:requests,fake_useragent,re,lxml
网站地址:http://www.yuluju.com
网站分析
打开网站。
有很多分类,不同类型的语录。
点击爱情语录,发现上方网址变化为http://www.yuluju.com/aiqingyulu/
点击搞笑语录,也会发生类似的变化。
判断是否为静态网页。
有页码跳转一般为静态网页。Ctrl+U查看源代码,Ctrl+F调出搜索框,输入一些网页上出现的文字。
反爬分析
同一个ip地址去多次访问会面临被封掉的风险,这里采用fake_useragent,产生随机的User-Agent请求头进行访问。
每一页的链接分析
第一页:http://www.yuluju.com/aiqingyulu/list_18_1.html
第二页:http://www.yuluju.com/aiqingyulu/list_18_2.html
第三页:http://www.yuluju.com/aiqingyulu/list_18_3.html
可以发现,每页的变化会随着数字变化。当然这里分析的是爱情语录这一栏目,其它的也类似。
代码实现
1.导入相对应的第三方库,定义一个class类继承object,定义init方法继承self,主函数main继承self。
import requests
from fake_useragent import UserAgent
from lxml import etree
class yulu(object):
def __init__(self):
self.url = 'http://www.yuluju.com'
ua = UserAgent(verify_ssl=False)
#随机产生user-agent
for i in range(1, 100):
self.headers = {
'User-Agent': ua.random
}
def mian(self):
pass
if __name__ == '__main__':
spider = yulu()
spider.main()
2.交互界面
print(' 1.励志语录\n'
'2.爱情语录\n'
'3.搞笑语录\n'
'4.人生语录\n'
'5.情感语录\n'
'6.经典语录\n'
'7.伤感语录\n'
'8.名人语录\n'
'9.心情语录\n')
select=int(input('请输入您的选择:'))
if (select==1):
url=self.url+'lizhimingyan/list_1_{}.html'
elif (select==2):
url = self.url + 'aiqingyulu/list_18_{}.html'
elif (select==3):
url = self.url + 'gaoxiaoyulu/list_19_{}.html'
elif (select==4):
url=self.url+'renshenggeyan/list_14_{}.html'
elif (select==5):
url=self.url+'qingganyulu/list_23_{}.html'
elif (select==6):
url=self.url+'jingdianyulu/list_12_{}.html'
elif (select==7):
url=self.url+'shangganyulu/list_21_{}.html'
elif (select==8):
url=self.url+'mingrenmingyan/list_2_{}.html'
else:
url=self.url+'xinqingyulu/list_22_{}.html'
3.发送请求,获取网页。
def get_html(self,url):
response=requests.get(url,headers=self.headers)
html=response.content.decode('gb2312')#经过测试这里是'gb2312'
return html
4.解析网页,获取文本信息。
def parse_html(self,html):
#获取每页中的链接地址和标题
datas=re.compile('(.*?)').findall(html)
for data in datas:
host='http://www.yuluju.com'+data[0]
res=requests.get(host,headers=self.headers)
con=res.content.decode('gb2312')
target=etree.HTML(con)
#获取文本内容
results=target.xpath('//div[@class="content"]/div/div/span/text()')
filename=data[1]
#保存本地
with open('F:/pycharm文件/document/'+filename+'.txt','a',encoding='utf-8')as f:
for result in results:
f.write(result+'\n')
5.获取多页及主函数调用。
def main(self):
print('1.励志语录\n'
'2.爱情语录\n'
'3.搞笑语录\n'
'4.人生语录\n'
'5.情感语录\n'
'6.经典语录\n'
'7.伤感语录\n'
'8.名人语录\n'
'9.心情语录\n')
select=int(input('请输入您的选择:'))
if (select==1):
url=self.url+'lizhimingyan/list_1_{}.html'
elif (select==2):
url = self.url + 'aiqingyulu/list_18_{}.html'
elif (select==3):
url = self.url + 'gaoxiaoyulu/list_19_{}.html'
elif (select==4):
url=self.url+'renshenggeyan/list_14_{}.html'
elif (select==5):
url=self.url+'qingganyulu/list_23_{}.html'
elif (select==6):
url=self.url+'jingdianyulu/list_12_{}.html'
elif (select==7):
url=self.url+'shangganyulu/list_21_{}.html'
elif (select==8):
url=self.url+'mingrenmingyan/list_2_{}.html'
else:
url=self.url+'xinqingyulu/list_22_{}.html'
start = int(input('输入开始:'))
end = int(input('输入结束页:'))
for page in range(start, end + 1):
print('第%s页开始:...' % page)
newUrl=url.format(page)
html=self.get_html(newUrl)
self.parse_html(html)
print('第%s页爬取完成!'%page)
效果显示
打开文件目录:
爬取其它栏目也是可以的,就不做演示了,都一样。
完整代码
import requests
from fake_useragent import UserAgent
import re
from lxml import etree
class yulu(object):
def __init__(self):
self.url='http://www.yuluju.com/'
ua = UserAgent(verify_ssl=False)
for i in range(1, 100):
self.headers = {
'User-Agent': ua.random
}
def get_html(self,url):
response=requests.get(url,headers=self.headers)
html=response.content.decode('gb2312')
return html
def parse_html(self,html):
datas=re.compile('(.*?)').findall(html)
for data in datas:
host='http://www.yuluju.com'+data[0]
res=requests.get(host,headers=self.headers)
con=res.content.decode('gb2312')
target=etree.HTML(con)
results=target.xpath('//div[@class="content"]/div/div/span/text()')
filename=data[1]
with open('F:/pycharm文件/document/'+filename+'.txt','a',encoding='utf-8')as f:
for result in results:
f.write(result+'\n')
def main(self):
print('1.励志语录\n'
'2.爱情语录\n'
'3.搞笑语录\n'
'4.人生语录\n'
'5.情感语录\n'
'6.经典语录\n'
'7.伤感语录\n'
'8.名人语录\n'
'9.心情语录\n')
select=int(input('请输入您的选择:'))
if (select==1):
url=self.url+'lizhimingyan/list_1_{}.html'
elif (select==2):
url = self.url + 'aiqingyulu/list_18_{}.html'
elif (select==3):
url = self.url + 'gaoxiaoyulu/list_19_{}.html'
elif (select==4):
url=self.url+'renshenggeyan/list_14_{}.html'
elif (select==5):
url=self.url+'qingganyulu/list_23_{}.html'
elif (select==6):
url=self.url+'jingdianyulu/list_12_{}.html'
elif (select==7):
url=self.url+'shangganyulu/list_21_{}.html'
elif (select==8):
url=self.url+'mingrenmingyan/list_2_{}.html'
else:
url=self.url+'xinqingyulu/list_22_{}.html'
start = int(input('输入开始:'))
end = int(input('输入结束页:'))
for page in range(start, end + 1):
print('第%s页开始:...' % page)
newUrl=url.format(page)
html=self.get_html(newUrl)
self.parse_html(html)
print('第%s页爬取完成!'%page)
if __name__ == '__main__':
spider = yulu()
spider.main()
推荐阅读
评论
21.3K star!推荐一款可视化自动化测试/爬虫/数据采集神器!功能免费且强大!
【温馨提示】由于公众号更改了推送规则,不再按照时间顺序排列,如果不想错过测试开发技术精心准备的的干货文章,请将测试开发技术设为“星标☆”,看完文章在文尾处点亮“在看”!大家好,我是狂师!在大数据时代,信息的获取与分析变得尤为重要。对于开发者、数据分析师乃至非技术人员来说,能够高效地采集网络数据并进行
测试开发技术
4
一篇文章带你了解JavaScript作用域
点击上方“前端进阶学习交流”,进行关注回复“前端”即可获赠前端相关学习资料今日鸡汤杨家有女初长成,养在深闺人未识。在JavaScript中,对象和函数也是变量。在JavaScript中,作用域是你可以访问的变量、对象和函数的集合。JavaScript 有函数作用域: 这个作用域在函数内变化。一、本地
前端进阶学习交流
0
一篇文章带你了解JavaScript switch
点击上方“前端进阶学习交流”,进行关注回复“前端”即可获赠前端相关学习资料今日鸡汤舍身而取义者也!Switch是与if ... else ...相同的条件语句,不同之处在于switch语句允许根据值列表测试变量是否相等。switch 语句用于根据不同的条件执行不同的操作。一、Switch 语句使用s
前端进阶学习交流
0
带你玩转Linux系统之lscpu命令
链接:https://bbs.huaweicloud.com/blogs/422603一、lscpu命令介绍lscpu 是一个 Linux 命令,用于显示CPU架构的详细信息。它可以用来查看 CPU 的型号、主频、架构、虚拟化支持等。二、lscpu命令的使用帮助2.1 命令格式lscpu [选项]2
良许Linux
0
10分钟带你上手 Prometheus
原文链接:https://www.cnblogs.com/cjsblog/p/11585145.htmlPrometheus(译:普罗米修斯)用领先的开源监控解决方案为你的指标和警报提供动力(赋能)。 1. 概述1.1. Prometheus是什么?Promethe
DevOps技术栈
1903
这个网络爬虫代码,拿到数据之后如何存到csv文件中去?
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤渚云低暗度,关月冷相随。大家好,我是皮皮。一、前言还是昨天的那个网络爬虫问题,大佬们,帮忙看看这个网络爬虫代码怎么修改?那个粉丝说自己不熟悉pandas,用pandas做的爬虫,虽然简洁
Python爬虫与数据挖掘
4
【NLP】一文带你了解LLAMA(羊驼)系列
作者丨曼城周杰伦 来源丨深蓝AI 编辑丨极市平台导读 本文会重点介绍LLAMA系列的改进点,希望大家通过这一篇文章,能快速地了解LLAMA系列的改进工作。前言:自从OpenAI推出Chat GPT系列后,也标志着自然语
机器学习初学者
10
Python爬虫高手必备的8大技巧!
想要快速学习爬虫,最值得学习的语言一定是Python,Python应用场景比较多,比如:Web快速开发、爬虫、自动化运维等等,可以做简单网站、自动发帖脚本、收发邮件脚本、简单验证码识别脚本。爬虫在开发过程中也有很多复用的过程,今天就总结一下必备的8大技巧,以后也能省时省力,高效完成任务。1 基本抓取
i小码哥
10