搜索

python基础之爬虫入门

python教程

共 10259字，需浏览 21分钟

 · 2021-05-12

python基础爬虫主要针对一些反爬机制较为简单的网站，是对爬虫整个过程的了解与爬虫策略的熟练过程。
爬虫分为四个步骤：请求，解析数据，提取数据，存储数据。本文也会从这四个角度介绍基础爬虫的案例。

一、简单静态网页的爬取

我们要爬取的是一个壁纸网站的所有壁纸

http://www.netbian.com/dongman/

1.1 选取爬虫策略——缩略图

首先打开开发者模式，观察网页结构，找到每一张图对应的的图片标签，可以发现我们只要获取到标黄的img标签并向它发送请求就可以得到壁纸的预览图了。

随后注意到网站不止一页，打开前3页的网站观察url有没有规律

  1. http://www.netbian.com/dongman/index.htm#第一页
  2. http://www.netbian.com/dongman/index_2.htm#第二页
  3. http://www.netbian.com/dongman/index_3.htm#第三页

我们发现除了第一页其他页数的url都是有着固定规律的，所以先构建一个含有所有页数url的列表

  1. url_start = 'http://www.netbian.com/dongman/'
  2. url_list=['http://www.netbian.com/dongman/index.htm']
  3. if not os.path.exists('./exercise'):
  4. os.mkdir('./exercise')
  5. for i in range(2,133):
  6. url = url_start+'index_'+str(i)+'.htm'
  7. url_list.append(url)

至此我们的基本爬虫策略就确定了。

网页请求

  1. for url in url_list:
  2. headers = {
  3. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
  4. }
  5. response = requests.get(url=url,headers=headers).text

解析数据

在这里我们选用etree解析数据

  1. tree = etree.HTML(response)

提取数据

在这里我们选用xpath提取数据

  1. leaf = tree.xpath('//div[@class="list"]//ul/li/a/img/@src')
  2. for l in leaf:
  3. print(l)
  4. h = requests.get(url=l, headers=headers).content

存储数据

  1. i = 'exercise/' + l.split('/')[-1]
  2. with open(i, 'wb') as fp:
  3. fp.write(h)

完整代码

  1. import requests
  2. from lxml import etree
  3. import os
  4. url_start = 'http://www.netbian.com/dongman/'
  5. url_list=['http://www.netbian.com/dongman/index.htm']
  6. #http://www.netbian.com/dongman/index_2.htm
  7. if not os.path.exists('./exercise'):
  8. os.mkdir('./exercise')
  9. for i in range(2,133):
  10. url = url_start+'index_'+str(i)+'.htm'
  11. url_list.append(url)
  12. print(url_list)
  13. for url in url_list:
  14. headers = {
  15. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
  16. }
  17. response = requests.get(url=url,headers=headers).text
  18. tree = etree.HTML(response)
  19. leaf = tree.xpath('//div[@class="list"]//ul/li/a/img/@src')
  20. for l in leaf:
  21. print(l)
  22. h = requests.get(url=l, headers=headers).content
  23. i = 'exercise/' + l.split('/')[-1]
  24. with open(i, 'wb') as fp:
  25. fp.write(h)

1.2 选取爬虫策略——高清大图

在刚刚的爬虫中我们爬取到的只是壁纸的缩略图，要想爬到高清版本，就需要我们更改策略。重新打开开发者工具进行观察，发现在原先爬取的img标签之上还有一个href标签，打开之后就会跳转高清大图。

那么此时我们的爬取策略就变成了提取这个href标签的内容，向这个标签中的网站发送请求，随后在该网站中找到img标签进行再一次请求。

我们用到了正则表达式来提取href标签的内容。正则表达式是比xpath语法更简便的一种数据提取方法，具体有关语法可查看以下文档

  1. for url in url_list:
  2. headers = {
  3. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
  4. }
  5. response = requests.get(url=url,headers=headers).text
  6. leaf = re.findall("desk/\d*.htm",response,re.S)
  7. for l in leaf:
  8. url = "http://www.netbian.com/"+str(l)
  9. h = requests.get(url=url, headers=headers).text
  10. leaf_ =re.findall('<div class="pic">.*?(http://img.netbian.com/file/\d*/\d*/\w*.jpg)',h,re.S)

这样输出的leaf_就是我们要找的高清大图的img标签，此时我们只需要再次发送请求随后再保存数据就可以了。

存储数据

  1. for l_ in leaf_:
  2. print(l_)
  3. h = requests.get(url=l_, headers=headers).content
  4. i = 'exercise/' + l_.split('/')[-1]
  5. with open(i, 'wb') as fp:
  6. fp.write(h)

完整代码

  1. import requests
  2. import os
  3. import re
  4. url_start = 'http://www.netbian.com/dongman/'
  5. url_list=['http://www.netbian.com/dongman/index.htm']
  6. if not os.path.exists('./exercise'):
  7. os.mkdir('./exercise')
  8. for i in range(2,133):
  9. url = url_start+'index_'+str(i)+'.htm'
  10. url_list.append(url)
  11. print(url_list)
  12. for url in url_list:
  13. headers = {
  14. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
  15. }
  16. response = requests.get(url=url,headers=headers).text
  17. leaf = re.findall("desk/\d*.htm",response,re.S)
  18. for l in leaf:
  19. url = "http://www.netbian.com/"+str(l)
  20. h = requests.get(url=url, headers=headers).text
  21. leaf_ =re.findall('<div class="pic">.*?(http://img.netbian.com/file/\d*/\d*/\w*.jpg)',h,re.S)
  22. for l_ in leaf_:
  23. print(l_)
  24. h = requests.get(url=l_, headers=headers).content
  25. i = 'exercise/' + l_.split('/')[-1]
  26. with open(i, 'wb') as fp:
  27. fp.write(h)
  28.  

二、动态加载网站的爬取

我们要爬取的是另一个壁纸网站的所有壁纸

https://sucai.gaoding.com/topic/9080?

2.1 选取爬虫策略——selenium

首先打开开发者模式，观察网页结构，此时我们会发现一页上的所有壁纸并不是全部都加载出来了的，也就是说随着我们下拉滚动条，内容会不断实时加载出来，查看网页元素时也能看到lazy-image这个代表动态加载的标签。

由于是动态加载，因此不能用之前的直接发送请求的办法来爬取数据了，面对这种情况我们就需要模拟浏览器发送一个请求，并且下拉页面，来实现爬取一个实时加载网页的目的。

观察完网页结构之后我们又来观察页数，这次就不多说了，想必大家也能发现规律

  1. url_list=[]
  2. for i in range(1,4):
  3. url = 'https://sucai.gaoding.com/topic/9080?p={}'.format(i)
  4. url_list.append(url)

网页请求

在这里我们用到了selenium这个自动化测试框架

  1. for url in url_list:
  2. driver = webdriver.Chrome()
  3. driver.get(url)
  4. driver.maximize_window()
  5. time.sleep(2)
  6. i=0
  7. while i<10:#下拉滚动条加载页面
  8. i+=1
  9. driver.execute_script("window.scrollBy(0,500)")
  10. driver.implicitly_wait(5)#显式等待

解析提取数据

  1. items = driver.find_elements_by_xpath("//*[@class='gdd-lazy-image__img gdd-lazy-image__img--loaded']")
  2. for item in items:
  3. href = item.get_attribute('src')
  4. print(href)

至于数据的存储只需要再请求我们爬下来的href标签的网站就可以了。

完整代码

  1. from selenium import webdriver
  2. import time
  3. import os
  4. if not os.path.exists('./exercise'):
  5. os.mkdir('./exercise')
  6. headers = {
  7. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.75 Safari/537.36'
  8. }
  9. url_list=[]
  10. url_f_list=[]
  11. for i in range(1,4):
  12. url = 'https://sucai.gaoding.com/topic/9080?p={}'.format(i)
  13. url_list.append(url)
  14. for url in url_list:
  15. driver = webdriver.Chrome()
  16. driver.get(url)
  17. driver.maximize_window()
  18. time.sleep(2)
  19. i=0
  20. while i<10:
  21. i+=1
  22. driver.execute_script("window.scrollBy(0,500)")
  23. driver.implicitly_wait(5)#显式等待
  24. items = driver.find_elements_by_xpath("//*[@class='gdd-lazy-image__img gdd-lazy-image__img--loaded']")
  25. for item in items:
  26. href = item.get_attribute('src')
  27. print(href)

2.2 选取爬虫策略——api

众所周知，api接口是个好东西，如果找到了它，我们就无需担心动态加载，请求api返回给我们的是json格式的字典，里面或许有我们需要的东西也说不定。那么我们重新打开开发者工具搜索一番吧！

从Element切换到Network我们可以发现这里多了好多奇怪的东西，但是打开preview好像没有我们能用到的。

这个时候别灰心，切换下页面，等第二页加载出来的时候最后又多出来了一个xhr文件，点开preview我们惊喜的发现，这个里面有每一张图id的信息！

搜寻一圈发现字典里有效的只有id这个值，那么id对于我们的图片爬取有什么意义呢？通常情况下网址+id就可以定位到具体的图片，于是我点进去一张壁纸，惊喜的发现跟我想的一样！

最后又到了我们老生常谈的页数环节，在看到这个api的request url之后大家有没有观察到它其中带着page_num=2&page_size=100这两个看着很像页码的参数呢？我们再往下就看到了参数中也正好有这两个值！也就是说我们只需要更改page_num=2就可以实现翻页了！

  1. url='https://api-sucai.gaoding.com/api/csc-api/topics/9080/modules/18928/templets?'
  2. headers = {
  3. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
  4. }
  5. params_list=[]
  6. for i in range(1,4):
  7. parms ={
  8. 'page_num': i,
  9. 'page_size': 100
  10. }
  11. params_list.append(parms)

解析提取数据

  1. for param in params_list:
  2. response = requests.get(url=url,params=param,headers=headers).json()
  3. for i in range(100):
  4. try:
  5. dict =response[i]
  6. id = dict['id']
  7. url_f = 'https://sucai.gaoding.com/material/'+str(id)
  8. url_f_list.append(url_f)
  9. except:
  10. pass

存储数据

  1. for l in url_f_list:
  2. print(l)
  3. h = requests.get(url=l, headers=headers).content
  4. i = 'exercise/' + l.split('/')[-1]
  5. with open(i, 'wb') as fp:
  6. fp.write(h)

完整代码

  1. import os
  2. import requests
  3. if not os.path.exists('./exercise'):
  4. os.mkdir('./exercise')
  5. url='https://api-sucai.gaoding.com/api/csc-api/topics/9080/modules/18928/templets?'
  6. headers = {
  7. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
  8. }
  9. params_list=[]
  10. url_f_list=[]
  11. for i in range(1,4):
  12. parms ={
  13. 'page_num': i,
  14. 'page_size': 100
  15. }
  16. params_list.append(parms)
  17. for param in params_list:
  18. response = requests.get(url=url,params=param,headers=headers).json()
  19. for i in range(100):
  20. try:
  21. dict =response[i]
  22. id = dict['id']
  23. url_f = 'https://sucai.gaoding.com/material/'+str(id)
  24. url_f_list.append(url_f)
  25. except:
  26. pass
  27. for l in url_f_list:
  28. print(l)
  29. #h = requests.get(url=l, headers=headers).content
  30. #i = 'exercise/' + l.split('/')[-1]
  31. #with open(i, 'wb') as fp:
  32. # fp.write(h)

三、selenium模拟登录

我们要爬取的网站总是免不了登录这一关键环节，因此模拟登录也是一大爬虫基础。
我们要模拟登录的网站如下

https://www.icourse163.org/course/BIT-268001

选取爬虫策略

既然我们是用selenium模拟登陆，首先肯定要明确我们要模拟的具体内容，归纳起来就是

点击 登录|注册
点击 其他登陆方式
点击 手机号登录
输入账号
输入密码
点击 登录

在明确该干些什么之后我们就打开开发者模式观察一下这个登录框吧。

不看不知道，一看吓一跳，原来这里有一个iframe框架，这就意味着如果我们不做任何处理就查找元素的话可能会什么都查找不到。这就相当于在王家找李家的东西一样，我们首先需要切换到当前iframe

  1. driver.switch_to.frame(driver.find_element_by_xpath('//*[@id="j-ursContainer-1"]/iframe'))

经过这一操作之后我们就可以正常按部就班的进行模拟登陆了！

完整代码

  1. from selenium import webdriver
  2. import time
  3. url = 'https://www.icourse163.org/course/BIT-268001'
  4. driver = webdriver.Chrome()
  5. driver.get(url)
  6. driver.maximize_window()
  7. #time.sleep(2)
  8. driver.find_element_by_xpath('//div[@class="unlogin"]/a').click()
  9. driver.find_element_by_class_name('ux-login-set-scan-code_ft_back').click()
  10. driver.find_element_by_xpath('//ul[@class="ux-tabs-underline_hd"]/li[2]').click()
  11. driver.switch_to.frame(driver.find_element_by_xpath('//*[@id="j-ursContainer-1"]/iframe'))
  12. driver.implicitly_wait(2)#给登录框一些加载的时间
  13. driver.find_element_by_css_selector('input[type="tel"]').send_keys('15201359153')
  14. driver.find_element_by_css_selector('input[class="j-inputtext dlemail"]').send_keys('Asdasd123')
  15. driver.implicitly_wait(2)#如果不等待的话可能密码还没输入结束就点按登录键了
  16. driver.find_element_by_id('submitBtn').click()

到此这篇关于python基础之爬虫入门的文章就介绍到这了

搜索下方加老师微信

老师微信号：XTUOL1988【切记备注：学习Python】

领取Python web开发，Python爬虫，Python数据分析，人工智能等学习教程。带你从零基础系统性的学好Python！

*声明：本文于网络整理，版权归原作者所有，如来源信息有误或侵犯权益，请联系我们删除或授权


浏览 7
点赞
评论
收藏
分享

手机扫一扫分享

举报
评论
图片
表情
推荐
金融研究 | 使用Python测量关键审计事项的「信息含量」
Tips: 公众号推送后内容只能更改一次，且只能改20字符。如果内容出问题，或者想更新内容， 只能重复推送。为了更好的阅读体验，建议阅读本文博客版， 链接地址https://textdata.cn/blog/2023-01-13-information-content-of-critical-aud
大邓和他的Python
0
金融研究(更新) | 使用Python构建关键审计事项的「信息含量」
Tips: 公众号推送后内容只能更改一次，且只能改20字符。如果内容出问题，或者想更新内容， 只能重复推送。为了更好的阅读体验，建议阅读本文博客版， 链接地址https://textdata.cn/blog/2023-01-13-information-content-of-critical-aud
大邓和他的Python
0
谷歌员工爆料 Python 基础团队原地解散
转自 | 机器之心编辑 | 蛋酱什么？谷歌解雇了整个 Python 基础团队？「当与你直接共事的每个人，包括你的主管，都被裁员 —— 哦，是职位被削减，而你被要求安排他们的替代者入职，这些人被告知在不同的国家担任同样的职位，但他们并不为此感到高兴，这是很艰难的一天。」发布这一动态的 Tho
机器学习算法与Python实战
0
五一抢票难，Github上这几个Python项目，你可以试试
又到五一长假啦（虽然其实就放了1天），大家是打算家里蹲or出去玩，又或者是在公司加班呢...今天给大家介绍三个和12306相关的项目，看看你是否用得上。/01/ py12306py12306购票助手，顾名思义，12306买票的~需要在python 3.6以上版本运行程序。1. 安装依赖gi
Crossin的编程教室
0
谷歌员工爆料Python基础团队原地解散
机器之心报道编辑：蛋酱什么？谷歌解雇了整个 Python 基础团队？「当与你直接共事的每个人，包括你的主管，都被裁员 —— 哦，是职位被削减，而你被要求安排他们的替代者入职，这些人被告知在不同的国家担任同样的职位，但他们并不为此感到高兴，这是很艰难的一天。」发布这一动态的 Thomas Wouter
机器学习初学者
0
Python加速运行技巧
Python 是一种脚本语言，相比 C/C++ 这样的编译语言，在效率和性能方面存在一些不足。但是，有很多时候，Python 的效率并没有想象中的那么夸张。本文对一些 Python 代码加速运行的技巧进行整理。 0. 代码优化原则 本文会介绍不少的 Python 代码加速运行的技巧。在深入代码优化细
机器学习算法与Python实战
0
如此“爬虫”？代码全省了
大家好，我是章北海Jina AI 开源了 RAG 数据处理中的关键组件：“网页数据爬取” ——Reader，目前 3300+ Star⭐️项目地址：https://github.com/jina-ai/readerJina AI Reader 特征：免费使用开源延迟大概 2S 内，复杂的内容可能需要
机器学习算法与Python实战
0
为什么我们公司还在用 Python 开发项目?
作者：哇哒嘻哇https://www.zhihu.com/question/278798145/answer/3416549119最近几年里，经常看到某些曾重度使用 Python 的大公司迁移成其它语言技术栈，但是，那些小公司/小团队的情况如何呢？一直很想了解那些仍在坚持使用 Python，且支撑业
机器学习算法与Python实战
0
【Python】coverage，一个有趣的 Python 库！
大家好，今天为大家分享一个有趣的 Python 库 - coveragepy。Github地址：https://github.com/nedbat/coveragepy在软件开发中，测试是确保代码质量和稳定性的关键步骤之一。而代码覆盖率则是衡量测试覆盖代码的程度的重要指标之一。Python cove
机器学习初学者
0
【Python】Python加速运行技巧
Python 是一种脚本语言，相比 C/C++ 这样的编译语言，在效率和性能方面存在一些不足。但是，有很多时候，Python 的效率并没有想象中的那么夸张。本文对一些 Python 代码加速运行的技巧进行整理。 0. 代码优化原则 本文会介绍不少的 Python 代码加速运行的技巧。在深入代码优化细
机器学习初学者
0
点赞
评论
收藏
分享

手机扫一扫分享

举报