python数据抓取3种方法总结

python教程

共 1936字,需浏览 4分钟

 ·

2021-02-10 15:41

这篇文章主要给大家介绍了关于python数据抓取的3种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

三种数据抓取的方法

  • 正则表达式(re库)

  • BeautifulSoup(bs4)

  • lxml

*利用之前构建的下载网页函数,获取目标网页的html,我们以https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/为例,获取html。

  1. from get_html import download

  2.  

  3. url = 'https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/'

  4. page_content = download(url)

*假设我们需要爬取该网页中的国家名称和概况,我们依次使用这三种数据抓取的方法实现数据抓取。

1.正则表达式

  1. from get_html import download

  2. import re

  3.  

  4. url = 'https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/'

  5. page_content = download(url)

  6. country = re.findall('class="h2dabiaoti">(.*?)', page_content) #注意返回的是list

  7. survey_data = re.findall('(.*?)', page_content)

  8. survey_info_list = re.findall('

      (.*?)

    ', survey_data[0])

  9. survey_info = ''.join(survey_info_list)

  10. print(country[0],survey_info)

2.BeautifulSoup(bs4)

  1. from get_html import download

  2. from bs4 import BeautifulSoup

  3.  

  4. url = 'https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/'

  5. html = download(url)

  6. #创建 beautifulsoup 对象

  7. soup = BeautifulSoup(html,"html.parser")

  8. #搜索

  9. country = soup.find(attrs={'class':'h2dabiaoti'}).text

  10. survey_info = soup.find(attrs={'id':'wzneirong'}).text

  11. print(country,survey_info)

3.lxml

  1. from get_html import download

  2. from lxml import etree #解析树

  3.  

  4. url = 'https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/'

  5. page_content = download(url)

  6. selector = etree.HTML(page_content)#可进行xpath解析

  7. country_select = selector.xpath('//*[@id="main_content"]/h2') #返回列表

  8. for country in country_select:

  9. print(country.text)

  10. survey_select = selector.xpath('//*[@id="wzneirong"]/p')

  11. for survey_content in survey_select:

  12. print(survey_content.text,end='')

运行结果:

最后,引用《用python写网络爬虫》中对三种方法的性能对比,如下图:

仅供参考。

扫下方二维码加老师微信

或是搜索老师微信号:XTUOL1988【切记备注学习Python】

领取Python web开发,Python爬虫,Python数据分析,人工智能等学习教程。带你从零基础系统性的学好Python!

也可以加老师建的Python技术学习教程qq裙:245345507,二者加一个就可以!

欢迎大家点赞,留言,转发,转载,感谢大家的相伴与支持


万水千山总是情,点个【在看】行不行

*声明:本文于网络整理,版权归原作者所有,如来源信息有误或侵犯权益,请联系我们删除或授权事宜

浏览 33
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报