手把手教你使用Python网络爬虫获取音效信息

Python爬虫与数据挖掘

共 3979字,需浏览 8分钟

 ·

2020-10-05 15:08

点击上方“Python爬虫与数据挖掘”,进行关注

回复“书籍”即可获赠Python从入门到进阶共10本电子书

一腔热血勤珍重,洒去犹能化碧涛。

/1 前言/

    生活中到处有各种各样的声音。在做网页时,没有声音的网页显得没有灵魂,特别是游戏网页,没有声音就体会不了其中精彩的打斗效果,会感到特别的无趣。


/2 项目目标/

    今天教大家如何用Python网络爬虫去获取音效。


/3 项目准备/

软件:PyCharm

需要的库:requestslxmlssl

网站如下:

https://www.tukuppt.com/yinxiaomuban/zhuanchang/__zonghe_0_0_0_0_0_0_{}.html

/4 项目分析/

1、如何找到音效地址?

F12右键检查,找到对应的音效的地址,出现登录画面直接叉掉就可以了。


2、如何多网页访问?

观察网址的变化(一般取前三页):

https://www.tukuppt.com/yinxiaomuban/zhuanchang/__zonghe_0_0_0_0_0_0_1.html
https://www.tukuppt.com/yinxiaomuban/zhuanchang/__zonghe_0_0_0_0_0_0_2.html
https://www.tukuppt.com/yinxiaomuban/zhuanchang/__zonghe_0_0_0_0_0_0_3.html


发现点击下一页时,zonghe_0_0_0_0_0_0{}每增加一页自增加1,用{}代替变换的变量,再用for循环遍历这网址,实现多个网址请求。


3、如何解除ssl验证?

因为这个网址是https,需要导入一个ssl模块,忽略ssl验证。



4、如何获取Cookie?

右键检查,找到NetWork,随便复制一个Cookie即可:



/5 项目实现/

1、定义一个class类继承object,定义init方法继承self,主函数main继承self。导入需要的库和网址,代码如下所示。

import requestsfrom lxml import etreefrom fake_useragent import UserAgentimport ssl
class Panda(object): def __init__(self): pass def main(self): pass
if __name__ == '__main__': imageSpider = Panda() imageSpider.main()


2、导入网址和构造请求头。

 self.url = "https://www.tukuppt.com/yinxiaomuban/zhuanchang/__zonghe_0_0_0_0_0_0_{}.html" #/zhuanchang/:搜索的名字的拼音缩写        self.headers = {            "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36"        }


3、发送请求  获取响应, 页面回调,方便下次请求。

    def get_page(self, url):        res = requests.get(url=url, headers=self.headers)        html = res.content.decode("utf-8")        return html


4、xpath解析页面数据。

这里我们先获取父节点,在通过for循环遍历,找到对应的子节点(音效地址)。

one = parse_html.xpath('//div[@class="b-box"]//dl')    for li in one:        lis_imges = li.xpath(".//audio//source/@src")[0].strip()        who = li.xpath(".//dt//a/text()")[0].strip()

获取到后,发现地址表示完整的地址,需要对网站进行补全,获取真正访问的地址。

 mp3 = "https:" + lis_imges


5、运行的结果,如下图所示:


6、对音效地址发生请求,获取对应音效a标签的text()作为命名,写入文件。

dirname = "./音效/" + who + '.mp3'html2 = requests.get(url=mp3, headers=self.headers).contentwith open(dirname, 'wb') as f:    f.write(html2)    print("\n%s下载成功" % who))


7、调用方法,实现功能。

html = self.get_page(url)self.parse_page(html)


/6 效果展示/

1、点击绿色小三角运行输入起始页,终止页,如1和2,获取1页信息即可。


2、运行程序后,结果显示在控制台,如下图所示。


3、将运行结果保存在本地,如下图所示。


4、双击文件,即可播放。


/7 小结/

1、不建议抓取太多数据,容易对服务器造成负载,浅尝辄止即可。
2、本文基于Python网络爬虫,利用爬虫库,解除登录限制下载音效,存入文档。
3、按照步骤去实现,实现的时候,总会有各种各样的问题,切勿眼高手低,勤动手,才可以理解的更加深刻。
4、希望通过这个项目能够了解到,对于HTTPS网站,解除ssl验证的有大致的了解。
5、如果需要本文源码的话,请在公众号后台回复“音效”两个字进行获取,觉得不错,记得给个star噢。



------------------- End -------------------

往期精彩文章推荐:

欢迎大家点赞,留言,转发,转载,感谢大家的相伴与支持

想加入Python学习群请在后台回复【入群

万水千山总是情,点个【在看】行不行

/今日留言主题/

随便说一两句吧~~

浏览 26
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报