利用Selenium批量下载100首网易云热歌榜音乐!

Python绿色通道

共 1617字,需浏览 4分钟

 ·

2022-02-09 14:57

↑ 关注 + 星标 ,每天学Python新技能

后台回复【大礼包】送你Python自学大礼包


今天的小demo我们使用的是selenium和xpath.函数式编程采集数据.采集到的数据如图所示。




01

需求数据


网易云音乐新歌榜数据100首歌曲。




02

页面分析



首先这个页面通过reuqests方法是无法获取页面数据的,所以我们这里使用selenium,xpath方法解析数据。
这个table标签装了100首歌曲数据,但是这个页面是嵌在iframe标签中的,所以需要定位iframe标签,获取到里面的的内容。

url = "https://music.163.com/#/discover/toplist?id=3779629" # 新歌榜

driver = webdriver.Chrome()

driver.get(url)

time.sleep(3)

_iframe = driver.find_element_by_id('g_iframe'# 找到iframe标签

driver.switch_to.frame(_iframe)

time.sleep(1)

page_text = driver.execute_script("return document.documentElement.outerHTML")


03

解析数据


得到了iframe中的元素page_text,我们使用xpath。


html = etree.HTML(page_text)

trs = html.xpath('//tr')
id_list = []
song_name_list = []
singer_list = []

for tr in trs[1:]:
    id = tr.xpath("./td[2]/div[1]/div[1]/span/@data-res-id")[0][-10:] 
    id_list.append(id)
    song_name = tr.xpath("./td[2]/div/div/div/span/a/b/@title")[0]
    song_name_list.append(song_name)
    print(id,"----",song_name)



04

保存数据



base_url = 'http://music.163.com/song/media/outer/url?id={}.mp3'
try:
    for index,id in enumerate(id_list):
        if index == 25# 因为这个26首歌曲名非正常字符,要排除,否则报错
            continue
        file_name = song_name_list[index]
        resp = requests.get(base_url.format(id))
        with open(r'HotMusic/'+ file_name + '.mp3','wb'as f:
            f.write(resp.content)
            print('歌曲:%s下载成功' % file_name)
except Exception as error:
    print(error)



05

运行程序



万水千山总是情,点个 👍 行不行

推荐阅读

  1. Linus:“我删除了Linux,因为它就是个垃圾!”

  2. 为什么我们现在不再需要杀毒软件了?

  3. 2021年互联网公司“死亡”名单!(附清单)

您看此文用   分  秒,转发只需1秒哦

浏览 42
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报