最美的不是下雨天

前面写了一篇下厨房的爬虫和一篇网易云的爬虫，今天来写一写QQ音乐的爬虫，我会尽量写的详细一点。
python爬虫最基础的用法，request.get方法。

import requestsurl = 'http://www.baidu.com'res = requests.get(url)print(res.status_code)

print(res.content)

import requestsurl = 'http://www.baidu.com'headers = {    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36",}res = requests.get(url=url,headers=headers)print(res.content)

url = 'https://y.qq.com/portal/search.html#page=10&searchid=1&remoteplace=txt.yqq.top&t=song&w=%E5%91%A8%E6%9D%B0%E4%BC%A6'

import requestsurl = 'https://y.qq.com/portal/search.html#page=10&searchid=1&remoteplace=txt.yqq.top&t=song&w=%E5%91%A8%E6%9D%B0%E4%BC%A6'headers = {    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36",}res = requests.get(url=url,headers=headers)print(res.content.decode('utf-8'))

数字2的地方我们选择XHR，可以点开其他类型的看看，都代表是什么意思。打开开发者模式之后，刷新一下网页，可以看到左下角Name下面一大堆数据在刷新。没有经验的朋友可以一个个点开看一下，也可以通过名字来猜测一部分是干嘛的。

这里已经看到了周杰伦的名字。(上面选项卡点preview)，数据是以json格式返回的，data箭头展开，一层层看下去，可以看到有很多歌名。看来这个网页是我们要请求的了。选项卡切换到第一个Headers。

可以看到有一个Request_URL，这个是我们真正需要爬的网址。小伙伴可以试一下，爬一下这个网址看看结果。不出意外，应该可以得到我们刚才在浏览器开发者模式下看到的内容。

再次进阶一下？stop，步子可以慢一点，我们对这一步做一个小小的优化，让代码看起来美观优雅简洁大方。看上面的图可以看到有个query sting parameters的选项。点开可以看到，里面的内容就是request URL里面的地址？后面的内容。于是我们将代码改写成如下格式。

import requests
headers = {    'origin': 'https://y.qq.com',    'referer': 'https://y.qq.com/',    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36",}para = {    'ct': '24',    'qqmusic_ver': '1298',    'new_json': '1',    'remoteplace': 'txt.yqq.song',    'searchid': '66253237842047499',    't': '0',    'aggr': '1',    'cr': '1',    'catZhida': '1',    'lossless': '0',    'flag_qc': '0',    'p': '10',    'n': '10',    'w': '周杰伦',    'g_tk_new_20200303': '5381',    'g_tk': '5381',    'loginUin': '0',    'hostUin': '0',    'format': 'json',    'inCharset': 'utf8',    'outCharset': 'utf-8',    'notice': '0',    'platform': 'yqq.json',    'needNewCode': '0',}url = 'https://c.y.qq.com/soso/fcgi-bin/client_search_cp'res = requests.get(url=url,headers=headers,params=para)print(res.content.decode('utf-8'))

from time import sleep#中间部分代码同之前for i in range(1,4):    para['p'] = str(i)    res = requests.get(url=url,headers=headers,params=para)    print(res.content.decode('utf-8'))    sleep(1)

到这里完成了第一步。接下来是对爬取下来的内容进行解析。json数据和字典的结构很相似，可以通过字典的'key'来找到想要的数据。以获取歌曲ID和歌名为例。

id_list = []name_list = []json_music = res.json()# 可以先将文件保存下来，再观察数据结构# with open('search.json','wb') as f:#     f.write(res.text.encode())list_music = json_music['data']['song']['list']for music in list_music:    id_list.append(music['id'])    name_list.append(music['name'])

到这一步已经可以顺利的把我们想要的歌曲名和歌曲id(歌曲id是qq音乐使用区分开不同的歌)。

接下来我们再进阶一下，爬取歌曲的歌词。点开第一页搜索到的第一个歌曲晴天。链接如下：

url = 'https://y.qq.com/n/yqq/song/0039MnYb0qxYhV.html'

接下来我们需要把前几页的歌曲的歌词都爬下来，同时还需要处理歌词信息，因为返回的结果带了一些我们不想要的字符。这里和刚才一样，使用带参数的get来请求数据。代码如下，其中id list和name list是刚才我们爬取出来的结果保存在list里面，现在我们遍历这个list，把要爬的歌曲爬下来，id是个参数，不同的id对应不同的网站，返回来的歌词结果保存在txt文本里，命名为歌曲名。

def get_song_text():    url_link = 'https://c.y.qq.com/lyric/fcgi-bin/fcg_query_lyric_yqq.fcg'    para1 = {        'nobase64': '1',        'musicid': '',        '-': 'jsonp1',        'g_tk_new_20200303': '5381',        'g_tk': '5381',        'loginUin': '0',        'hostUin': '0',        'format': 'json',        'inCharset': 'utf8',        'outCharset': ' utf-8',        'notice': '0',        'platform': 'yqq.json',        'needNewCode': '0',    }    count = 0    for id in id_list:        para1['musicid'] = str(id)        music_text = requests.get(url=url_link, headers=headers,params=para1)        with open(r'song_text/{}.text'.format(name_list[count]),'wb') as f:            f.write(music_text.text.encode())        count = count + 1        sleep(0.1)

注：下载歌词的时候没有使用多进程或者协程的方式，所以运行速度会偏慢。考虑到理解容易度问题，多进程爬取不在本篇介绍。放一下我的运行结果，爬取前10页100首歌曲的歌词(实际歌词结果是94个，因为有重复的歌曲)，用时3分50秒，此处应有歌曲，'能不能给我一首歌的时间'。(家里网速较慢，小伙伴尝试的时候可以看看你们要多久，切换成手机热点之后，50秒爬取结束)。

到这里只剩最后一步，就是对歌词进行解析整理。这里使用正则表达式re。处理方法如下：将每一行的结束替换成换行，中间的停顿换成空格，多余的啰哩吧嗦的全都替换去掉，最后再把周董的英文名左右两边的括号放出来，还有歌曲和演唱者之间的-也放出来。运行了几个文件，效果还是可以的，基本上正确解析出来

with open(file,'r',encoding='utf-8') as f:    text = f.read()text = re.sub(r"
", "\n", text)text = re.sub(r"(\[.*]\n)|(\[.*])|(\"})|({.*:\")", "", text)text = re.sub(r" ", " ",text)text = text.replace("(", "(")text = text.replace(")", ")")text = text.replace("-", "-")# print(text)with open(file, 'wb') as f:    f.write(text.encode('utf-8'))

现在基本上实现了我们的目标，接下来就是把代码整合一下，再加上一些打印信息。这里我添加了一个进度条，可以看到歌曲歌词下载进度。效果如下：

最终成功把QQ音乐周董前10页的歌的歌词下载下来，用时一首歌的时间。(加小半天写代码加小半天写公众号)

• 今天你网易云了么？
  

• 今天你下厨房了么？