Python爬虫|抖音热搜定时爬取，又一个摸鱼神器
共 3247字，需浏览 7分钟
·
2022-03-23 10:56
今天我们来爬取一下抖音热搜榜，感兴趣的小伙伴可以自己动手尝试一下哦。
抖音热搜榜
链接：https://tophub.today/n/K7GdaMgdQy
整个热榜共50条数据，本次爬取的内容：排名、热度、标题、链接。
requests 爬取
requests 是一种非常简单的方法，由于该页面没有反爬措施，所以直接get 请求页面即可。
import requests
import pandas as pd
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.54 Safari/537.36'
}
url = 'https://tophub.today/n/K7GdaMgdQy'
page_text = requests.get(url=url, headers=headers).text
page_text
可以看到，只需要几行代码，数据就很轻松地获取到了。
selenium 爬取
将selenium设置为无头浏览器，打开指定url获取页面数据。
from selenium import webdriver
option = webdriver.ChromeOptions()
option.add_argument('--headless')
driver = webdriver.Chrome(options=option)
url = 'https://tophub.today/n/K7GdaMgdQy'
driver.get(url)
page_text = driver.page_source
两种爬取方法都能够成功获取到数据，但requests相对简洁，整个代码运行速度也更快，如果页面数据不是动态加载的话，用requests相对方便。
数据解析
现在用lxml库解析我们爬取的数据，并保存到excel中。
tree = etree.HTML(page_text)
tr_list = tree.xpath(
'//*[@id="page"]/div[2]/div[2]/div[1]/div[2]/div/div[1]/table/tbody/tr')
df = pd.DataFrame(columns=['排名', '热度', '标题', '链接'])
for index, tr in enumerate(tr_list):
hot = tr.xpath('./td[3]/text()')[0]
title = tr.xpath('./td[2]/a/text()')[0]
article_url = tr.xpath('./td[2]/a/@href')[0]
df = df.append({
'排名': index + 1,
'热度': hot,
'标题': title,
'链接': article_url}, ignore_index=True)
df['链接'] = 'https://tophub.today' + df['链接']
df
运行结果
设置定时运行
至此，爬取代码已经完成，想要实现每小时自动运行代码，可以使用任务计划程序。
打开任务计划程序，【创建任务】
输入名称，名称随便起就好。
选择【触发器】>>【新建】>>【设置触发时间】
选择【操作】>>【新建】>>【选择程序】
最后确认即可。到时间就会自动运行，或者右键任务手动运行。
扫码加入，3周零基础入门
推荐阅读:
入门: 最全的零基础学Python的问题 | 零基础学了8个月的Python | 实战项目 |学Python就是这条捷径
干货:爬取豆瓣短评，电影《后来的我们》 | 38年NBA最佳球员分析 | 从万众期待到口碑扑街！唐探3令人失望 | 笑看新倚天屠龙记 | 灯谜答题王 ｜用Python做个海量小姐姐素描图 ｜碟中谍这么火，我用机器学习做个迷你推荐系统电影
趣味:弹球游戏 | 九宫格 | 漂亮的花 | 两百行Python《天天酷跑》游戏!
AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火，我用机器学习做个迷你推荐系统电影
小工具: Pdf转Word，轻松搞定表格和水印！ | 一键把html网页保存为pdf！| 再见PDF提取收费！ | 用90行代码打造最强PDF转换器，word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器！ ｜60行代码做了一个语音壁纸切换器天天看小姐姐！｜
年度爆款文案
点阅读原文，看B站22个原创视频!