python爬取豆瓣电影TOP250数据

这次以豆瓣电影TOP250网为例编写一个爬虫程序,并将爬取到的数据(排名、电影名和电影海报网址)存入MySQL数据库中。
在执行程序前,先在MySQL中创建一个数据库"pachong"。
import pymysqlimport requestsimport re#获取资源并下载def resp(listURL):#连接数据库conn = pymysql.connect(host = '127.0.0.1',port = 3306,user = 'root',password = '******', #数据库密码请根据自身实际密码输入database = 'pachong',charset = 'utf8')#创建数据库游标cursor = conn.cursor()#创建列表t_movieTOP250(执行sql语句)cursor.execute('create table t_movieTOP250(id INT PRIMARY KEY auto_increment NOT NULL ,movieName VARCHAR(20) NOT NULL ,pictrue_address VARCHAR(100))')try:# 爬取数据for urlPath in listURL:# 获取网页源代码response = requests.get(urlPath)html = response.text# 正则表达式namePat = r'alt="(.*?)" src='imgPat = r'src="(.*?)" class='# 匹配正则(排名【用数据库中id代替,自动生成及排序】、电影名、电影海报(图片地址))res2 = re.compile(namePat)res3 = re.compile(imgPat)textList2 = res2.findall(html)textList3 = res3.findall(html)# 遍历列表中元素,并将数据存入数据库for i in range(len(textList3)):cursor.execute('insert into t_movieTOP250(movieName,pictrue_address) VALUES("%s","%s")' % (textList2[i],textList3[i]))#从游标中获取结果cursor.fetchall()#提交结果conn.commit()print("结果已提交")except Exception as e:#数据回滚conn.rollback()print("数据已回滚")#关闭数据库conn.close()#top250所有网页网址def page(url):urlList = []for i in range(10):num = str(25*i)pagePat = r'?start=' + num + '&filter='urL = url+pagePaturlList.append(urL)return urlListif __name__ == '__main__':url = r"https://movie.douban.com/top250"listURL = page(url)resp(listURL)
结果如下图:
以上就是我的分享,如果有什么不足之处请指出,多交流,谢谢!

搜索下方加老师微信
老师微信号:XTUOL1988【切记备注:学习Python】
领取Python web开发,Python爬虫,Python数据分析,人工智能等精品学习课程。带你从零基础系统性的学好Python!
*声明:本文于网络整理,版权归原作者所有,如来源信息有误或侵犯权益,请联系我们删除或授权

评论


