秀!Pandas 也能爬虫!

Python绿色通道

共 2757字,需浏览 6分钟

 ·

2021-12-11 07:30

↑ 关注 + 星标 ,每天学Python新技能

后台回复【大礼包】送你Python自学大礼包


谈及Pandas的read.xxx系列的函数,大家的第一反应会想到比较常用的pd.read_csv()和pd.read_excel(),大多数人估计没用过pd.read_html()这个函数。虽然它低调,但功能非常强大,用于抓取Table表格型数据时,简直是个神器。

是的,这个神器可以用来爬虫!

本文目录




定 义


pd.read_html()这个函数功能强大,无需掌正则表达式或者xpath等工具短的几行代码就可以轻松实现抓取Table表格型网页数据





原 理


一.Table表格型数据网页结构

为了了解Table网页结构,我们看个简单例子。

指南者留学网

没错,简单!

另一个例子:

新浪财经网

规律:以Table结构展示的表格数据,网页结构长这样:


     

     

     

     

     

     

       

           

       

       

...

       

...

        ...

       

...

       

...        

   

...
...

Table表格一般网页结构



二.pandas请求表格数据原理

基本流程

其实,pd.read_html可以将网页上的表格数据都抓取下来,并以DataFrame的形式装在一个list中返回。


三.pd.read_html语法及参数


pandas.read_html(io, match='.+', flavor=None, 

header=None,index_col=None,skiprows=None, 

attrs=None, parse_dates=False, thousands=', ', 

encoding=None, decimal='.', converters=None, na_values=None, 

keep_default_na=True, displayed_only=True)

基本语法


io :接收网址、文件、字符串;

parse_dates:解析日期;

flavor:解析器;

header:标题行;

skiprows:跳过的行;

attrs:属性,比如 attrs = {'id': 'table'}

主要参数





实 战


一.案例1:抓取世界大学排名(1页数据)

1import pandas as pd 
2import csv
3url1 = 'http://www.compassedu.hk/qs'
4df1 = pd.read_html(url1)[0] #0表示网页中的第一个Table
5df1.to_csv('世界大学综合排名.csv',index=0)

5行代码,几秒钟就搞定,数据预览:

世界大学排行榜


二.案例2:抓取新浪财经基金重仓股数据(6页数据)


1import pandas as pd
2import csv
3df2 = pd.DataFrame()
4for i in range(6):
5    url2 = 'http://vip.stock.finance.sina.com.cn/q/go.php/vComStockHold/kind/jjzc/index.phtml?p={page}'.format(page=i+1)
6    df2 = pd.concat([df2,pd.read_html(url2)[0]])
7    print('第{page}页抓取完成'.format(page = i + 1))
8df2.to_csv('./新浪财经数据.csv',encoding='utf-8',index=0)


8行代码搞定,还是那么简单


我们来预览下爬取到的数据:


基金重仓股数据


三.案例3:抓取证监会披露的IPO数据(217页数据)


 1import pandas as pd
2from pandas import DataFrame
3import csv
4import time
5start = time.time() #计时
6df3 = DataFrame(data=None,columns=['公司名称','披露日期','上市地和板块','披露类型','查看PDF资料']) #添加列名
7for i in range(1,218):  
8    url3 ='http://eid.csrc.gov.cn/ipo/infoDisplay.action?pageNo=%s&temp=&temp1=&blockType=byTime'%str(i)
9    df3_1 = pd.read_html(url3,encoding='utf-8')[2]  #必须加utf-8,否则乱码
10    df3_2 = df3_1.iloc[1:len(df3_1)-1,0:-1]  #过滤掉最后一行和最后一列(NaN列)
11    df3_2.columns=['公司名称','披露日期','上市地和板块','披露类型','查看PDF资料'#新的df添加列名
12    df3 = pd.concat([df3,df3_2])  #数据合并
13    print('第{page}页抓取完成'.format(page=i))
14df3.to_csv('./上市公司IPO信息.csv', encoding='utf-8',index=0#保存数据到csv文件
15end = time.time()
16print ('共抓取',len(df3),'家公司,' + '用时',round((end-start)/60,2),'分钟')


这里注意要对抓下来的Table数据进行过滤,主要用到iloc方法。另外,我还加了个程序计时,方便查看爬取速度。



2分钟爬下217页4334条数据,相当nice了。我们来预览下爬取到的数据


上市公司IPO数据


注意,并不是所有表格都可以用pd.read_html爬取,有的网站表面上看起来是表格,但在网页源代码中不是table格式,而是list列表格式。这种表格则不适用read_html爬取,得用其他的方法,比如selenium。


END

推荐阅读

  1. 50条有趣的Python一行代码,建议收藏!

  2. 又一款超酷的可视化神器:cutecharts

  3. 机密!网易员工数据分析内训课程,白嫖了!(另附价值399元资料包)



浏览 34
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报