手把手教你用Python网络爬虫实现上海证券交易所定期报告pdf文件下载(附代码)

Python爬虫与数据挖掘

共 28590字,需浏览 58分钟

 ·

2021-10-09 18:53

点击上方“Python爬虫与数据挖掘”,进行关注

回复“书籍”即可获赠Python从入门到进阶共10本电子书

青山隐隐水迢迢, 秋尽江南草未凋。

    大家好,我是皮皮。今天给大家演示用Python网络爬虫实现上海证券交易所定期报告pdf文件下载,欢迎大家积极尝试。


一、背景

    上海证券交易所网站上有很多上市公司上市公告的信息,如下图所示

    这个网站上的文件大都是支持下载的,想象一下,一个经常盯盘的人,他可能每天都需要去看一些公告信息,每天都需要重复的,手动的去打开链接,然后去访问,这样做肯定可行,但是这个过程,完全可以使用Python网络爬虫来帮助解决。今天就教大家爬取该网站的公告,并且实现下载。


二、实现目标

     输入想要的起始时间,获取上海证券交易所的定期报告。


三、项目实现

1. 这个网站是get请求,请求不难,可以直接访问,代码如下。你只需要修改url中的其实时间,之后在命令行中运行代码或者Pycharm中运行代码,就可以获取了。
# coding: utf-8from bs4 import BeautifulSoupimport requestsimport json

def get_and_download_pdf_file(): url = 'http://query.sse.com.cn/commonQuery.do?jsonCallBack=jsonpCallback97417902&isPagination=true&pageHelp.pageSize=25&pageHelp.cacheSize=1&type=inParams&sqlId=COMMON_PL_SSGSXX_ZXGG_L&START_DATE=2021-06-15&END_DATE=2021-09-15&SECURITY_CODE=&TITLE=&BULLETIN_TYPE=00%2C0101%2C0102%2C0104%2C0103&pageHelp.pageNo=2&pageHelp.beginPage=2&pageHelp.endPage=2&_=1631613647901' referer = 'http://www.sse.com.cn/' response = requests.get(url=url, headers={'Referer': referer}) json_data = response.text.split('(')[-1].replace(')', '') format_data = json.loads(json_data) # print(format_data)4 # format_data = {'actionErrors': [], 'actionMessages': [], 'fieldErrors': {}, 'isPagination': 'true', 'jsonCallBack': 'jsonpCallback97417902', 'locale': 'en_US', 'pageHelp': {'beginPage': 2, 'cacheSize': 1, 'data': [{'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '26', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '凤凰传媒2021年半年度报告摘要
凤凰传媒2021年半年度报告
2021年半年度凤凰股份募集资金使用专项报告', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '601928', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/601928_20210831_3_oQ9gFdPr.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/601928_20210831_4_r8IF7Ioe.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/601928_20210831_5_a8AR80Ec.pdf', 'SECURITY_NAME': '凤凰传媒'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '27', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '大唐发电2021年半年度报告摘要
大唐发电2021年半年度报告
大唐发电2021年半年度公司募集资金存放与实际使用情况的专项报告', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '601991', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/601991_20210831_2_l7wMtqP1.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/601991_20210831_3_znBeIxxM.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/601991_20210831_4_Ed6vIyaq.pdf', 'SECURITY_NAME': '大唐发电'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '28', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '博通集成2021年半年度报告摘要
博通集成2021年半年度报告
博通集成独立董事关于第二届董事会第十一次会议的相关意见', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '603068', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/603068_20210831_3_EYTIQqyt.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603068_20210831_4_LkgqgO78.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603068_20210831_5_jQeCG8ne.pdf', 'SECURITY_NAME': '博通集成'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
其它
半年报', 'NUM': '29', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '福建傲农生物科技集团股份有限公司2021年半年度报告摘要
国泰君安证券股份有限公司关于福建傲农生物科技集团股份有限公司2021年上半年经营业绩相关事项之专项现场检查报告
福建傲农生物科技集团股份有限公司2021年半年度报告', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '603363', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/603363_20210831_8_jTldi1ek.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603363_20210831_10_qOxH6x8d.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603363_20210831_9_wmCt0rCJ.pdf', 'SECURITY_NAME': '傲农生物'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '30', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '营口金辰机械股份有限公司2021年半年度报告摘要
营口金辰机械股份有限公司2021年半年度报告
营口金辰机械股份有限公司关于公司募集资金存放与实际使用情况的专项报告', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '603396', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/603396_20210831_7_8jjH33hN.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603396_20210831_8_nrQ0785a.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603396_20210831_9_am7X8P3k.pdf', 'SECURITY_NAME': '金辰股份'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '31', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '绝味食品2021年半年度报告摘要
绝味食品2021年半年度报告全文
绝味食品2021年半年度经营数据', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '603517', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/603517_20210831_4_3QErISlG.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603517_20210831_5_qxe1E8p6.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603517_20210831_6_wbODkibu.pdf', 'SECURITY_NAME': '绝味食品'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '32', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '艾迪精密 2021年半年度报告摘要
艾迪精密 2021年半年度报告
艾迪精密 2021年上半年度度募集资金存放与使用情况报告', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '603638', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/603638_20210831_3_hhpbVUA7.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603638_20210831_4_HEMC3hSW.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603638_20210831_5_gtfpFugU.pdf', 'SECURITY_NAME': '艾迪精密'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '33', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '2021年半年度报告摘要
2021年半年度报告
2021年半年度募集资金存放与实际使用情况的专项报告', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '603690', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/603690_20210831_5_1jkZo7kK.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603690_20210831_6_6CS2OV2y.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603690_20210831_7_uTckDuSp.pdf', 'SECURITY_NAME': '至纯科技'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '34', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '泰晶科技股份有限公司2021年半年度报告摘要
泰晶科技股份有限公司2021年半年度报告
泰晶科技股份有限公司独立董事关于第四届董事会第三次会议相关事项的独立意见', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '603738', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/603738_20210831_9_Lqpz5WB7.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603738_20210831_10_lgmFSauU.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603738_20210831_11_k6fmwPIa.pdf', 'SECURITY_NAME': '泰晶科技'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '35', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '2021年半年度报告摘要
2021年半年度报告
民生证券股份有限公司关于圣诺生物科技股份有限公司2021年半年度持续督导跟踪报告', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '688117', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/688117_20210831_1_xQDVcAUr.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/688117_20210831_2_a8b3v42D.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/688117_20210831_3_JSwT8ykQ.pdf', 'SECURITY_NAME': '圣诺生物'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '36', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '燕麦科技2021年半年度报告摘要
燕麦科技2021年半年度报告
关于2021年半年度募集资金存放与使用情况的专项报告', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '688312', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/688312_20210831_1_Y0JBqTSe.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/688312_20210831_2_LQXyZ2CK.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/688312_20210831_3_yYigmnxd.pdf', 'SECURITY_NAME': '燕麦科技'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '37', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '亿华通 2021年半年度报告摘要
亿华通 2021年半年度报告全文
国泰君安证券股份有限公司关于北京亿华通科技股份有限公司2021 年半年度持续督导跟踪报告', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '688339', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/688339_20210831_4_BuAYrmqN.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/688339_20210831_5_kGhXOWSE.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/688339_20210831_6_ypI1Mq68.pdf', 'SECURITY_NAME': '亿华通'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '38', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '海目星:2021年半年度报告摘要
2021年半年度报告(全文)
独立董事关于第二届董事会第八次会议相关事项的独立意见', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '688559', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/688559_20210831_6_2dJceQA5.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/688559_20210831_7_vMYeSgFT.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/688559_20210831_8_ffWxMD07.pdf', 'SECURITY_NAME': '海目星'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '39', 'ORG_FILE_TYPE': '0
1', 'TITLE': ' 广州白云国际机场股份有限公司2021年半年度报告摘要
广州白云国际机场股份有限公司2021年半年度报告', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600004', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600004_20210831_1_QTeujht2.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600004_20210831_2_TOyeE5gc.pdf', 'SECURITY_NAME': '白云机场'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '40', 'ORG_FILE_TYPE': '0
1', 'TITLE': '中国国贸2021年半年度报告摘要
中国国贸2021年半年度报告全文', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600007', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600007_20210831_2_j4tnJY9k.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600007_20210831_3_EasxD8Ev.pdf', 'SECURITY_NAME': '中国国贸'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '41', 'ORG_FILE_TYPE': '0
1', 'TITLE': '华夏银行2021年半年度报告摘要
华夏银行2021年半年度报告', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600015', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600015_20210831_1_VFNisODb.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600015_20210831_2_M3aBFuFj.pdf', 'SECURITY_NAME': '华夏银行'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '42', 'ORG_FILE_TYPE': '0
1', 'TITLE': '中远海能2021年半年度报告摘要
中远海能2021年半年度报告 ', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600026', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600026_20210831_1_9lpPqlw2.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600026_20210831_2_pbF3EpZZ.pdf', 'SECURITY_NAME': '中远海能'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '43', 'ORG_FILE_TYPE': '0
1', 'TITLE': '福建高速2021年半年度报告摘要
福建高速2021年半年度报告', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600033', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600033_20210831_1_xTaMBUgI.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600033_20210831_2_eKqPLOAa.pdf', 'SECURITY_NAME': '福建高速'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '44', 'ORG_FILE_TYPE': '0
1', 'TITLE': '湖北楚天智能交通股份有限公司2021年半年度报告摘要
湖北楚天智能交通股份有限公司2021年半年度报告', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600035', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600035_20210831_1_c2VsfDCI.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600035_20210831_2_2u1N2zW7.pdf', 'SECURITY_NAME': '楚天高速'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '45', 'ORG_FILE_TYPE': '0
1', 'TITLE': '浙江广厦股份有限公司2021年半年度报告摘要
浙江广厦股份有限公司2021年半年度报告', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600052', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600052_20210831_5_cG6ztJeD.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600052_20210831_6_yKod9Php.pdf', 'SECURITY_NAME': '浙江广厦'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '46', 'ORG_FILE_TYPE': '0
1', 'TITLE': '五矿发展股份有限公司2021年半年度报告摘要
五矿发展股份有限公司2021年半年度报告', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600058', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600058_20210831_5_xGM0YttN.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600058_20210831_6_AQ3QJP01.pdf', 'SECURITY_NAME': '五矿发展'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '47', 'ORG_FILE_TYPE': '0
1', 'TITLE': '海信视像2021年半年度报告摘要
海信视像2021年半年度报告', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600060', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600060_20210831_1_s6i4NHcj.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600060_20210831_2_LgSibAfA.pdf', 'SECURITY_NAME': '海信视像'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '48', 'ORG_FILE_TYPE': '0
1', 'TITLE': ' 宋都基业投资股份有限公司2021年半年度报告摘要
宋都基业投资股份有限公司2021年半年度报告', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600077', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600077_20210831_8_FktN2zQM.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600077_20210831_9_U8dFxOP1.pdf', 'SECURITY_NAME': '宋都股份'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '49', 'ORG_FILE_TYPE': '0
1', 'TITLE': '江苏澄星磷化工股份有限公司2021年半年度报告摘要
江苏澄星磷化工股份有限公司2021年半年度报告', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600078', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600078_20210831_5_fdy4tfid.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600078_20210831_6_bi7mUtXO.pdf', 'SECURITY_NAME': '*ST澄星'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '50', 'ORG_FILE_TYPE': '0
1', 'TITLE': '东风电子科技股份有限公司2021年半年度报告摘要
东风电子科技股份有限公司2021年半年度报告', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600081', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600081_20210831_3_glO53EAF.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600081_20210831_4_QEus44S1.pdf', 'SECURITY_NAME': '东风科技'}], 'endDate': None, 'endPage': 2, 'objectResult': None, 'pageCount': 79, 'pageNo': 2, 'pageSize': 25, 'searchDate': None, 'sort': None, 'startDate': None, 'total': 1956}, 'pageNo': None, 'pageSize': None, 'queryDate': '', 'result': [{'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '26', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '凤凰传媒2021年半年度报告摘要
凤凰传媒2021年半年度报告
2021年半年度凤凰股份募集资金使用专项报告', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '601928', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/601928_20210831_3_oQ9gFdPr.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/601928_20210831_4_r8IF7Ioe.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/601928_20210831_5_a8AR80Ec.pdf', 'SECURITY_NAME': '凤凰传媒'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '27', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '大唐发电2021年半年度报告摘要
大唐发电2021年半年度报告
大唐发电2021年半年度公司募集资金存放与实际使用情况的专项报告', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '601991', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/601991_20210831_2_l7wMtqP1.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/601991_20210831_3_znBeIxxM.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/601991_20210831_4_Ed6vIyaq.pdf', 'SECURITY_NAME': '大唐发电'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '28', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '博通集成2021年半年度报告摘要
博通集成2021年半年度报告
博通集成独立董事关于第二届董事会第十一次会议的相关意见', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '603068', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/603068_20210831_3_EYTIQqyt.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603068_20210831_4_LkgqgO78.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603068_20210831_5_jQeCG8ne.pdf', 'SECURITY_NAME': '博通集成'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
其它
半年报', 'NUM': '29', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '福建傲农生物科技集团股份有限公司2021年半年度报告摘要
国泰君安证券股份有限公司关于福建傲农生物科技集团股份有限公司2021年上半年经营业绩相关事项之专项现场检查报告
福建傲农生物科技集团股份有限公司2021年半年度报告', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '603363', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/603363_20210831_8_jTldi1ek.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603363_20210831_10_qOxH6x8d.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603363_20210831_9_wmCt0rCJ.pdf', 'SECURITY_NAME': '傲农生物'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '30', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '营口金辰机械股份有限公司2021年半年度报告摘要
营口金辰机械股份有限公司2021年半年度报告
营口金辰机械股份有限公司关于公司募集资金存放与实际使用情况的专项报告', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '603396', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/603396_20210831_7_8jjH33hN.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603396_20210831_8_nrQ0785a.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603396_20210831_9_am7X8P3k.pdf', 'SECURITY_NAME': '金辰股份'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '31', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '绝味食品2021年半年度报告摘要
绝味食品2021年半年度报告全文
绝味食品2021年半年度经营数据', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '603517', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/603517_20210831_4_3QErISlG.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603517_20210831_5_qxe1E8p6.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603517_20210831_6_wbODkibu.pdf', 'SECURITY_NAME': '绝味食品'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '32', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '艾迪精密 2021年半年度报告摘要
艾迪精密 2021年半年度报告
艾迪精密 2021年上半年度度募集资金存放与使用情况报告', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '603638', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/603638_20210831_3_hhpbVUA7.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603638_20210831_4_HEMC3hSW.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603638_20210831_5_gtfpFugU.pdf', 'SECURITY_NAME': '艾迪精密'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '33', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '2021年半年度报告摘要
2021年半年度报告
2021年半年度募集资金存放与实际使用情况的专项报告', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '603690', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/603690_20210831_5_1jkZo7kK.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603690_20210831_6_6CS2OV2y.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603690_20210831_7_uTckDuSp.pdf', 'SECURITY_NAME': '至纯科技'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '34', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '泰晶科技股份有限公司2021年半年度报告摘要
泰晶科技股份有限公司2021年半年度报告
泰晶科技股份有限公司独立董事关于第四届董事会第三次会议相关事项的独立意见', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '603738', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/603738_20210831_9_Lqpz5WB7.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603738_20210831_10_lgmFSauU.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/603738_20210831_11_k6fmwPIa.pdf', 'SECURITY_NAME': '泰晶科技'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '35', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '2021年半年度报告摘要
2021年半年度报告
民生证券股份有限公司关于圣诺生物科技股份有限公司2021年半年度持续督导跟踪报告', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '688117', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/688117_20210831_1_xQDVcAUr.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/688117_20210831_2_a8b3v42D.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/688117_20210831_3_JSwT8ykQ.pdf', 'SECURITY_NAME': '圣诺生物'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '36', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '燕麦科技2021年半年度报告摘要
燕麦科技2021年半年度报告
关于2021年半年度募集资金存放与使用情况的专项报告', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '688312', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/688312_20210831_1_Y0JBqTSe.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/688312_20210831_2_LQXyZ2CK.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/688312_20210831_3_yYigmnxd.pdf', 'SECURITY_NAME': '燕麦科技'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '37', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '亿华通 2021年半年度报告摘要
亿华通 2021年半年度报告全文
国泰君安证券股份有限公司关于北京亿华通科技股份有限公司2021 年半年度持续督导跟踪报告', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '688339', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/688339_20210831_4_BuAYrmqN.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/688339_20210831_5_kGhXOWSE.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/688339_20210831_6_ypI1Mq68.pdf', 'SECURITY_NAME': '亿华通'}, {'SSEDATE': '2021-08-31
2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报
其它', 'NUM': '38', 'ORG_FILE_TYPE': '0
1
1', 'TITLE': '海目星:2021年半年度报告摘要
2021年半年度报告(全文)
独立董事关于第二届董事会第八次会议相关事项的独立意见', 'BULLETIN_YEAR': '2021
2021
2021', 'SECURITY_CODE': '688559', 'ORG_BULLETIN_TYPE': '半年报
半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/688559_20210831_6_2dJceQA5.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/688559_20210831_7_vMYeSgFT.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/688559_20210831_8_ffWxMD07.pdf', 'SECURITY_NAME': '海目星'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '39', 'ORG_FILE_TYPE': '0
1', 'TITLE': ' 广州白云国际机场股份有限公司2021年半年度报告摘要
广州白云国际机场股份有限公司2021年半年度报告', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600004', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600004_20210831_1_QTeujht2.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600004_20210831_2_TOyeE5gc.pdf', 'SECURITY_NAME': '白云机场'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '40', 'ORG_FILE_TYPE': '0
1', 'TITLE': '中国国贸2021年半年度报告摘要
中国国贸2021年半年度报告全文', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600007', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600007_20210831_2_j4tnJY9k.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600007_20210831_3_EasxD8Ev.pdf', 'SECURITY_NAME': '中国国贸'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '41', 'ORG_FILE_TYPE': '0
1', 'TITLE': '华夏银行2021年半年度报告摘要
华夏银行2021年半年度报告', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600015', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600015_20210831_1_VFNisODb.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600015_20210831_2_M3aBFuFj.pdf', 'SECURITY_NAME': '华夏银行'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '42', 'ORG_FILE_TYPE': '0
1', 'TITLE': '中远海能2021年半年度报告摘要
中远海能2021年半年度报告 ', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600026', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600026_20210831_1_9lpPqlw2.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600026_20210831_2_pbF3EpZZ.pdf', 'SECURITY_NAME': '中远海能'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '43', 'ORG_FILE_TYPE': '0
1', 'TITLE': '福建高速2021年半年度报告摘要
福建高速2021年半年度报告', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600033', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600033_20210831_1_xTaMBUgI.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600033_20210831_2_eKqPLOAa.pdf', 'SECURITY_NAME': '福建高速'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '44', 'ORG_FILE_TYPE': '0
1', 'TITLE': '湖北楚天智能交通股份有限公司2021年半年度报告摘要
湖北楚天智能交通股份有限公司2021年半年度报告', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600035', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600035_20210831_1_c2VsfDCI.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600035_20210831_2_2u1N2zW7.pdf', 'SECURITY_NAME': '楚天高速'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '45', 'ORG_FILE_TYPE': '0
1', 'TITLE': '浙江广厦股份有限公司2021年半年度报告摘要
浙江广厦股份有限公司2021年半年度报告', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600052', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600052_20210831_5_cG6ztJeD.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600052_20210831_6_yKod9Php.pdf', 'SECURITY_NAME': '浙江广厦'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '46', 'ORG_FILE_TYPE': '0
1', 'TITLE': '五矿发展股份有限公司2021年半年度报告摘要
五矿发展股份有限公司2021年半年度报告', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600058', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600058_20210831_5_xGM0YttN.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600058_20210831_6_AQ3QJP01.pdf', 'SECURITY_NAME': '五矿发展'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '47', 'ORG_FILE_TYPE': '0
1', 'TITLE': '海信视像2021年半年度报告摘要
海信视像2021年半年度报告', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600060', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600060_20210831_1_s6i4NHcj.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600060_20210831_2_LgSibAfA.pdf', 'SECURITY_NAME': '海信视像'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '48', 'ORG_FILE_TYPE': '0
1', 'TITLE': ' 宋都基业投资股份有限公司2021年半年度报告摘要
宋都基业投资股份有限公司2021年半年度报告', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600077', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600077_20210831_8_FktN2zQM.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600077_20210831_9_U8dFxOP1.pdf', 'SECURITY_NAME': '宋都股份'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '49', 'ORG_FILE_TYPE': '0
1', 'TITLE': '江苏澄星磷化工股份有限公司2021年半年度报告摘要
江苏澄星磷化工股份有限公司2021年半年度报告', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600078', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600078_20210831_5_fdy4tfid.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600078_20210831_6_bi7mUtXO.pdf', 'SECURITY_NAME': '*ST澄星'}, {'SSEDATE': '2021-08-31
2021-08-31', 'OLD_BULLETIN_TYPE': '半年报摘要
半年报', 'NUM': '50', 'ORG_FILE_TYPE': '0
1', 'TITLE': '东风电子科技股份有限公司2021年半年度报告摘要
东风电子科技股份有限公司2021年半年度报告', 'BULLETIN_YEAR': '2021
2021', 'SECURITY_CODE': '600081', 'ORG_BULLETIN_TYPE': '半年报
半年报', 'URL': '/disclosure/listedinfo/announcement/c/new/2021-08-31/600081_20210831_3_glO53EAF.pdf
/disclosure/listedinfo/announcement/c/new/2021-08-31/600081_20210831_4_QEus44S1.pdf', 'SECURITY_NAME': '东风科技'}], 'securityCode': '', 'sqlId': 'COMMON_PL_SSGSXX_ZXGG_L', 'texts': None, 'type': 'inParams', 'validateCode': ''}


for every_report in format_data['result']: source_pdf_url = 'http://static.sse.com.cn' + every_report['URL'] pdf_url = source_pdf_url.split('
'
)[0]
# print(pdf_url) file_name = every_report['TITLE'].split('
'
)[0] + '.pdf'
# print(file_name) pdf_file = requests.get(pdf_url, stream=True) with open(file_name, 'wb') as f: # f.write(pdf_file.content) for chunk in pdf_file.iter_content(1024): f.write(chunk) print('上市公司报告:%s' % file_name + "已经完成下载")

if __name__ == '__main__':    get_and_download_pdf_file(


、效果展示

    点击运行。输入爬取的页数,之后就可以得到结果了,如下图所示。

    这样每天你只需要跑一下这个程序,就可以获取你想要的最新定期报告了,是不是很方便呢?


五、总 结

    大家好,我是皮皮。本文基于Python网络爬虫,利用爬虫库,实现上海证券交易所的定期报告的抓取。实现的时候,总会有各种各样的问题,切勿眼高手低,勤动手,才可以理解的更加深刻。
    最后不建议大家抓取太多数据,容易对服务器造成负载,浅尝辄止即可。

------------------- End -------------------

往期精彩文章推荐:

欢迎大家点赞,留言,转发,转载,感谢大家的相伴与支持

想加入Python学习群请在后台回复【入群

万水千山总是情,点个【在看】行不行

浏览 56
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报