新工具上线!只需2步助你轻松学爬虫!

共 1916字,需浏览 4分钟

 ·

2021-03-14 12:17











作者简介:张老师,学习计算机十余年,在信息安全、生物信息学、会计、平面设计、编辑出版等多个领域也均有涉猎,热爱钻研、热爱考证、热爱生活。








你还在为Python爬虫入门发愁么?


你还在构建requests请求发愁么?


它来了!它就是curl2pyreqs库。









curl2pyreqs是一款基于 Python 实现的 curl 转换工具,可以直接将 curl 请求转换为使用 python-requests 的 Python 脚本。

Github:https://github.com/knightz1224/curl2pyreqs/









只需2步自动生成requests文件:


1. 复制


2. 运行




接下来让我们体验一下~







一、系统要求


版本:Python 3.8+


依赖:pyperclip >= 1.8.0


Linux下需安装X剪贴板组件,如xclip或xsel。




二、安装方法(推荐使用清华源安装)


Windows 下,在命令行输入:



> pip install curl2pyreqs




Mac OS 或 Linux 下,在终端输入:



$ pip3 install curl2pyreqs




三、使用方法


1. 复制


在Chrome或Firefox浏览器中,按F12,打开开发者模式,复制curl请求;









2. 运行


运行curl2pyreqs,即可生成对应的requests代码,并且直接复制到了剪贴板中。





最后,粘贴到Python文件中即可修改代码。





四、Termux补丁





Termux 是一款支持 Linux 环境的 Android 终端模拟器APP。你无需对手机进行root或额外设置即可使用。Termux的环境配置请参见相关教程:手把手教你在手机或平板上配置Python环境!》






由于pyperclip暂时不支持Termux的复制粘贴,所以张老师为大家做了一个补丁,这个补丁为pyperclip添加了Termux支持。具体安装方法如下:

安装Termux:API,下载地址:



https://f-droid.org/repo/com.termux.api_47.apk


安装termux-api依赖包



pkg install termux-api


下载补丁并安装:



git clone https://github.com/knightz1224/termux_pyperclip_patch
cd termux_pyperclip_patch
python setup.py




安装完成后,我们就可以使用curl2pyreqs了




五、其他使用方法


如无法调用剪贴板,可以通过将curl请求存入文本文件进行转换:


以UTF-8编码格式存入文本,如example.curl





运行curl2pyreqs -F example.curl,即可生成对应的example.py文件。





最后,查看example.py文件,里面已经是完整的代码了。





六、结语


其他使用方法请参见项目Github:





https://github.com/knightz1224/curl2pyreqs/











技术群邀请函










△扫码添加小助手姐姐


备注:姓名/昵称-职业-研究方向


学生可加入「小詹学Python@学生专属」社群







浏览 32
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报