有读者问我怎么爬App,我手把手教了他(多图警告)

Python绿色通道

共 1520字,需浏览 4分钟

 ·

2021-01-25 16:41

↑ 关注 + 星标 ,每天学Python新技能

后台回复【大礼包】送你Python自学大礼包

作者 | kuls
来源 | Python进击者

前言

大家好,我是Kuls。

最近看见很多读者在说怎么抓取APP上的内容

为此,我打算写一些关于爬取APP方面的文章,当然APP的爬取自然是要比网页要麻烦。

但是只要我们把前期的工作做好,后面也会更加的顺利。

今天这篇文章就是来教大家如何抓取到APP数据,用什么软件,怎么配置?

Charles

首先,我们来看看百度百科是怎么介绍这款软件的

是一个HTTP代理服务器,HTTP监视器,反转代理服务器,当浏览器连接Charles的代理访问互联网时,Charles可以监控浏览器发送和接收的所有数据。它允许一个开发者查看所有连接互联网的HTTP通信,这些包括request, response和HTTP headers (包含cookies与caching信息)。

其实简单理解就是一个抓包软件,这个大家可能少见,但是fiddler和wireshack大家应该是有所耳闻。其实功能差不多类似。

为什么推荐这款呢?

其实不管是app抓包还是pc端的抓包也有其他的一些软件,但是charles它既有win版、macos版也有linux版

所以它兼容的平台是很多的。

废话不多说了,我们直接开整(此处使用macos系统演示,其他系统类似)。

准备工作:一台电脑、一部手机、一个wifi

第一步当然是把软件下载好,这里不多说,尽量去搜pj版,因为charles是需要付费,但是也会有30天的试用期。

下面我们打开软件charles,找到菜单栏Proxy->Proxy Settings


这里我们设置成8888端口,默认就是8888的不需要再次设置了。



之后,我们再进入Proxy->SSL Proxying Settings



添加一个地址为 * ,端口为443



安装证书


安装完成之后,我们可以看到如下证书


这说明我们的证书安装完成。

接下来,我们还要继续安装一个证书。


点击之后,它会弹出如下弹窗

大体的意思就是让我们去把手机的wifi中代理改了。

这里其实很简单,我们进入手机的设置,然后点击wifi后面的感叹号就能进行设置(手机有差异,自行琢磨)

进入手动配置代理,这里的服务器填写你电脑的ip(macos使用ifconfig,windows使用ipconfig可以查看),在前面的提示窗口中,我们也能够看到ip地址。

端口号填写我们之前设置的8888

点击存储,然后我们使用浏览器去访问chls.pro/ssl

如果此时访问没反应,可以看下电脑,会有一个弹窗,点击Allow即可。

这里我们点击允许

然后回到设置,我们就可以看到安装描述文件的提示了

我们这里点击安装就可以了。

最后,我们来简单测试一下,我们打开小红书app,然后可以观察到charles已经开始抓取了。

这就说明了,我们成功进行配置了。

总结

这是我们想要进行app或者小程序抓取的第一步,如果这一步没做好,后面的工作根本无法进行。

这里要说明下,每一台手机都有可能不一样,但是总体来说不会有太大差别。

见面礼


码加我微信备注「三剑客」送你上图三本Python入门电子书 


推荐阅读


  1. 费解!为什么那么多人用“ji32k7au4a83”作密码?

  2. 火了!开源的Python抢票神器,过年回家就看这一波了!

  3. 为什么 Django 框架比Flask框架更流行?


点分享
点收藏
点点赞
点在看
浏览 10
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报