有读者问我怎么爬App,我手把手教了他(多图警告)

Python绿色通道

共 1520字,需浏览 4分钟

 ·

2021-01-25 16:41

↑ 关注 + 星标 ,每天学Python新技能

后台回复【大礼包】送你Python自学大礼包

作者 | kuls
来源 | Python进击者

前言

大家好,我是Kuls。

最近看见很多读者在说怎么抓取APP上的内容

为此,我打算写一些关于爬取APP方面的文章,当然APP的爬取自然是要比网页要麻烦。

但是只要我们把前期的工作做好,后面也会更加的顺利。

今天这篇文章就是来教大家如何抓取到APP数据,用什么软件,怎么配置?

Charles

首先,我们来看看百度百科是怎么介绍这款软件的

是一个HTTP代理服务器,HTTP监视器,反转代理服务器,当浏览器连接Charles的代理访问互联网时,Charles可以监控浏览器发送和接收的所有数据。它允许一个开发者查看所有连接互联网的HTTP通信,这些包括request, response和HTTP headers (包含cookies与caching信息)。

其实简单理解就是一个抓包软件,这个大家可能少见,但是fiddler和wireshack大家应该是有所耳闻。其实功能差不多类似。

为什么推荐这款呢?

其实不管是app抓包还是pc端的抓包也有其他的一些软件,但是charles它既有win版、macos版也有linux版

所以它兼容的平台是很多的。

废话不多说了,我们直接开整(此处使用macos系统演示,其他系统类似)。

准备工作:一台电脑、一部手机、一个wifi

第一步当然是把软件下载好,这里不多说,尽量去搜pj版,因为charles是需要付费,但是也会有30天的试用期。

下面我们打开软件charles,找到菜单栏Proxy->Proxy Settings


这里我们设置成8888端口,默认就是8888的不需要再次设置了。



之后,我们再进入Proxy->SSL Proxying Settings



添加一个地址为 * ,端口为443



安装证书


安装完成之后,我们可以看到如下证书


这说明我们的证书安装完成。

接下来,我们还要继续安装一个证书。


点击之后,它会弹出如下弹窗

大体的意思就是让我们去把手机的wifi中代理改了。

这里其实很简单,我们进入手机的设置,然后点击wifi后面的感叹号就能进行设置(手机有差异,自行琢磨)

进入手动配置代理,这里的服务器填写你电脑的ip(macos使用ifconfig,windows使用ipconfig可以查看),在前面的提示窗口中,我们也能够看到ip地址。

端口号填写我们之前设置的8888

点击存储,然后我们使用浏览器去访问chls.pro/ssl

如果此时访问没反应,可以看下电脑,会有一个弹窗,点击Allow即可。

这里我们点击允许

然后回到设置,我们就可以看到安装描述文件的提示了

我们这里点击安装就可以了。

最后,我们来简单测试一下,我们打开小红书app,然后可以观察到charles已经开始抓取了。

这就说明了,我们成功进行配置了。

总结

这是我们想要进行app或者小程序抓取的第一步,如果这一步没做好,后面的工作根本无法进行。

这里要说明下,每一台手机都有可能不一样,但是总体来说不会有太大差别。

见面礼


码加我微信备注「三剑客」送你上图三本Python入门电子书 


推荐阅读


  1. 费解!为什么那么多人用“ji32k7au4a83”作密码?

  2. 火了!开源的Python抢票神器,过年回家就看这一波了!

  3. 为什么 Django 框架比Flask框架更流行?


点分享
点收藏
点点赞
点在看
浏览 9
点赞
评论
收藏
分享

手机扫一扫分享

举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

举报