pyspider爬取王者荣耀数据(上)

咪哥杂谈

本篇阅读时间约为 8 分钟。

1

前言

不知道还有多少人记得几个月前写的两篇文章，介绍关于 PyQuery 入门使用的教程。忘记的朋友，可以去回顾下用法：

爬虫神器之 PyQuery 实用教程（一）

爬虫神器之PyQuery实用教程（二），50行代码爬取穷游网

在之前的某一期文章下面，我记得有过一次留言，说是要安排一下王者荣耀的数据爬取，并且是使用 PySpider 爬虫框架。

那么，今天就带来一篇关于 pyspider 的入门教程。

题外话：

对于王者荣耀这种电竞类游戏来说，为什么有些人能轻松上王者？而有些人却一直停留在低段位？无非就是没有了解过规则，以及其背后的数据罢了。

一款游戏，对于数据和规则熟知于心，那么，上分是轻轻松松的事儿。

作为一个电竞游戏从初中开始玩的人来说，从 dota1 到 lol，再到后来的 dota2，最后到移动端的王者荣耀，每次都是将数据与规则了解后，才得心应手的去上分。

放上我的王者荣耀段位图，秀一波：

当然，如果有时间的话，欢迎大家来找我一起玩~可以一起排位。下面进入正题。

2

准备工作

3

确定爬取目标

先来看下王者荣耀第三方网站首页：

http://db.18183.com/wzry/

18183王者荣耀

• 每个英雄简介
• 技能介绍描述
• 推荐技能加点
• 英雄出装建议
• 英雄属性数值

4

pyspider入门

1. 安装 pyspider 库

开始介绍入门之前，先来安装下它。

pip install pyspider

4. 自动生成代码

• on_start()：启动后进入的第一个方法，主 url 在此处被请求，响应会传入 callback 后面的 index_page 函数中。

  
  

• index_page()：主 url 返回的响应源码进入到此函数到 response 里，其中 reponse.doc 用到了 PyQuery 语法，用来匹配你想要的信息节点，继续传入到下一个详情页中。

• detail_page()：处理最后的具体逻辑，当然你也可以继续类似上面的回调，主要看你要抓取的信息到底在多少层的页面中。

以下，首页到鲁班大师详情页为例：

def index_page(self, response):    print(response)    for each in response.doc('.hero-result-box>ul>li').items():        print(each('a').attr('href'))        a = each('a')        self.crawl(a.attr.href, callback=self.detail_page)

def detail_page(self, response):    name = response.doc('h1').text()    img = response.doc('.name > img').attr('src')    position = response.doc('.name-box > p').text()    return {        "url": response.url,        "name": name,        "img": img,        "position": position        }

http://js.18183.com/uploads/pc/yxzjol/sjk/loading.gif

图片懒加载是一种网页优化技术。图片作为一种网络资源，在被请求时也与普通静态资源一样，将占用网络资源，而一次性将整个页面的所有图片加载完，将大大增加页面的首屏加载时间。

网络

5

结语

本篇内容高达 2500+ 字，如果看懂了，欢迎分享给身边对爬虫感兴趣的其他人看哟！顺便支持下点个好看呗，给点动力~