手把手教你抓取链家二手房首页的全部数据

回复“资源”即可获赠Python学习资料

一、前言

前几天在Python白银交流群大家在交流链家网二手房数据的抓取方法，如下图所示。

这里想要上图中红色圈圈里边的信息。

二、实现过程

这里群友【🇳 🇴 🇳 🇪】大佬给了一份代码，分享给大家。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# Created by iFantastic on 2022/6/7

import scrapy
from scrapy.cmdline import execute



class LJ_spiders(scrapy.Spider):
    name = 'lj'
    start_urls = [f'https://cs.lianjia.com/ershoufang/pg{page}/' for page in range(1, 101)]

    def parse(self, response, **kwargs):
        for info in response.xpath("//div[@class='info clear']"):
            yield {
                'title': info.xpath('./div[@class="title"]/a/text()').get(),
                'positionInfo': info.xpath('./div[@class="flood"]//text()').extract(),
                'houseInfo': info.xpath('./div[@class="address"]/div/text()').get(),
                'followInfo': info.xpath('./div[@class="followInfo"]//text()').get(),
                'tag': info.xpath('./div[@class="tag"]//text()').extract(),
                'totalPrice': info.xpath('//div[@class="priceInfo"]/div[1]/span/text()').get() + '万',
                'unitPrice': info.xpath('//div[@class="priceInfo"]/div[2]/span/text()').get()
            }


if __name__ == '__main__':
    execute('scrapy crawl lj -o 长沙二手房.csv'.split())

这里他是使用Scrapy框架抓取的，上面的代码是爬虫文件中的所有代码，速度非常快，可以轻而易举的把数据获取到。

运行之后，结果图下图所示：

后面遇到类似的，不妨拿出来实战下，事半功倍！

三、总结

大家好，我是皮皮。这篇文章主要分享了链家网二手房首页数据抓取，文中针对该问题给出了具体的解析和代码实现，帮助粉丝顺利解决了问题。需要本文完整代码的小伙伴，可以私我获取。

最后感谢粉丝【dcpeng】提问，感谢【🇳 🇴 🇳 🇪】给出的思路和代码解析，感谢【dcpeng】、【猫药师Kelly】、【冫马讠成】、【月神】等人参与学习交流。

小伙伴们，快快用实践一下吧！如果在学习过程中，有遇到任何问题，欢迎加我好友，我拉你进Python学习交流群共同探讨学习。