手把手教你抓取链家二手房首页的全部数据
回复“资源”即可获赠Python学习资料
一、前言
前几天在Python白银交流群大家在交流链家网二手房数据的抓取方法，如下图所示。
这里想要上图中红色圈圈里边的信息。
二、实现过程
这里群友【🇳 🇴 🇳 🇪】大佬给了一份代码，分享给大家。
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# Created by iFantastic on 2022/6/7
import scrapy
from scrapy.cmdline import execute
class LJ_spiders(scrapy.Spider):
name = 'lj'
start_urls = [f'https://cs.lianjia.com/ershoufang/pg{page}/' for page in range(1, 101)]
def parse(self, response, **kwargs):
for info in response.xpath("//div[@class='info clear']"):
yield {
'title': info.xpath('./div[@class="title"]/a/text()').get(),
'positionInfo': info.xpath('./div[@class="flood"]//text()').extract(),
'houseInfo': info.xpath('./div[@class="address"]/div/text()').get(),
'followInfo': info.xpath('./div[@class="followInfo"]//text()').get(),
'tag': info.xpath('./div[@class="tag"]//text()').extract(),
'totalPrice': info.xpath('//div[@class="priceInfo"]/div[1]/span/text()').get() + '万',
'unitPrice': info.xpath('//div[@class="priceInfo"]/div[2]/span/text()').get()
}
if __name__ == '__main__':
execute('scrapy crawl lj -o 长沙二手房.csv'.split())
这里他是使用Scrapy框架抓取的，上面的代码是爬虫文件中的所有代码，速度非常快，可以轻而易举的把数据获取到。
运行之后，结果图下图所示：
后面遇到类似的，不妨拿出来实战下，事半功倍！
三、总结
大家好，我是皮皮。这篇文章主要分享了链家网二手房首页数据抓取，文中针对该问题给出了具体的解析和代码实现，帮助粉丝顺利解决了问题。需要本文完整代码的小伙伴，可以私我获取。
最后感谢粉丝【dcpeng】提问，感谢【🇳 🇴 🇳 🇪】给出的思路和代码解析，感谢【dcpeng】、【猫药师Kelly】、【冫马讠成】、【月神】等人参与学习交流。
小伙伴们，快快用实践一下吧！如果在学习过程中，有遇到任何问题，欢迎加我好友，我拉你进Python学习交流群共同探讨学习。
------------------- End -------------------
往期精彩文章推荐：
欢迎大家点赞，留言，转发，转载，感谢大家的相伴与支持
想加入Python学习群请在后台回复【入群】
万水千山总是情，点个【在看】行不行
评论