python 爬虫爬取京东ps4售卖情况

python教程

共 2279字,需浏览 5分钟

 ·

2020-12-25 04:19

推荐阅读  点击标题可跳转

零基础将Python分成7个阶段学习,你会发现学习Python真的很简单

这篇文章主要介绍了python 如何用爬虫爬取京东ps4售卖情况,帮助大家更好的利用python爬取自己想要的数据,感兴趣的朋友可以了解下

代码

  1. #!/usr/bin/env python

  2. # -*- coding: utf-8 -*-

  3. # @File : HtmlParser.py

  4. # @Author: 赵路仓

  5. # @Date : 2020/3/17

  6. # @Desc :

  7. # @Contact : 398333404@qq.com

  8. import json

  9.  

  10. from lxml import etree

  11. import requests

  12. from bs4 import BeautifulSoup

  13.  

  14.  

  15. url="https://search.jd.com/Search?keyword=ps4&enc=utf-8&wq=ps4&pvid=cf0158c8664442799c1146a461478c9c"

  16. head={

  17. 'authority': 'search.jd.com',

  18. 'method': 'GET',

  19. 'path': '/s_new.php?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E6%89%8B%E6%9C%BA&cid2=653&cid3=655&page=4&s=84&scrolling=y&log_id=1529828108.22071&tpl=3_M&show_items=7651927,7367120,7056868,7419252,6001239,5934182,4554969,3893501,7421462,6577495,26480543553,7345757,4483120,6176077,6932795,7336429,5963066,5283387,25722468892,7425622,4768461',

  20. 'scheme': 'https',

  21. 'referer': 'https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E6%89%8B%E6%9C%BA&cid2=653&cid3=655&page=3&s=58&click=0',

  22. 'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36',

  23. 'x-requested-with': 'XMLHttpRequest',

  24. }

  25.  

  26. def page(page):

  27. print("开始")

  28. url = "https://search.jd.com/Search?keyword=ps4&enc=utf-8&qrst=1&rt=1&stop=1&vt=1&wq=ps4&page="+page+"&s=181&click=0"

  29. r=requests.get(url,timeout=3,headers=head)

  30. r.encoding=r.apparent_encoding

  31. # print(r.text)

  32. b=BeautifulSoup(r.text,"html.parser")

  33. #print(b.prettify())

  34. _element = etree.HTML(r.text)

  35. datas = _element.xpath('//li[contains(@class,"gl-item")]')

  36. print(datas)

  37. for data in datas:

  38. p_price = data.xpath('div/div[@class="p-price"]/strong/i/text()')

  39. p_comment = data.xpath('div/div[5]/strong/a/text()')

  40. p_name = data.xpath('div/div[@class="p-name p-name-type-2"]/a/em/text()')

  41. p_href = data.xpath('div/div[@class="p-name p-name-type-2"]/a/@href')

  42. comment=' '.join(p_comment)

  43. name = ' '.join(p_name)

  44. price = ' '.join(p_price)

  45. href = ' '.join(p_href)

  46. print(name,price,p_comment,href)

  47.  

  48. if __name__=="__main__":

  49. page("5")

爬取结果

以上就是python 爬虫爬取某东ps4售卖情况的详细内容

欢迎大家点赞,留言,转发,转载,感谢大家的相伴与支持

万水千山总是情,点个【在看】行不行

*声明:本文于网络整理,版权归原作者所有,如来源信息有误或侵犯权益,请联系我们删除或授权事宜

浏览 56
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报