Scrapy爬取网易严选制作可视化大屏!
Python绿色通道
共 4312字,需浏览 9分钟
· 2021-12-11
↑ 关注 + 星标 ,每天学Python新技能
后台回复【大礼包】送你Python自学大礼包
需求分析
网页分析
发送请求
# 名称
name = scrapy.Field()
# 等级
level = scrapy.Field()
# 评分
star = scrapy.Field()
# 时间
rls_time = scrapy.Field()
# 颜色
color = scrapy.Field()
# 内存
storage = scrapy.Field()
# 评论
content = scrapy.Field()
ic(response.json())
浏览器成功响应给我们信息,这样看起来结构一目了然。
phone_list = phone_info['data']['commentList']
# 打印所需信息
for phone in phone_list:
# 名称
item['name'] = phone['frontUserName']
# 等级
item['level'] = phone['memberLevel']
# 评分
item['star'] = phone['star']
# 时间
rls_time = phone['createTime']
item['rls_time'] = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(rls_time/1000)).split(' ')[0]
# 颜色
item['color'] = phone['skuInfo'][0].split(':')[1]
# 内存
item['storage'] = phone['skuInfo'][1].split(':')[1]
# 评论
item['content'] = phone['content']
yield item
数据保存
class ExcelPipeline:
op.Workbook()
self.wb.active
ws.append(['用户名称', '会员等级', '手机评分', '评论时间', '手机颜色', '手机内存', '评论'])
self.wb.save('../网易.xlsx')
print('网易数据成功保存!')
数据清洗
我们在此使用pandas对数据进行读取然后去重复和去除空值处理。
随机抽取五条数据展示如下:
pd.set_option('display.max_columns', None) # 显示完整的列
pd.set_option('display.max_rows', None) # 显示完整的行
pd.set_option('display.expand_frame_repr', False) # 设置不折叠数据
# 读取数据
rcv_data = pd.read_excel('../网易.xlsx')
# 删除重复记录和缺失值
rcv_data = rcv_data.drop_duplicates()
rcv_data = rcv_data.dropna()
# 抽样展示
print(rcv_data.sample(5))
'''
用户名称 会员等级 手机评分 评论时间 手机颜色 手机内存 评论
7 赵****豪 5 5 2021-03-05 黑色 128G 没买2天又便宜了
42 用****4 5 5 2021-06-23 返红包黑色 128G 手机非常好用,老婆很喜欢
268 独****息 6 5 2021-06-04 返红包绿色 256G 发货很快,第二天就到了
144 1****5 5 5 2021-02-27 黑色 128G 没啥可说的 好
97 用****4 5 5 2021-06-05 返红包白色 128G 发货快,物流也给力,包装保护的好,正品没问题
'''
词云可视化
词云图展示如下:看来Iphone12依旧还是很香的,虽然13出来了
但是依旧值得入手!
词频可视化
# 词频设置
all_words = [word for word in result.split(' ') if len(word) > 1 and word not in stop_words]
wordcount = Counter(all_words).most_common(10)
'''
('非常', '不错', '手机', '好好', '很快', '发货', '喜欢', '正品', '物流', '速度')
(65, 48, 45, 36, 32, 32, 31, 30, 29, 29)
'''
评分可视化
我们使用pandas提取手机评分数据以及频率,数据可视化展示如下:
从图中可以非常直观的看出苹果12的受欢迎程度。
# 划分价格区间
rcv_data['手机评分'] = pd.cut(rcv_data['手机评分'], [0, 1, 2, 5], labels=['差评', '中评', '好评'])
# 统计数量
stars = rcv_data['手机评分'].value_counts()
stars1 = stars.index.tolist() # 人气值分类
stars2 = stars.tolist() # 人气值分类对应数量
'''
['好评', '差评', '中评']
[308, 9, 2]
'''
购机时间可视化
# 提取时间月份
rcv_data['评论时间'] = rcv_data['评论时间'].map(lambda x: x.split('-')[1])
rcv_data['评论时间'] = pd.cut(rcv_data['评论时间'], ['00', '01', '02', '03', '04', '05', '06', '07', '08', '09'], labels=['一月', '二月', '三月', '四月', '五月', '六月', '七月', '八月', '九月'])
# 统计数量
dates = rcv_data['评论时间'].value_counts()
dates1 = dates.index.tolist() # 月份分类
dates2 = dates.tolist() # 月份分类对应数量
'''
['六月', '三月', '四月', '九月', '二月', '七月', '一月', '五月', '八月']
[95, 66, 34, 33, 22, 20, 18, 16, 15]
'''
从图中可以很直观的看到大家的下单日期大多集中在六月份
年终奖6月发吗
内存大小可视化
接下来我们对手机内存进行可视化分析,看看大家喜欢的内存是多大?
storage = rcv_data['手机内存'].value_counts()
storage1 = storage.index.tolist() # 内存种类
storage2 = storage.tolist() # 内存种类对应数量
'''
['128G', '256G', '64G']
[221, 81, 18]
'''
64太小,256浪费
128G才是真爱啊!
手机颜色可视化
# 颜色分布
rcv_datas = rcv_data[rcv_data['手机颜色'].str.len()==2]
colors = rcv_datas['手机颜色'].value_counts()
colors1 = colors.index.tolist() # 内存种类
colors2 = colors.tolist() # 内存种类对应数量
'''
['白色', '黑色', '红色', '绿色', '蓝色', '紫色']
[73, 56, 31, 30, 23, 15]
'''
推荐阅读
评论
CVPR 2024|大视觉模型的开山之作!无需任何语言数据即可打造大视觉模型
↑ 点击蓝字 关注极市平台作者丨科技猛兽编辑丨极市平台极市导读 本文提出一种序列建模 (sequential modeling) 的方法,不使用任何语言数据,训练大视觉模型。>>加入极市CV技术交流群,走在计算机视觉的最前沿本文目录1 序列建模打造大视觉模型(来自 U
极市平台
1
堪称最优秀的Docker可视化管理工具——Portainer你真的会用吗?
来源:blog.csdn.net/shark_chili3007/article/details/123366179👉 欢迎加入小哈的星球 ,你将获得: 专属的项目实战 / Java 学习路线 / 一对一提问 / 学习打卡 / 赠书福利全栈前后端分离博客项目
小哈学Java
0
人工智能周刊#18:微软发布手机端大模型、Llama 3 中文模型列表、苹果开源新项目、
主打尊重隐私的搜索引擎 duckduckgo,也推出了 ai chat 服务,可以使用 chatgpt 或者 claude机器学习周刊:关注 Python、机器学习、深度学习、大模型等硬核技术本期目录:1、Qwen1.5-110B:Qwen1.5 系列的首个千亿参数开源模型2、苹果开源
机器学习算法与Python实战
0
5000w+ 的大表如何拆?亿级别大表拆分实战复盘
前言笔者是在两年前接手公司的财务系统的开发和维护工作。在系统移交的初期,笔者和团队就发现,系统内有一张5000W+的大表。跟踪代码发现,该表是用于存储资金流水的表格,关联着众多功能点,同时也有众多的下游系统在使用这张表的数据。进一步的观察发现,这张表还在以每月600W+的数据持续增长,也就是说,不超
码农编程进阶笔记
0
中国人民大学《大语言模型》书籍中文版开放下载!还配套代码工具库~
大语言模型综述文章《A Survey of Large Language Models》团队终于出书啦!而且是中文版——《大语言模型》!这本书整理呈现了大模型技术框架和路线图,是一本非常好的入门书籍。🧿🧿🧿
此外,官方不仅发布了电子版 PDF 下载链接,还提供了配套资源。点赞 👍图书下载 → [大
机器学习算法与Python实战
0
JavaScript 可视化:Promise执行彻底搞懂
深入探讨了 JavaScript 中 Promise 的内部机制,解释了它们如何使异步任务以非阻塞方式执行,并展示了 Promise 的创建、状态变化以及与事件循环的关系。正文从这开始~~JavaScript 中的 Promise 一开始可能会让人感到有些难以理解,但是如果我们能够理解其内部的工作原
高级前端进阶
0
Datawhale来“瓜大”(西工大🫡)啦!
Datawhale线下 主办方:Datawhale团队西北工业大学(Northwestern Polytechnical University)简称“西工大”,位于陕西省会西安市,直属中华人民共和国工业和信息化部,是中国唯一一所以同时发展航空、航天、航海(三航)工程教育和科学研
Datawhale
1
让扩散模型听话的小秘籍?CAN:通过操控权重来控制条件生成模型,图像生成效率大升级!
↑ 点击蓝字 关注极市平台作者丨科技猛兽编辑丨极市平台极市导读 本文提出的 CAN 模型 (Condition-Aware Neural Network) 是一种对图像生成模型添加控制的方法。CAN 可以通过动态操纵神经网络的权重来控制图像生成过程。作者在 ImageNet 图像
极市平台
0