一切从爆炸函数开始!

共 960字,需浏览 2分钟

 ·

2021-07-15 01:08

今日表情😋 :

前段时间部门有位大数据开发的同事离职了,在他和其他开发的同事进行工作项目交接的时候,我去旁听了下,因为涉及到一些公司业务逻辑的问题。当讲到某个项目的时候,他谈到:

这个业务逻辑是…….,我用Hive中的爆炸函数实现了这个功能。

当时他举了一个简单的例子来说明爆炸函数的功能,我当场就记下了这个函数名称:爆炸函数。Hive在我的工作中使用的并不多,于是我在想:Pandas能够实现这个功能吗

img

爆炸函数功能

爆炸函数到底实现的是什么需求呢?我回忆一下当时的例子:

现在有一份数据,包含订单编号和订单中商品价格(每个订单3个商品),使用hive中的爆炸函数之后变成如下图所示的样子:相当于是实现了列转成行的功能。这样后续就能进行各种聚合操作。

Hive中实现爆炸功能有两个函数,可自行搜索了解:

  • explode(col)
  • lateral view:侧写函数

pandas实现

具体需求

碰巧最近有一个需求就用到爆炸函数的功能,不过是用pandas实现的。在下面表格的左边部分是每个订单的销售记录,包含销售员、跟单员、结单员,他们三者不一定是同一个人

现在需要统计每个员工的销售业绩。销售业绩也就是指员工参与了多少订单。统计每个员工的销售业绩:

  • 有作为销售员、跟单员、结单员的任意一种,即可说明参与了该订单的销售;
  • 同一个订单中,一个员工参与多次只记为一次

爆炸函数到底实现的是什么功能呢?右边就是我们想要的结果:

  • 张三:参加了订单号1-销售员,订单号2-跟单员、结单员,数量2
  • 李四:参加了订单号1-跟单员、结单员,订单2-销售员,订单号3-跟单员,数量3
  • 王五:参加了订单号3-销售员、结单员,数量1

解决过程

1、在pandas模拟了一份数据如下:

2、生成一个新字段:员工

3、实施爆炸功能,使用的是pandas中的explode函数,得到新数据:可以看到每个订单号会多次出现

4、统计结果

这样根据不同的字段,比如员工、销售员、跟单员等就能统计不同的业绩


结语:拥抱pandas,告别excel。😋

浏览 35
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报