Pandas用了一年，这3个函数是我最爱…-技术圈

Pandas用了一年，这3个函数是我最爱…

大邓和他的Python

共 2071字，需浏览 5分钟

· 2020-12-17

腾讯课堂 | Python网络爬虫与文本分析(戳一戳)~~

作为一名数据分析师，也是Pandas重度依赖者，虽然其提供了大量便利的接口，但其中的这3个却使用频率更高！

本文主要介绍pandas.DataFrame的三个接口，即assign、eval、query，分别用于赋值、查询和执行计算。

注：本文短平快，5分钟可完成阅读了解3个高效的接口。

01 assign

在数据分析处理中，赋值产生新的列是非常高频的应用场景，简单的可能是赋值常数列、复杂的可能是由一列产生另外一个一列，对于这种需求pandas有多种方法实现，但个人唯独喜欢assign，用起来优雅高效。

例如，对于以上简单的DataFrame数据框，需要创建一个新的列C，一般来说可能有3种创建需求：常数列、指定序列数据以及由已知列通过一定计算产生。那么应用assign完成这3个需求分别是：

注意事项：

1、assign赋值新列时，一般用新列名=表达式的形式，其中新列名为变量的形式，所以不加引号（加引号时意味着是字符串）；

2、assign返回创建了新列的dataframe，所以需要用新的dataframe对象接收返回值；

3、assign不仅可用于创建新的列，也可用于更新已有列，此时创建的新列会覆盖原有列。

02 eval

实际上，eval是一个Python基础函数，用于执行字符串形式的计算表达式，例如以下简单实例：

那么，eval作为pandas.dataframe数据结构的一个接口，执行功能应该也与执行计算有关。另一方面，pandas中实际上是内置了大量的SQL类语法（包括下面要介绍的query也是），而eval的功能正是执行类似SQL语法中的计算，对已知列执行一定的计算时可用eval完成。例如，仍以前述由A和B列产生C列为例，应用eval的方法为：

了解SQL语法的都知道可用@前缀修饰自定义变量，这一用法在这里的eval中也得以保留，此时可非常方便的引用外部变量。当然，eval中的计算表达式本身属于字符串形式，所以自然也可以用Python的通用字符串引用方法。如下图所示。

注意事项：

1、eval支持接收一个inplace参数控制原地创建新变量或者返回新的dataframe；也支持仅用表达式而不设置新变量名，此时返回数据为series格式，如下图所示；

2、eval表达式中也支持调用函数执行复杂计算。

03 query

这应该是最近使用最为频繁的一个接口了，pandas中虽然也提供了多种数据筛选方式，例如loc中增加表达式、或者直接用df[df[]……]等等，但总觉得用起来不够优雅，尤其是要写两遍df以及[]等等，此时如果灵活运用query函数，那么会便捷不少。尤其是query也是类似于SQL中where关键字的语法逻辑，用起来会很顺滑。

例如对于以上dataframe，需要根据不同场景查询满足条件的记录，调用query的实现方式为：

当然，之所以说query中支持类似SQL的语法，是因为其也有两个SQL中标志性的设计，其一是@引用自定义外部变量，其二是对于特殊的列名（例如包含空格的字符）可以用反引号``加以修饰引用。例如，下述例子中C C列中有个空格，直接用于字符串表达式会存在报错，此时可使用反引号加以修饰，同时查询条件中应用了@修饰符引用外部变量。当然，与eval中类似，这里当然也可以用f字符串修饰引用。

注意事项：

1. query中也支持inplace参数，控制是否将查询过滤条件作用于dataframe本身；

2. 与eval类似，query中也支持引用外部函数。

近期文章

Python网络爬虫与文本数据分析
bsite库 | 采集B站视频信息、评论数据
爬虫实战 | 采集&可视化知乎问题的回答
pdf2docx库 | 转文件格式，支持抽取文件中的表格数据
rpy2库 | 在jupyter中调用R语言代码
tidytext | 耳目一新的R-style文本分析库
reticulate包 | 在Rmarkdown中调用Python代码
plydata库 | 数据操作管道操作符>>
plotnine: Python版的ggplot2作图库
七夕礼物 | 全网最火的钉子绕线图制作教程
读完本文你就了解什么是文本分析
文本分析在经管领域中的应用概述  
综述:文本分析在市场营销研究中的应用
plotnine: Python版的ggplot2作图库
小案例: Pandas的apply方法  
stylecloud:简洁易用的词云库 
用Python绘制近20年地方财政收入变迁史视频  
Wow~70G上市公司定期报告数据集
漂亮~pandas可以无缝衔接Bokeh  
YelpDaset: 酒店管理类数据集10+G

“分享”和“在看”是更好的支持！