再见!Python 循环,向量化已超神

共 5530字,需浏览 12分钟

 ·

2023-01-03 22:47

使用向量化 -- Python中循环的超级快速替代品

我们在几乎所有的编程语言中都学习过循环。所以,默认情况下,只要有重复性的操作,我们就会开始实施循环。但是当我们处理大量的迭代(数百万/数十亿行)时,使用循环真是遭罪啊~,你可能会被卡住几个小时,后来才意识到这是行不通的。这就是在Python中实现向量化变得超级关键的地方。

什么是向量化?

向量化是在数据集上实现(NumPy)数组操作的技术。在后台,它对数组或系列的所有元素一次性进行操作(不像'for'循环那样一次操作一行)。

在这篇博客中,我们将看看一些用例,在这些用例中,我们可以很容易地用向量化代替Python循环。这将帮助你节省时间,并在编码方面变得更加熟练。

使用案例1:
寻找数字的总和

首先,我们来看看一个基本的例子,即在Python中使用循环和向量来寻找数字的总和。

使用循环

import time 
start = time.time()

# 遍历之和
total = 0
# 遍历150万个数字
for item in range(01500000):
    total = total + item

print('sum is:' + str(total))
end = time.time()

print(end - start)

#1124999250000
#0.14 Seconds

使用向量化

import numpy as np

start = time.time()

# 向量化和--使用numpy进行向量化
# np.range创建从0到1499999的数字序列
print(np.sum(np.arange(1500000)))

end = time.time()
print(end - start)

##1124999250000
##0.008 Seconds

与使用范围函数的迭代相比,向量化的执行时间约18倍。在使用Pandas DataFrame时,这种差异将变得更加明显。

使用案例2:
DataFrame数学运算

在数据科学中,当使用Pandas DataFrame时,开发者会使用循环来创建新的数学运算的派生列。

在下面的例子中,我们可以看到,在这样的用例中,循环可以很容易地被向量化所取代。

创建DataFrame

DataFrame是以行和列的形式存在的表格数据。

我们正在创建一个有500万行和4列的pandas DataFrame,其中充满了0到50之间的随机值。

import numpy as np
import pandas as pd
df = pd.DataFrame(np.random.randint(050
                                    size=(50000004)),
                  columns=('a','b','c','d'))
df.shape
# (5000000, 5)
df.head()

我们将创建一个新的列'ratio',以找到列'd''c'的比率。

使用循环

import time 
start = time.time()

# Iterating through DataFrame using iterrows
for idx, row in df.iterrows():
    # creating a new column 
    df.at[idx,'ratio'] = 100 * (row["d"] / row["c"])  
end = time.time()
print(end - start)
### 109 Seconds

使用向量化

start = time.time()
df["ratio"] = 100 * (df["d"] / df["c"])

end = time.time()
print(end - start)
### 0.12 seconds

我们可以看到DataFrame有了明显的改进,与python中的循环相比,向量化几乎快了1000倍

使用案例3:
DataFrame上If-else语句

我们实现了很多需要我们使用 "if-else" 类型逻辑的操作。我们可以很容易地用python中的向量化操作代替这些逻辑。

看一下下面的例子来更好地理解它(我们将使用在用例2中创建的DataFrame)。

想象一下,如何根据退出的列'a'的一些条件来创建一个新的列'e'

使用循环

import time 
start = time.time()

# Iterating through DataFrame using iterrows
for idx, row in df.iterrows():
    if row.a == 0:
        df.at[idx,'e'] = row.d    
    elif (row.a <= 25) & (row.a > 0):
        df.at[idx,'e'] = (row.b)-(row.c)    
    else:
        df.at[idx,'e'] = row.b + row.c

end = time.time()

print(end - start)
### Time taken: 177 seconds

使用向量化

start = time.time()
df['e'] = df['b'] + df['c']
df.loc[df['a'] <= 25'e'] = df['b'] -df['c']
df.loc[df['a']==0'e'] = df['d']end = time.time()
print(end - start)
## 0.28007707595825195 sec

与带有if-else语句的python循环相比,向量化操作要比循环快600倍

使用案例4:
解决机器学习/深度学习网络

深度学习要求我们解决多个复杂的方程,而且是针对数百万和数十亿行的方程。在Python中运行循环来解决这些方程是非常慢的,此时,量化是最佳的解决方案。

例如,要计算以下多线性回归方程中数百万行的y值。

我们可以用量化代替循环。

m1,m2,m3...的值是通过使用对应于x1,x2,x3...的数百万个值来解决上述方程而确定的(为了简单起见,只看一个简单的乘法步骤)

创建数据

>>> import numpy as np
>>> # 设置 m 的初始值 
>>> m = np.random.rand(1,5)
array([[0.499761030.339918270.605960210.785185150.5540753]])
>>> # 500万行的输入值
>>> x = np.random.rand(5000000,5)

使用循环

import numpy as np
m = np.random.rand(1,5)
x = np.random.rand(5000000,5)

total = 0
tic = time.process_time()

for i in range(0,5000000):
    total = 0
    for j in range(0,5):
        total = total + x[i][j]*m[0][j] 
        
    zer[i] = total 

toc = time.process_time()
print ("Computation time = " + str((toc - tic)) + "seconds")

####Computation time = 28.228 seconds

使用向量化

tic = time.process_time()

#dot product 
np.dot(x,m.T) 

toc = time.process_time()
print ("Computation time = " + str((toc - tic)) + "seconds")

####Computation time = 0.107 seconds

np.dot在后端实现了量的矩阵乘法。与python中的循环相比,它的速度提高了165倍

写在最后

Python中的量化是非常快的,当在处理非常大的数据集时,建议你应该优先考虑量化而不是循环。这样,随着时间的推移,你会逐渐习惯于按照量化的思路来编写代码。




1、只需几分钟!用python爬取付费歌曲!

2、7个极其重要的Pandas函数!

3、那些有趣好玩强大的Python库

4、5 分钟,教你用 Python 制作一个生日提醒!

5、教你用 Python 自制简单版《我的世界》

点击关注公众号,阅读更多精彩内容

浏览 12
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报