实战 | 如何结合 Golang,提高 Python 的计算性能(上)
共 1249字,需浏览 3分钟
·
2020-08-06 20:16
点击上方“AirPython”,选择“加为星标”
第一时间关注 Python 技术干货!
1. 前言
Hello 各位小伙伴你们好,我们都知道 Python 是一个生产力很高的语言,本人也非常喜欢 Python,经常使用 Python 以最高的效率完成最多的事,但是 Python 的性能,是我们一直诟病的一个问题,尤其是一个大锁 GIL,有时候想想简直像吃了苍蝇一样有点难受。
当然了,现在我们大部分程序都是( IO )网络密集型程序,Python 足以胜任,但是如果说我们已经存在的项目或者想要开发的项目中,存在有计算密集型的程序场景,我们该怎么办呢?
可能有的小伙伴听说过 Python + C\C++,用 C\C++ 重写 Python 计算密集的地方,来提高性能
当然, 这是一种很好的解决办法,但是我们知道 C\C++ 是有一些学习成本,有没有再更好的解决方案呢?
2. 调用 Golang
后来有幸接触到了 Golang,使用了一端时间小编就在想,Python 要是能调用 Go 代码就好了,实在是不想学习 C\C++,毕竟 C\C++ 的指针和自己释放内存还是比较有门槛的,Go 就很方便了,垃圾自动回收,省的内存泄漏还有天生高并发等优势
经过不断的查阅了一些资料,踩了一些坑,功夫不负有心人,终于找到了合适的办法,在此分享给大家。
目前最广泛的 Python 解释器是 CPython,Python 正好留出来有可以调用 C\C++ 代码的模块,Go 经过一些方法,也是可以编译成类似 Python 可调用的 C\C++ 的文件
3. 测试环境
系统:windows
Python解释器:Python 3.7.6(64位)
Go编译器:Go 1.14(64位)
4. 性能对比
为了更好的体现出来优化之后的效果,我们大概对比一下两个语言在计算密集情况下的差距。
测试:分别计算一个亿(100000000)的累加模拟大量计算。
1、Python代码
import time
def run(n):
sum = 0
for i in range(n):
sum += i
print(sum)
if __name__ == '__main__':
startTime = time.time()
run(100000000)
endTime = time.time()
print("耗时:", endTime - startTime)
可以看到耗时:10s 左右,如下图所示:
2、Golang 代码
package main
import (
"fmt"
"time"
)
func run(n int) {
sum := 0
for i := 0; i < n; i++ {
sum += i
}
fmt.Println(sum)
}
func main() {
var startTime = time.Now()
run(100000000)
fmt.Println("耗时:", time.Since(startTime))
}
可以看到耗时:200ms 左右,如下图所示:
3、测试结论
我们可以看到,在计算方面,Python 和 Go 是有很大的差距的,如果计算这一块能放在 Go 上就好了
5. Golang 编译为 so 库
1、Go 代码
功能:接收传入的值进行累加,并且返回最终的累加值。
package main
import (
"C" //C必须导入
)
//export run
func run(n int) int{
/*
必须要export 函数名
//是注释的意思,相当于Python中的 #
我也是第一次见注释还有作用,黑人三问好???
固定写法
*/
sum := 0
for i := 0; i < n; i++ {
sum += i
}
fmt.Println("我是Go代码,我跑完了,我的结果是:",sum)
return sum
}
func main() {
//main函数中什么都不要写,和包名main要对应
}
2、编译为 .so 文件供 Python 调用
命令如下:
go build -buildmode=c-shared -o 输出的.so文件 go源文件
例如:
go build -buildmode=c-shared -o s1.so s1.go
会生成 .h 文件和 .so 文件,.so 文件供 Python 调用,如下图所示:
3、Python 调用 so 文件
将上述生成的 .so 文件复制到 Python 项目的同一级目录
4、Python 代码
依然是计算一个亿,关键部分由 Go 生成的 .so 执行
from ctypes import *
import time
if __name__ == '__main__':
startTime = time.time()
s = CDLL("s1.so") # 加载s1.so文件
result = s.run(100000000) # 调用Go生成的.so文件里面的run函数
print("result:", result)
endTime = time.time()
print("耗时:", endTime - startTime)
可以看到耗时:0.11s左右,如下图所示
5、为什么计算的耗时时间不一致,难道是计算错了???
我们可以看到,虽然速度很快,但是 Python 在调用 Go 生成的 .so 文件之后,拿到的返回值竟然是错的,但是在 Go 中打印的确实对的,这是为什么呢???
不要慌,问题不大!我们来计算一次稍微小一点的,上个100w的。
额,怎么还是错误。
6、我们再来计算更小一些的数,以 10023 为例,一个不零不整的数值
这次可以看到,结果是对的。但是 100w+ 结果为什么会是错的呢???
我们在上述可以知道,.so 文件计算的结果却是正确的,可能是在 python 接收的时候转换的时候错了,不过别捉急,本章已经有点长了,在下章一定会把这个坑解决的,敬请期待~
6. 最后
也许 Python+Go 提高关键地方性能和 Python + C\C++ 相比不是最好的,但是小编认为该方法却是最省心的,毕竟 C\C++ 的门槛是比较高的。
不过话说回来,目前这个性能确实可能也够用了,毕竟 Python+Go 比 Python+C\C++ 的效率可能要高上几倍不止
用最少的时间撸完最多的代码,加最少的班,人生苦短,我们用 Python ~~
如果你觉得文章还不错,请大家 点赞、分享、留言下,因为这将是我持续输出更多优质文章的最强动力!