Mac 和 Linux/Win 均可用!微博爬虫系列更新
点击上方 月小水长 并 设为星标,第一时间接收干货推送
pyd 之殇
之前发布的这三篇爬虫系列
发布的爬虫文件都是 pyd 格式,只能运行在 windows 系统上,Mac OS 和 Linux OS 则无能为力?
pyc 才是 YYDS
今天研究了下,发现只要转 pyd 为 pyc 格式,就能跨平台运行了。但为什么 pyc 就可以跨平台!不由得感概相见恨晚,pyc 才是 yyds 啊!
我们知道 windows 系统有许多 DLL 后缀的文件,即动态链接库,在运行时链接到调用程序。在运行时链接到 DLL 之类的库的主要优点是,它可以促进代码重用,模块化体系结构和更快的程序启动。结果,DLL 在 Windows 操作系统周围提供了许多功能。pyd 这个 d 就是取自于 DLL,只能运行在 windows 系统上。
而我们安装的 python 目录下有许多 pyc 文件,这个 c 是编译 compile 过的意思,可以使用 python 解释器编译 py 文件 成 pyc 字节码文件。使用 pyc 可以加快程序的加载速度,而不能加快程序的实际执行速度,这就是解释为什么我们安装 python 目录很多第三方库下是 pyc 文件的原因,因为它可以使得 import 一些第三方库的速度加快。由于 .pyc 文件是编译好的字节码,它是独立于平台的,因此可以在不同体系结构的计算机之间共享。
使用下面一行命令就能将当前目录下的所有 py 文件打成 pyc。
python -m compileall ./
注意了
好了,理论不多说,只需要打开对应的百度云链接获取最新的 pyc 文件即可,最好删除了原来的 pyd 使用。
需要注意的是 pyc 文件放到 Pycharm 中并不会显示它的存在?,但是确实实在存在于我们的文件夹之中的。
Pycharm 中文件目录
文件浏览器中文件目录
这是为什么呢?我猜测是 Pycharm 把 pyc exclude 排除显示了,上图 Pycharm 的 External Libraries 就是我们的 python 解析器,它有许许多多 pyc,如果全部显示。那么 index 索引将会非常大,严重会导致电脑卡死。
还有一点需要注意的是,由于 pyc 是由特定的 python 解析器生成的,它虽然能跨平台,但是不能跨版本,也只能运行在特定的 Python 版本上,上文百度链接里的 pyc 全部是 Python 3.6.6 64 bit 生成的,它也只能运行在 Win/Mac/Linux 等任意系统的 Python 3.6.6 64 位。如果 Python 版本不对,它会报 ImportError: bad magic number 错误。
题外话
好了,今天就讲到这里,上一篇开放 py 源代码的微博超话爬虫 【开源】微博超话相册下载及超话活跃粉丝抓取 也不要错过了,豆瓣小组爬虫已经完成了,此文越多点赞越早发出来,thanks for your attention!!!