为什么经常警告要升级 pip ?

裸睡的猪

共 7581字,需浏览 16分钟

 ·

2021-03-11 07:38

作者 | Itamar
来源 | Python中文社区

更新软件版本可以修复bug,增加新功能和提升性能。例如,NumPy 1.20 添加了类型注释,并在可能的情况下通过使用SIMD来提高性能。如果您要安装NumPy,则可能要安装最新版本。
相反,如果您使用的是旧版本的pip,则安装最新版本的Python软件包可能会失败,或者以较慢,更复杂的方式进行安装。
为什么?这是关于glibc版本控制以及pip如何安装软件包的一系列问题。
让我们看看问题到底是什么,如何解决,最后是什么原因造成的。
旧版本pip的问题
让我们从Ubuntu 18.04 Docker镜像开始着手。该版本的Ubuntu在2018年4月发布,安装有Python 3.6和pip 9 版本。
[itamarst@blake dev]$ docker run -it ubuntu:18.04
root@1a43d55f0524:/# apt-get update
...
root@1a43d55f0524:/# apt-get install --no-install-recommends python3 python3-pip
...
root@1a43d55f0524:/# pip3 --version
pip 9.0.1 from /usr/lib/python3/dist-packages (python 3.6)
目前为止,事情进展顺利。
失败原因#1:从源代码编译
接下来,让我们安装加密程序包,它是PyPI上下载次数最多的Python程序包之一,每月有数百万次下载(通常是间接依赖)。
root@1a43d55f0524:/# pip3 install cryptography
Collecting cryptography
  Downloading https://files.pythonhosted.org/packages/fa/2d/2154d8cb773064570f48ec0b60258a4522490fcb115a6c7c9423482ca993/cryptography-3.4.6.tar.gz (546kB)
    100% |################################| 552kB 1.4MB/s 
    Complete output from command python setup.py egg_info:
    Traceback (most recent call last):
      File "<string>", line 1, in <module>
    ModuleNotFoundError: No module named 'setuptools'
    
    ----------------------------------------
Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-6jesygn0/cryptography/
程序进展不是很顺利。
这个错误意味着pip要我们编译软件包;如果我们安装了setuptools,编译器和Python开发工具链,这将起作用,但非常慢。
当然,这不只是一个packagePyArrow也会发生相同的问题,例如:
root@1a43d55f0524:/# pip3 install pyarrow
Collecting pyarrow
  Downloading https://files.pythonhosted.org/packages/62/d3/a482d8a4039bf931ed6388308f0cc0541d0cab46f0bbff7c897a74f1c576/pyarrow-3.0.0.tar.gz (682kB)
    100% |################################| 686kB 1.1MB/s 
    Complete output from command python setup.py egg_info:
    Traceback (most recent call last):
      File "<string>", line 1, in <module>
    ModuleNotFoundError: No module named 'setuptools'
    
    ----------------------------------------
Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-heq6zwd7/pyarrow/
为什么pip试图从头开始编译这些软件包?为什么我们没有获得二进制的、预编译的软件包?
在考虑第二种故障模式之后,我们将稍等一会儿找到答案。
失败原因#2:旧版本
接下来,安装Fil,Python内存分析器https://pythonspeed.com/products/filmemoryprofiler/
root@1a43d55f0524:/# pip3 install filprofiler
Collecting filprofiler
  Downloading https://files.pythonhosted.org/packages/e3/a2/843e7b5f1aba27effb0146c7e564e2592bfc9344a8c8ef0d55245bd47508/filprofiler-0.7.2-cp36-cp36m-manylinux1_x86_64.whl (565kB)
    100% |################################| 573kB 1.8MB/s 
Installing collected packages: filprofiler
Successfully installed filprofiler-0.7.2
安装成功!除了访问FilPyPI页面(https://pypi.org/project/filprofiler/)外,您都会看到``0.7.2`的版本很旧。在撰写本文时,Fil的最新版本是0.14.1。
为什么要安装旧版本?
pipmanylinux轮子
NumPyCryptography的许多软件包都要求在C / C ++ / Cython / Rust / etc中编译一些代码。为了节省您从头开始编译所有内容的需要,维护人员可以将代码的编译版本(“ wheels”)上载到Python Package Index。如果pip碰到适用于您的特定版本的Python和操作系统版本的轮子,它将下载它而不是源代码。
对于Linux,有多种轮子变体:manylinux1manylinux2010manylinux2014。您可以在下载的轮子的文件名中看到正在使用哪个变体。
问题是:旧版本的pip不支持manylinux2010,当然也不支持manylinux2014。Ubuntu 18.04中的pip太旧了,因此它只了解manylinux1。这解释了我们看到的两个问题:
1、如果您查看PyPI上PyArrow 3.0.0的可用文件列表(https://pypi.org/project/pyarrow/3.0.0/#files),您会看到只有很多linux2010linux2014的轮子。因此,pip会回退到需要编译的源代码包。
2、如果检查Fil的PyPI文件(https://pypi.org/project/filprofiler/0.14.1/#files),则会看到有manylinux2010轮子,而根本没有源程序包;因为从源代码构建有点棘手,所以我只分发编译后的程序包。这意味着pip会继续使用该软件包的较早版本,直到找到具有manylinux1轮子的软件包为止。
解决方案:升级pip
为了获得最新最好的软件包,而无需编译,您需要升级到最新版本的pip。如何执行取决于您的安装环境。
通常,您可以执行pip install --upgrade pip来每天进行一次升级。
但是,在某些环境中可能会出现问题。例如,如果您看一下我们如何在Ubuntu 18.04中设置Python,那么我们是通过系统软件包安装pip的。
问题在于,覆盖系统软件包中的随机文件是一个坏主意。除非您在环境中运行,否则在必要时将从头开始重建(例如Docker映像),那么永远不要以root或sudo的身份运行pip install来修改系统软件包。
相反,在Ubuntu 18.04上,您可以通过下载获得pip:
$ curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
$ python3 get-pip.py
或者您可以创建一个virtualenv虚拟环境,然后通过执行pip install --upgrade pip升级其pip:
root@1a43d55f0524:/# python3 -m venv myvenv
root@1a43d55f0524:/# . myvenv/bin/activate
(myvenv) root@1a43d55f0524:/# pip --version
pip 9.0.1 from /myvenv/lib/python3.6/site-packages (python 3.6)
(myvenv) root@1a43d55f0524:/# pip install --upgrade pip
Collecting pip
  Using cached https://files.pythonhosted.org/packages/fe/ef/60d7ba03b5c442309ef42e7d69959f73aacccd0d86008362a681c4698e83/pip-21.0.1-py3-none-any.whl
Installing collected packages: pip
  Found existing installation: pip 9.0.1
    Uninstalling pip-9.0.1:
      Successfully uninstalled pip-9.0.1
Successfully installed pip-21.0.1
现在,我们有了一个更新后的pip,我们可以轻松地安装最新版本的cryptographyfilprofiler
(myvenv) root@1a43d55f0524:/# pip install cryptography filprofiler
Collecting cryptography
  Downloading cryptography-3.4.6-cp36-abi3-manylinux2014_x86_64.whl (3.2 MB)
     |################################| 3.2 MB 4.5 MB/s 
...
Installing collected packages: pycparser, threadpoolctl, cffi, filprofiler, cryptography
Successfully installed cffi-1.14.5 cryptography-3.4.6 filprofiler-0.14.1 pycparser-2.20 threadpoolctl-2.1.0
注意,我们下载了包含cryptographymanylinux2014软件包。
为什么会有这么多Linux版本存在?
Linux上已编译的Python扩展链接到标准C语言库,特别的是它们链接到GNU Libc(又名glibc)。您可以使用ldd实用工具查看可执行文件或共享库链接到哪些库:
root@1a43d55f0524:/# cd myenv/lib/python3.6/site-packages
root@1a43d55f0524:/# ldd cryptography/hazmat/bindings/_openssl.abi3.so 
        linux-vdso.so.1 (0x00007ffdbea7b000)
        libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007fba7b1bf000)
        libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007fba7adce000)
        /lib64/ld-linux-x86-64.so.2 (0x00007fba7b7b0000)
注意,编译后的Python扩展尤其依赖于/lib/x86_64-linux-gnu/libc.so.6,即glibc
如果您用glibc的较新版本编译代码,它可能不需要在旧版本提供新的API或符号。这意味着你的代码不会在旧的Linux发行版上运行。
有许多对这个问题的不同解决方案。Conda通过针对旧版本的glibc头文件来编译所有的包;基本上在广泛的Linux发行版它有一个自定义编译安装设计工作。
PyPI二进制轮子通过编译旧版本的Linux,以及它的相应旧版本的glibc来解决这个问题。因为它是针对旧版本编译的,它会与任何新版本兼容工作。
  • manylinux1包建在CentOS 5。
  • manylinux2010包建在CentOS 6。
  • manylinux2014软件包都建立在CentOS 7上。
每个新版本都需要对应的新发布的pip。你可以学到更多的PEP-571PEP-599
升级您的pip!
无论您是建立一个开发环境或写你的Dockerfile,请确保升级pip。否则,你就会有一个更难的时间安装软件包。

学Python,推荐关注猪哥

👇👇👇

浏览 42
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报