用 Python 使用 Google Colab?岂止是白嫖GPU

AI算法与图像处理

共 10916字,需浏览 22分钟

 ·

2020-12-04 11:19

点击上方AI算法与图像处理”,选择加"星标"或“置顶”

重磅干货,第一时间送达


机器之心编译

机器之心编辑部

一篇教你如何使用 Google Colab,更好利用免费资源的文章。

Google Colab 是一个免费的 Jupyter 环境,用户可以用它创建 Jupyter notebook,在浏览器中编写和执行 Python 代码,以及其他基于 Python 的第三方工具和机器学习框架,如 Pandas、PyTorch、Tensorflow、Keras、Monk、OpenCV 等。

Google Colab 的好处在于,不需要任何配置就能直接上手使用,并提供免费的 GPU,你可以和任何人共享实时代码、数学公式、数据可视化结果、数据处理、数值模拟、机器学习模型等各种项目。

本文将介绍如何用 Python 使用 Google Colab,以及一些 Colab 使用技巧。

项目地址:https://github.com/towardsai/tutorials/tree/master/google_colab_tutorial

为什么大家都爱 Colab

Colab 的优点包括:

  • 提供了免费的 Jupyter notebook 环境;

  • 带有预安装的软件包;

  • 完全托管在谷歌云上;

  • 用户无需在服务器或工作站上进行设置;

  • Notebook 会自动保存在用户的 Google Drive 中;

  • 提供基于浏览器的 Jupyter notebook;

  • 完全免费,且提供 GPU 和 TPU(Pro 用户可以使用更多资源,但需要付费);

  • 支持 Python 2 和 Python 3;

  • 提供两种硬件加速器:GPU 和 TPU。


第一步:启动 Google Colab

我们可以使用 Colab 在 Web 浏览器上直接运行 Python 代码,使用指南:https://mktg.best/d7b6u。

启动窗口随之打开,弹窗中提供了多项功能:


它提供了创建 notebook 以及从不同来源上传和选择的选项,比如 GitHub、Google Drive 或本地计算机。

从 GitHub 上传 Notebook

我们可以使用项目 URL,或者搜索组织和用户等方法,直接从 GitHub 上传 Python 代码。

使用 URL 的步骤上传项目的步骤如下图所示:

  • 启动 Google Colab

  • 从弹框中选择 GitHub 这一项。



输入 GitHub 项目 URL 并搜索以获取代码



将完整代码一键上传到 Google Colab notebook



同样地,用户可以通过按名称、日期、所有者或者修改日期过滤保存的 notebook,直接从 Google Drive 上传代码。


从 Kaggle 上传数据

从 Kaggle 生成 API Token

来自 Kaggle 的数据可以直接上传到 Colab,不过这需要 Kaggle 的 API Token 才能完成数据导入,步骤如下:

  • 打开 Kaggle

  • 转至「我的账户」

  • 向下滚动到「API」部分



  • 如果需要,先单击「Expire API Token」以删除先前的 token

  • 点击「Create New API Token」,生成一个新的 token 并下载一个名为「kaggle.json」的 JSON 文件

  • 「kaggle.json」文件包含用户名和密钥,如下所示:



从 Kaggle 上传数据的步骤

将「kaggle.json」文件保存在本地计算机上。

安装 Kaggle 软件包:

!pip install -q kaggle

导入包:

from google.colab import files

上传本地文件「kaggle.json」:

files.upload()



检查 Colab notebook 是否与 Kaggle 正确连接:

!kaggle datasets list


从 Kaggle 下载任意比赛数据:

!kaggle competitions download -c competitive-data-science-predict-future-sales


Kaggle 数据将在 Colab 中下载和上传,如下所示:


从 Google Drive 中读取文件

Colab 还提供从 Google Drive 读取数据的功能。

导入包

import globimport pandas as pdfrom google.colab import drive

挂载 Google Drive

drive.mount('/gdrive')

这一步要求填写 Google Drive 的授权码:


  • 授权码输入框

  • 单击链接并生成授权码

  • 从 Google Drive 读取 CSV 文件


file_path = glob.glob("/gdrive/My Drive/***.csv")for file in file_path:       df = pd.read_csv(file)       print(df)


将运行时硬件加速器设置为 GPU

Google Colab 提供免费的 GPU 硬件加速器云服务。在机器学习和深度学习中需要同时处理多个计算,高性能 GPU 的价格很高,但非常重要。


GPU 通过并行化提供优秀的性能,可在一次调用中启动数百万个线程。尽管与 CPU 相比,GPU 的 clock speed 较低,且缺少多核管理功能,但 GPU 的表现通常比 CPU 好。

在 Colab 中设置 GPU 硬件加速器

设置步骤如下:

  • 选择 Runtime → Change runtime type

  • 在弹出窗口中选择「GPU」



检查 Colab 中 GPU 的详细信息

导入重要的包

import tensorflow as tffrom tensorflow.python.client import device_lib

检查 GPU 加速器

tf.test.gpu_device_name()



检查用于 GPU 的硬件

device_lib.list_local_devices()


使用 GPU 的代码示例

在未选择运行时 GPU 的情况下检查可用 GPU 的数量,使其设置为「None」。


import tensorflow as tfno_of_gpu = len(tf.config.experimental.list_physical_devices('GPU'))print("Total GPUS:", no_of_gpu)

硬件加速器为 None,因此 GPU 数量的值为 0。

将运行时硬件加速器设置为 GPU:


import tensorflow as tfno_of_gpu =len(tf.config.experimental.list_physical_devices('GPU'))print("Total GPUS:", no_of_gpu)

硬件加速器为 GPU,因此 GPU 数量值为 1。

在 GPU 上执行张量乘法:

try:      with tf.device('/device:GPU:1'):            tensor1 = tf.constant([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]])            tensor2 = tf.constant([[1.0, 2.0], [3.0, 4.0], [5.0, 6.0]])           result = tf.matmul(tensor1, tensor2)            print(result)except RuntimeError as exception:       print(exception)

张量乘法结果。

将 GitHub repo 复制到 Google Drive

GitHub repo 代码可以复制和存储到 Google Drive 中,具体步骤如下:

挂载 Google Drive

from google.colab import drivedrive.mount('/content/gdrive')


进入 Google drive,创建目录「project」。

%cd gdrive/My Drive/mkdir project%cd project/


复制 GitHub repo,例如:

!git clone https://github.com/saniyaparveez/youtube_video_type_prediction.git


检查复制的项目

!ls



Colab 魔法

Colab 提供许多有趣的 trick,包括多个可以执行快速操作的命令,这些命令通常使用 % 作为前缀。

Colab 魔法命令列表

%lsmagic


本地目录

%ldir


获取 Notebook 历史

%history

CPU 时间

%time


系统运行多久?

!uptime


展示可用和已用的内存

!free -hprint("-"*100)


展示 CPU 产品规格

!lscpuprint("-"*70)


列出所有运行虚拟机进程

%%shecho "List all running VM processes."ps -efecho "Done"


在 HTML 中嵌入文本

%%html<marquee>Towards AI is a great publication platformmarquee>

设计 HTML 格式

#@title Personal Details#@markdown Information.Name = 'Peter' #@param {type: "string"}Age = 25  #@param {type: "slider", min: 1, max: 100}zip = 1234  #@param {type: "number"}Date = '2020-01-26'  #@param {type: "date"}Gender = "Male"  #@param ['Male', 'Female', 'Other']#@markdown ---print("Submitting the form")print(string_type, slider_value, number, date, pick_me)print("Submitted")

在 Google Colab 中生成 HTML 格式。

单元格执行输出

绘图

Google Colab 还可用于数据可视化。以下代码和图展示了 Google Colab 对一个以上多项式的绘图,Y = X³+X²+X。

x = np.arange(-10,10)y = np.power(x,3)y1 = np.power(x,3) + np.power(x,2) + xplt.scatter(x,y1,c="red")plt.scatter(x,y)


以下代码和图用于生成热图:

import matplotlib.pyplot as pltimport numpy as npimport seaborn as snslength = 10data = 5 + np.random.randn(length, length)data += np.arange(length)data += np.reshape(np.arange(length), (length, 1))sns.heatmap(data)plt.show()


Google Colab 中的 TPU

Google Colab 使用 TPU(张量处理单元)进行 Tensorflow 图上的加速。TPU 是谷歌开发的、专为神经网络机器设计的 AI 加速器专用集成电路 (ASIC)。

TPU 具备优秀的 teraflop 配置、浮点运算性能等。每个 TPU 的计算能力达到每秒 180 万亿次浮点运算(180 teraflops),拥有 64 GB 的高带宽内存。

在 Colab 中设置 TPU

在 Google Colab 中设置 TPU 的步骤如下:

运行时菜单 → 更改运行时

选择 TPU 硬件加速器

确认在 TPU 硬件加速器上运行

这需要 TensorFlow 包。以下代码和实现可以确认 Colab 是否设置 TPU 加速器:

import tensorflow as tftry:       tpu = tf.distribute.cluster_resolver.TPUClusterResolver()        print('Running on TPU', tpu.cluster_spec().as_dict()['worker'])except ValueError:       print('Exception')


如果 TPU 未设置成功,则代码会报错。

结论

Google Colab 是一种 Jupyter notebook 环境,通过执行基于 Python 的代码来构建机器学习或深度学习模型。Google Colab 完全免费(pro 版除外),并提供 GPU 和 TPU 硬件加速器,易于使用和共享。

本文列举了 Google Colab 的使用技巧,希望能够帮助大家更好地利用 Google Colab 资源。

资源

  • Google colab 实现:https://colab.research.google.com/drive/1ymIYzFg4Q7iBjnTut31aBqPHgOpkjHYD?usp=sharing

  • Github repository:https://github.com/towardsai/tutorials/tree/master/google_colab_tutorial


参考文献

[1] Google Colab, https://colab.research.google.com/
[2] Python 2 Deprecation, Google Colab, Google, https://research.google.com/colaboratory/faq.html#python-2-deprecation
[3] Machine Learning Algorithms for Beginners with Code Examples in Python, Pratik Shukla, Roberto Iriondo, Towards AI, https://towardsai.net/p/machine-learning/machine-learning-algorithms-for-beginners-with-python-code-examples-ml-19c6afd60daa
[4] Project Jupyter, https://jupyter.org/
[5] Google Colab, FAQ, https://research.google.com/colaboratory/faq.html


原文链接:https://medium.com/towards-artificial-intelligence/google-colab-101-tutorial-with-python-tips-tricks-and-faq-7689bd4d24b4

   

下载1:leetcode 开源


AI算法与图像处理」公众号后台回复:leetcode,即可下载。每题都 runtime beats 100% 的开源好书,你值得拥有!



下载2 CVPR2020

AI算法与图像处公众号后台回复:CVPR2020即可下载1467篇CVPR 2020论文
              
个人微信(如果没有备注不拉群!
请注明:地区+学校/企业+研究方向+昵称


觉得不错就点亮在看吧

浏览 32
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报