↓↓↓点击关注,回复资料,10个G的惊喜
本文是 InfoWorld 2021 年公布的《最佳开源软件榜单》翻译稿。InfoWorld 是一家信息技术媒体公司,成立于 1978 年目前隶属于 IDG。每年 InfoWorld 都会根据软件对开源界的贡献,以及在业界的影响力评选出当年的“最佳开源软件” (BOSSIE),该奖项评选已经延续了十多年。本次获奖的 29 个开源项目包括:软件开发、开发、云原生计算、机器学习等类型!1、FastAPI
100天搞定机器学习 番外:使用FastAPI构建机器学习API
FastAPI 是一个高性能 Web 框架,用于构建 API。主要特性:
快速:非常高的性能,与 NodeJS 和 Go 相当
快速编码:将功能开发速度提高约 200% 至 300%
更少的错误:减少约 40% 的人为错误
直观:强大的编辑器支持,自动补全无处不在,调试时间更少
简易:旨在易于使用和学习,减少阅读文档的时间。
简短:减少代码重复。
稳健:获取可用于生产环境的代码,具有自动交互式文档
基于标准:基于并完全兼容 API 的开放标准 OpenAPI 和 JSON Schema
地址:https://github.com/tiangolo/fastapi
2、MLflow
MLflow 由 Databricks 创建,并由 Linux 基金会托管,是一个 MLOps 平台,可以让人跟踪、管理和维护各种机器学习模型、实验及其部署。它为你提供了记录和查询实验(代码、数据、配置、结果)的工具,将数据科学代码打包成项目,并将这些项目链入工作流程。
地址:https://github.com/mlflow/mlflow
3、Orange
Orange 旨在使将数据挖掘"富有成效且有趣"。Orange 允许用户创建一个数据分析工作流程,执行各种机器学习和分析功能以及可视化。与 R Studio 和 Jupyter等程序化或文本工具相比,Orange 是非常直观的。你可以将小部件拖到画布上以加载文件,用模型分析数据并将结果可视化。
地址:https://github.com/biolab/orange3
4、InterpretML
InterpretML 是一个开源的 Explainable AI(XAI)包,其中包含了几个最先进的机器学习可解释性技术。InterpretML 让你训练可解释的 glassbox 模型并解释黑盒系统。InterpretML 可帮助你了解模型的全局行为,或了解个别预测背后的原因。在它的许多功能中,InterpretML 有一个来自 Microsoft Research 的"glass box"模型,称为 Explainable Boosting Machine,它支持用黑盒模型的近似值进行 post-hoc 解释的 Lime。
地址:https://github.com/interpretml/interpret
5、Dask
Dask 是一个用于并行计算的开源库,可以将 Python 包扩展到多台机器上。Dask 可以将数据和计算分布在多个 GPU 上,无论是在同一个系统中还是在一个多节点集群中。Dask 与 Rapids cuDF、XGBoost 和 Rapids cuML 集成,用于 GPU 加速的数据分析和机器学习。它还与 NumPy、Pandas 和 Scikit-learn 集成,以并行化其工作流程
地址:https://github.com/dask/dask
6、Rapids
Nvidia 的 Rapids 开源软件库和 API 套件让你有能力完全在 GPU 上执行端到端的数据科学和分析管道。Rapids 使用 Nvidia CUDA 基元进行底层计算优化,并通过用户友好的 Python 接口暴露了 GPU 的并行性和高带宽内存速度。Rapids 依赖于 Apache Arrow 柱状内存格式,包括 cuDF,一个类似 Pandas 的 DataFrame 库;cuML,一个机器学习库集合,提供 Scikit-learn 中大多数算法的 GPU 版本;以及 cuGraph,一个类似 NetworkX 的加速图分析库
地址:https://github.com/rapidsai/cudf
7、Hugging Face
Hugging Face 提供了最重要的开源深度学习资源库,它本身并不是一个深度学习框架。Hugging Face 的目标是扩展到文本之外,支持图像、音频、视频、物体检测等。Infoworld 指出,深度学习从业者应在未来几年内密切关注这个 repo。
地址:https://github.com/huggingface/transformers
8、EleutherAI
EleutherAI 是一个由机器学习研究人员组成的分布式小组,旨在将 GPT-3 带给所有人。2021 年伊始,EleutherAI 发布了 The Pile,是一个 825 GB 的用于训练的多样化文本数据集;并在 6 月公布了 GPT-J,一个 60 亿参数的模型,大致相当于 OpenAI 的 GPT-3 的 Curie variant。随着 GPT-NeoX 的出现,EleutherAI计划将参数一直提高到 1750 亿,以与目前最广泛的 GPT-3 模型竞争。
地址:https://github.com/EleutherAI/gpt-neo
9、Colab notebooks for generative art
首先是 OpenAI 的 CLIP(对比语言-图像预训练)模型,一个用于生成文本和图像矢量嵌入的多模态模型。虽然 CLIP 是完全开源的,但 OpenAI 的生成性神经网络 DALL-E 却不是。为了填补这一空白,Ryan Murdoch 和 Katherine Crowson 开发了 Colab notebooks, CLIP 与其他开源模型(如 BigGAN 和 VQGAN)结合起来,制作 prompt-based 生成性艺术作品。这些 notebooks 基于 MIT 许可,于过去几十年间在互联网上进行了广泛传播,被重新混合、改变、翻译,并被用来生成了惊人的艺术作品。
地址:https://github.com/openai/CLIP
推荐阅读