Lore机器学习模型配置、部署简化框架

联合创作 · 2023-09-26 04:36

Lore 是一个 Python 框架,旨在让工程师更容易接受机器学习,让数据科学家更容易维护机器学习。

功能特性

  1. 模型支持使用数据管道对估算器进行超参数搜索。他们将有效地利用多个 GPU(如果可用)和几种不同的策略,并且因水平可伸缩性可以保存和分发。

  2. 支持来自多个软件包的估算器,包括 Keras、XGBoost 和 SciKit Learn。它们都可以通过构建、调试或预测覆盖来进行分类,以完全自定义你的算法和架构,同时还可以从其他很多方面受益。

  3. 管道可以避免训练和测试之间的信息泄漏,一条管道可以用许多不同的估算器进行实验。如果机器可用 RAM 空间不够,则可使用基于磁盘的管道。

  4. 转化器标准化高级功能编程。例如,根据美国人口普查数据将美国名字转换为其统计年龄或性别;从自由格式的电话号码字符串中提取地理区号;常见的日期、时间和字符串操作可通过 pandas 得到有效支持。

  5. 编码器为估算器提供足够的输入,并避免常见的缺失和长尾值问题。经过充分测试,它们可以帮助你避免从垃圾中检索信息。

  6. 对于流行的 (No)SQL 数据库,整个应用程序以标准化的方式配置 IO 连接,对批量数据进行事务管理和读写优化,而不是使用典型的 ORM 操作。除了用于分发模型和数据集的加密 S3 buckets 之外,连接还共享一个可配置的查询缓存。

  7. 对开发中的每个应用程序进行依赖关系管理,且可 100%复制到生产环境中。无需手动激活,没有破坏 Python 的环境变量或隐藏的文件。无需 venv、pyenv、pyvenv、virtualenv、virtualenvwrapper、pipenv、conda 相关知识。

  8. 模型测试可在自己的持续集成环境中进行,允许代码和训练更新持续部署,而不增加基础架构团队的工作量。

  9. 命令行、Python 控制台、jupyter 笔记本或 IDE 都有工作流支持。每个环境都可以为生产和开发配置可读的日志和时序语句。

浏览 11
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报