谷歌开源“模型搜索”平台,适用各种领域、省时又省力
编译:芒果果丨发自 思否编辑部
谷歌最近发布了一个开源的“模型搜索”(Model Search)平台,可以帮助研究人员高效自动地开发机器学习模型。
谷歌表示,Model Search 不专注于某一特定领域,能够找到适合数据集和问题的模型体系结构,同时最大程度地减少编码时间和计算资源。
基于 TensorFlow 机器学习框架,由多种算法组成
AI 模型的成功通常取决于它在各种工作负载下的性能。但是,设计一个能够很好地概括的模型是极具挑战性的。近年来,AutoML 算法开始出现,帮助研究人员在不需要手动实验的情况下找到正确的模型。然而,通常情况下,这些算法是计算量大的,需要数千个模型来训练。
Model Search 基于谷歌的 TensorFlow 机器学习框架,可以在单台机器或多台机器上运行,由多个培训器、搜索算法、转移学习算法和存储评估模型的数据库组成。它以一种自适应和异步的方式运行人工智能模型的培训和评估实验,这样所有的培训者都可以分享从他们的实验中获得的知识,同时独立进行每个实验。在每个循环的开始,搜索算法查找所有已完成的试验,并决定下一步尝试什么,然后它“变异”到目前为止找到的最好的架构之一,并将得到的模型返回给训练器。
Model Search 玮研究人员提供灵活、领域不可知的机器学习模型发现框架
为了进一步提高效率和准确性,模型搜索在实验中引入迁移学习。例如,它使用知识提取和权重分担,这引导了一些变量的模型从以前的训练模型。这使得更快的培训和更广泛的发现更多更好的架构的机会成为可能。
在模型搜索运行之后,用户可以比较搜索过程中发现的许多模型。此外,他们可以创建自己的搜索空间来定制模型中的架构元素。
谷歌表示,在一次内部实验中,模型搜索通过最少的迭代改进了生产模型,特别是在关键词识别和语言识别方面。它还设法找到了一个架构适合的图像分类的重大探索 CIFAR-10开源成像数据集。
谷歌研究工程师 Hanna Mazzawi 和研究科学家 Xavi Gonzalvo 在一篇博客文章中写道,“我们希望模型搜索将为研究人员提供一个灵活的、领域不可知的机器学习模型发现框架。通过建立特定领域以前的知识,我们相信,当提供由标准构建块组成的搜索空间时,这个框架足够强大,可以建立具有最先进性能的模型,用于研究深入的问题。”
本文是翻译,阅读原文:
https://venturebeat.com/2021/02/19/googles-model-search-automatically-optimizes-and-identifies-ai-models/