【CMU博士论文】神经架构搜索的搜索算法和搜索空间

数据派THU

共 835字,需浏览 2分钟

 ·

2022-12-17 21:36

来源:专知

本文为论文介绍,建议阅读5分钟

本文提出一种时空注意力单元的搜索空间,以注意力操作为主要构建块。




神经架构搜索(NAS)是最近提出的一种自动设计网络架构的方法。NAS不是手动设计网络架构,而是以数据驱动的方式自动找到最佳架构。尽管NAS取得了令人印象深刻的进展,但在实践中仍远未被广泛采用为架构设计的通用范式。本文旨在开发有原则的NAS方法,可以自动化神经网络的设计,并尽可能减少人工在架构调优方面的工作。为了实现这一目标,我们专注于开发更好的搜索算法和搜索空间,这两者对NAS的性能都很重要。

在搜索算法方面,首先提出了一种基于贝叶斯优化(BO)的高效NAS框架;本文提出一种方法来学习网络体系结构域上的嵌入空间,使得为体系结构域定义一个核函数成为可能,这是将BO应用于NAS的必要组件。提出了一种邻域感知的NAS公式,以提高NAS发现的体系结构的泛化性。所提出的公式具有足够的通用性,适用于各种搜索算法,包括基于采样的算法和基于梯度的算法。

对于搜索空间,本文首先将NAS扩展到发现卷积细胞以外的注意力细胞。本文提出一种时空注意力单元的搜索空间,以注意力操作为主要构建块。所发现的注意力单元不仅优于人工设计的注意力单元,而且在不同模态、骨干或数据集上表现出很强的泛化能力。基于committee的模型(集合或级联)是高效模型的一个被忽视的设计空间。从现成的预训练模型中简单地构建committee,可以匹配或超过最先进模型的精度,同时大大提高了效率。最后,通过对不同基于激光雷达的三维目标检测算法的比较,指出了成本控制的重要性。其次,如果允许使用类似的延迟,一个通常被认为已经显著超过的简单基线在Waymo开放数据集上的性能几乎可以与最先进方法的性能相匹配。

https://www.ri.cmu.edu/publications/search-algorithms-and-search-spaces-for-neural-architecture-search/



浏览 8
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报