【CMU博士论文】神经架构搜索的搜索算法和搜索空间数据派THU共 835字,需浏览 2分钟 ·2022-12-17 21:36来源:专知本文为论文介绍,建议阅读5分钟本文提出一种时空注意力单元的搜索空间,以注意力操作为主要构建块。神经架构搜索(NAS)是最近提出的一种自动设计网络架构的方法。NAS不是手动设计网络架构,而是以数据驱动的方式自动找到最佳架构。尽管NAS取得了令人印象深刻的进展,但在实践中仍远未被广泛采用为架构设计的通用范式。本文旨在开发有原则的NAS方法,可以自动化神经网络的设计,并尽可能减少人工在架构调优方面的工作。为了实现这一目标,我们专注于开发更好的搜索算法和搜索空间,这两者对NAS的性能都很重要。在搜索算法方面,首先提出了一种基于贝叶斯优化(BO)的高效NAS框架;本文提出一种方法来学习网络体系结构域上的嵌入空间,使得为体系结构域定义一个核函数成为可能,这是将BO应用于NAS的必要组件。提出了一种邻域感知的NAS公式,以提高NAS发现的体系结构的泛化性。所提出的公式具有足够的通用性,适用于各种搜索算法,包括基于采样的算法和基于梯度的算法。对于搜索空间,本文首先将NAS扩展到发现卷积细胞以外的注意力细胞。本文提出一种时空注意力单元的搜索空间,以注意力操作为主要构建块。所发现的注意力单元不仅优于人工设计的注意力单元,而且在不同模态、骨干或数据集上表现出很强的泛化能力。基于committee的模型(集合或级联)是高效模型的一个被忽视的设计空间。从现成的预训练模型中简单地构建committee,可以匹配或超过最先进模型的精度,同时大大提高了效率。最后,通过对不同基于激光雷达的三维目标检测算法的比较,指出了成本控制的重要性。其次,如果允许使用类似的延迟,一个通常被认为已经显著超过的简单基线在Waymo开放数据集上的性能几乎可以与最先进方法的性能相匹配。https://www.ri.cmu.edu/publications/search-algorithms-and-search-spaces-for-neural-architecture-search/浏览 8点赞 评论 收藏 分享 手机扫一扫分享分享 举报 评论图片表情视频评价全部评论推荐 【神经网络架构搜索】NAS-Bench-101: 可复现神经网络搜索GiantPandaCV0干货 | 阿里的图像搜索架构机器学习与生成对抗网络0【干货】阿里巴巴的图像搜索架构机器学习算法与Python实战0搜索搜索服务API是一类简单的HTTP接口,提供多种查询POI信息的能力,其中包括关键字搜索、周边搜索、多边形搜索、ID查询四种筛选机制。高德云图0Leopdoweb 搜索和爬虫用JAVA编写的web搜索和爬虫,包括全文和分类垂直搜索,以及分词系统Leopdoweb 搜索和爬虫0【机器学习】网格搜索、随机搜索和贝叶斯搜索实用教程机器学习初学者0SpotifySearchiOS 搜索SpotifySearch 是一个 Swift 的类,可以使用 Spotify API 搜索歌曲和艺SpotifySearchiOS 搜索0SpotifySearchiOS 搜索SpotifySearch是一个Swift的类,可以使用SpotifyAPI搜索歌曲和艺术家,已经用另一个类来保存搜索结构。使用示例:添加spotifySearch.swift文件到你的项目。创建一个SpotifySearchiOS 搜索0搜索?营销?歆修0PYSearchiOS 的搜索控制器PYSearch,iOS 中一款优雅的搜索控制器。一款综合(QQ 音乐、微信、美团、优酷、虎牙直播等PYSearchiOS 的搜索控制器0点赞 评论 收藏 分享 手机扫一扫分享分享 举报