小样本学习--概念、原理与方法简介(Few-shot learning)
Few-shot learning (FSL) 在机器学习领域具有重大意义和挑战性,是否拥有从少量样本中学习和概括的能力,是将人工智能和人类智能进行区分的明显分界点,因为人类可以仅通过一个或几个示例就可以轻松地建立对新事物的认知,而机器学习算法通常需要成千上万个有监督样本来保证其泛化能力。原则上我们将FSL方法分为基于生成模型和基于判别模型两种,其中基于元学习的FSL方法值得特别注意。
到目前为止,FSL有一部分比较重要的应用,涵盖了计算机视觉,自然语言处理,音频和语音,强化学习和数据分析等许多研究热点,可以说是一个很有发展前景的方向。
地址:https://zhuanlan.zhihu.com/p/258562899
01
INTRODUCTION
首先,FSL方法预计不会依赖大规模的训练样本,从而避免了某些特定应用中数据准备的高昂成本。 FSL可以缩小人类智能与人工智能之间的距离,这是发展通用类型AI的必经之路。 FSL可以为一项新出现的、可采集样本很少的任务实现低成本,快速的模型部署。
02
OVERVIEW
03
相关符号定义
04
什么是模型并行?FSL问题定义
05
两类FSL方法的区别与联系
1)仅需要有限的样本。节省计算资源,需要的样本数量也少于生成模型。
2)能清晰的分辨出多类或某一类与其他类之间的差异特征,准确率往往较生成模型高。
3)由于直接学习,而不需要求解类别条件概率,所以允许我们对输入进行抽象(比如降维、构造等),从而能够简化学习问题。
2)没有生成模型的优点。
3)黑盒操作: 变量间的关系不清楚,不可视。
1)生成给出的是联合分布,不仅能够由联合分布计算后验分布(反之则不行),还可以给出其他信息,比如可以使用来计算边缘分布。如果一个输入样本的边缘分布很小的话,那么可以认为学习出的这个模型可能不太适合对这个样本进行分类,分类效果可能会不好,这也是所谓的异常值检测(outlier detection)。
2)生成模型收敛速度比较快,即当样本数量较多时,生成模型能更快地收敛于真实模型。
3)生成模型能够应付存在隐变量的情况,比如混合高斯模型就是含有隐变量的生成方法。
1)联合分布能够提供更多的信息,但也需要更多的样本和更多计算,尤其是为了更准确估计类别条件分布,需要增加样本的数目,而且类别条件概率的许多信息是我们做分类用不到,因而如果我们只需要做分类任务,就浪费了计算资源。
06
基于判别模型的方法
07
总结
使学习系统能够从少量样本中学习,对于机器学习和人工智能的进一步发展至关重要,本文对小样本学习(FSL)的概念、原理和方法进行了简要的解释,并且将FSL方法进行了归类解释,随后会更新一些关于文中谈到的FSL方法和相关原理解释。
PS:感谢 @白小鱼 @Curry @鱼遇雨欲语与余 三位大佬的答疑解惑,对萌新异常友善
本文学习笔记参考文献:
https://arxiv.org/pdf/2009.02653.pdf
评论