元学习国内首著:小样本问题的救星!
共 3303字,需浏览 7分钟
·
2021-06-11 17:33
什么是元学习?
元学习(Meta-Learning)的概念起源于强人工智能(General AI)的范畴,是指让机器学会学习(Learning-to-Learn),从而让机器变得更加智能,代替人类完成复杂多变的任务。
近来,MAML(Model-Agnostic Meta-Learning)的兴起带火了元学习的概念,MAML将元学习视为深度学习模型的补充,引入MAML模块,通过适当的组合、调试,可以在保持深度模型精度的同时,额外提高深度学习模型的泛化能力,避免了过拟合问题的出现,提高了深度学习模型在分布外任务的精度。
其实元学习并不是一个新概念,早在1987年,科学家就已经提出了元学习的概念,指的是机器通过与环境进行交互,不断获取信息,进行自我更新调整,从而不断地适应环境,在没有任何人为干预的场景下,机器能自发地适应并且进化,智能化地学会怎么解决遇到的任何任务。
实际上,元学习这个领域的范畴也并没有一个明确的界定。
元学习最早是作为强人工智能的概念提出,主要通过模型与环境的交互实现模型的自更新,也可以认为元学习和迁移学习是同样的概念,都是将已有的模型应用于解决新的任务,而不用重新训练模型。
事实上,许多近代元学习方法借鉴了迁移学习方法的思路。
当下,元学习的应用场景主要有以下这些:
(1)数据量很小却需要深度学习模型的场景;
(2)在线学习需要及时更新深度模型,每个时刻获取的数据包都很小;
(3)优化问题及其复杂,包括许多连续和离散的超参数需要优化,元学习器指导基础学习器优先探索更有希望的超参数组合;
(4)解决重头训练深度模型过于复杂或者无法实现的场景,必须依靠过去的经验对深度模型的训练进行加速。
《元学习:基础与应用》一书的作者彭慧民老师,曾经使用频率较低(每半年)的公募基金持仓数据计算了频率较低的反映基金盈利能力的指标,然而又希望根据频率较低的指标进行基金未来表现的预测,例如,根据仅有的3-4个观测点预测未来走势。
这个问题本身并不是一个好问题,数据量太小,但是彭老师尝试用了最简单的直线斜率来直接预测未来走势,得到的预测结果竟然对大多数基金有用,可是,仍然有部分基金无法预测。
彭老师希望找到方法将这部分无法预测的基金比例降低,遍寻无果,便开始转向人工智能方向寻找。
由于深度学习适用于数据量较大的情况,所以对于小样本的情形无法使用,而元学习适用于小样本问题的解决,由此,彭老师开始对元学习领域感兴趣。
除了这类情形之外,元学习可以解决许多小样本的实际问题,例如任何数据量不足或者任务环境剧烈变化的场景。但是,元学习又不仅限于解决小样本问题。
鉴于存在这样的应用场景需求,而市面上却几乎没有一本系统讲解元学习的书籍,因此彭慧民老师写作了这本《元学习:基础与应用》,以弥补市场空缺,帮助大家更好地了解及应用元学习。
本书的内容来源于对最早期元学习理论和近年来元学习方法文献的整理,介绍了元学习方法的发展历史、起源、思想、近来流行的元学习方法,以及这些方法的组织思路、改进方案、相互继承、如何应用。
全书共分为11个章节,在宏观上可以分为两大部分:元学习方法思想的介绍和元学习应用场景中模型的具体介绍。
第1章是元学习介绍,讲述元学习思想的起源和发展脉络。
第2章是元学习研究框架,介绍元学习研究中搭建的理论框架,这两章作为对元学习这本书的引入。
第3章是神经网络元学习方法。
第4章是基于度量学习的元学习方法。
第5章是基础学习器和元学习器结合的元学习方法。
第6章是贝叶斯思想下的元学习方法,这些章节分别介绍了元学习方法的主要框架,给出了元学习框架的基础理论。
第7章详细介绍了元学习的实际应用场景。
第8章讲述了元强化学习。
第9章描述了元模仿学习。
第10章介绍了在线元学习。
第11章是无监督元学习。
这些章节介绍了在实际应用中,元学习框架下融入了强化学习、模仿学习、在线学习、无监督学习、迁移学习等,实现了对实际应用中深度模型的改进,适应复杂多变的实际任务。
本书的适读人群:希望了解元学习并且对机器学习有基础的读者,对于金融领域经常需要做样本外预测工作的读者非常适用,对于机器人研究领域,需要进行连续控制和适应复杂多变环境的工作人员也适用,对于样本量少且需要进行预测的小样本图片分类任务也适用。
写作本书的愿景如下:
(1)期待元学习的发展让机器学会学习,促进强人工智能的进步,最终实现让机器将人类从繁琐的重复性劳动中解放出来,提高人类的工作效率;
(2)元学习算法的框架灵活多变,对任何任务的适应性都不错,可以促进人工智能和传统领域的双赢融合,为应用场景带来更好的解决方案;
(3)希望元学习的思想能促进基础领域研究的发展,通常认为的是基础领域研究的进步促进了所有其他领域的发展,而元学习的思想却可以影响到基础领域的理论研究;
(4)提供解决问题的新思路,元学习的基本思想和框架可以灵活地组合和改动现有的方法,解决复杂问题,化繁为简,实现问题分解;
(5)促进统计学习和深度学习的融合发展,元学习提供了融合这些方法的灵活框架。
▼
期待本书可以带大家在元学习的海洋中畅游,预见智能化的未来!
▊《元学习:基础与应用》
彭慧民 著
全方位:梳理元学习发展脉络,理清关键知识点
立体化:阐述元学习的基本理论框架与技术方法
多维度:分析元学习与人工智能其他方法的综合运用
实用度:介绍元学习应用场景中的模型,以适应多变的实际任务
(扫码查看本书详情)
如果喜欢本文 欢迎 在看丨留言丨分享至朋友圈 三连
热文推荐
▼点击阅读原文,查看本书详情~