神经网络与高斯过程会碰撞出怎样的火花?
算法进阶
共 20206字,需浏览 41分钟
·
2023-08-30 18:24
【导读】大家好,我是泳鱼。一个乐于探索和分享AI知识的码农!
神经网络是目前最强大的函数近似器,而高斯过程是另一种非常强大的近似方法。结合高斯过程与神经网络模型(Neural Network Gaussian Process),这种模型能获得神经网络训练上的高效性,与高斯过程在推断时的灵活性。阅读本文具体了解下吧~
本文中,我们先梳理出单隐层神经网络与高斯过程(GP)的关系,再将概念拓展到多隐层神经网络,然后讨论如何用 GP 来完成传统神经网络的任务,即学习和预测。
1 单隐层神经网络与NNGP
定义:高斯过程是是一组变量的集合,这组变量的任意子集都服从多元高斯分布。[2]
2 多隐层神经网络与NNGP
3 用NNGP做预测
训练集的每个样本包括一个输入值和一个观测值:
我们将它们记为向量的形式:
4 总结
参考文献
评论