收藏!机器学习算法优缺点综述
人工智能与算法学习
共 4703字,需浏览 10分钟
· 2021-05-31
正则化算法(Regularization Algorithms) 集成算法(Ensemble Algorithms) 决策树算法(Decision Tree Algorithm) 回归(Regression) 人工神经网络(Artificial Neural Network) 深度学习(Deep Learning) 支持向量机(Support Vector Machine) 降维算法(Dimensionality Reduction Algorithms) 聚类算法(Clustering Algorithms) 基于实例的算法(Instance-based Algorithms) 贝叶斯算法(Bayesian Algorithms) 关联规则学习算法(Association Rule Learning Algorithms) 图模型(Graphical Models)
正则化算法(Regularization Algorithms)
岭回归(Ridge Regression) 最小绝对收缩与选择算子(LASSO) GLASSO 弹性网络(Elastic Net) 最小角回归(Least-Angle Regression)
其惩罚会减少过拟合 总会有解决方法
惩罚会造成欠拟合 很难校准
Boosting
Bootstrapped Aggregation(Bagging)
AdaBoost
层叠泛化(Stacked Generalization)(blending)
梯度推进机(Gradient Boosting Machines,GBM)
梯度提升回归树(Gradient Boosted Regression Trees,GBRT)
随机森林(Random Forest)
当先最先进的预测几乎都使用了算法集成。它比使用单个模型预测出来的结果要精确的多
需要大量的维护工作
树模型中的目标是可变的,可以采一组有限值,被称为分类树;在这些树结构中,叶子表示类标签,分支表示表征这些类标签的连接的特征。
分类和回归树(Classification and Regression Tree,CART) Iterative Dichotomiser 3(ID3) C4.5 和 C5.0(一种强大方法的两个不同版本)
容易解释 非参数型
趋向过拟合 可能或陷于局部最小值中 没有在线学习
普通最小二乘回归(Ordinary Least Squares Regression,OLSR) 线性回归(Linear Regression) 逻辑回归(Logistic Regression) 逐步回归(Stepwise Regression) 多元自适应回归样条(Multivariate Adaptive Regression Splines,MARS) 本地散点平滑估计(Locally Estimated Scatterplot Smoothing,LOESS)
直接、快速 知名度高
要求严格的假设 需要处理异常值
感知器 反向传播 Hopfield 网络 径向基函数网络(Radial Basis Function Network,RBFN)
在语音、语义、视觉、各类游戏(如围棋)的任务中表现极好。 算法可以快速调整,适应新的问题。
需要大量数据进行训练 训练要求很高的硬件配置 模型处于黑箱状态,难以理解内部机制 元参数(Metaparameter)与网络拓扑选择困难。
深玻耳兹曼机(Deep Boltzmann Machine,DBM) Deep Belief Networks(DBN) 卷积神经网络(CNN) Stacked Auto-Encoders
在非线性可分问题上表现优秀
非常难以训练 很难解释
主成分分析(Principal Component Analysis (PCA)) 主成分回归(Principal Component Regression (PCR)) 偏最小二乘回归(Partial Least Squares Regression (PLSR)) Sammon 映射(Sammon Mapping) 多维尺度变换(Multidimensional Scaling (MDS)) 投影寻踪(Projection Pursuit) 线性判别分析(Linear Discriminant Analysis (LDA)) 混合判别分析(Mixture Discriminant Analysis (MDA)) 二次判别分析(Quadratic Discriminant Analysis (QDA)) 灵活判别分析(Flexible Discriminant Analysis (FDA))
可处理大规模数据集 无需在数据上进行假设
难以搞定非线性数据 难以理解结果的意义
聚类算法是指对一组目标进行分类,属于同一组(亦即一个类,cluster)的目标被划分在一组中,与其他组目标相比,同一组目标更加彼此相似(在某种意义上)。
K-均值(k-Means) k-Medians 算法 Expectation Maximi 封层 ation (EM) 最大期望算法(EM) 分层集群(Hierarchical Clstering)
让数据变得有意义
结果难以解读,针对不寻常的数据组,结果可能无用。
K 最近邻(k-Nearest Neighbor (kNN)) 学习向量量化(Learning Vector Quantization (LVQ)) 自组织映射(Self-Organizing Map (SOM)) 局部加权学习(Locally Weighted Learning (LWL))
算法简单、结果易于解读
内存使用非常高 计算成本高 不可能用于高维特征空间
朴素贝叶斯(Naive Bayes) 高斯朴素贝叶斯(Gaussian Naive Bayes) 多项式朴素贝叶斯(Multinomial Naive Bayes) 平均一致依赖估计器(Averaged One-Dependence Estimators (AODE)) 贝叶斯信念网络(Bayesian Belief Network (BBN)) 贝叶斯网络(Bayesian Network (BN))
快速、易于训练、给出了它们所需的资源能带来良好的表现
如果输入变量是相关的,则会出现问题
Apriori 算法(Apriori algorithm) Eclat 算法(Eclat algorithm) FP-growth
贝叶斯网络(Bayesian network) 马尔可夫随机域(Markov random field) 链图(Chain Graphs) 祖先图(Ancestral graph)
模型清晰,能被直观地理解
确定其依赖的拓扑很困难,有时候也很模糊
原文链接:
https://static.coggle.it/diagram/WHeBqDIrJRk-kDDY/t/categories-of-algorithms-non-exhaustive
评论
科普:深度学习训练,不同预算GPU选购指南
以下文章来源于微信公众号:DeepHub IMBA作者:Mike Clayton本文仅用于学术分享,如有侵权,请联系后台作删文处理导读购买显卡第一个要考虑的问题是什么?当然是预算。本文提供了不同预算的显卡选购指南,希望能对各位读者有所帮助。在进行机器学习项目时,特别是在处理深度学习和神经网络时,最好
机器学习初学者
0
【深度学习】人人都能看懂的LSTM
熟悉深度学习的朋友知道,LSTM是一种RNN模型,可以方便地处理时间序列数据,在NLP等领域有广泛应用。在看了台大李宏毅教授的深度学习视频后,特别是介绍的第一部分RNN以及LSTM,整个人醍醐灌顶。本文就是对视频的记录加上了一些个人的思考。0. 从RNN说起循环神经网络(Recurrent Neur
机器学习初学者
0
学习开放日:开放复杂科学、AI+X 海量学习资源!
Datawhale干货 学习开放日:4月27-28日1. 什么是学习开放日?以AI为代表的技术突飞猛进,人类知识森林快速扩张,仅凭一人之力不仅难以覆盖,更是难以串联知识线索。唯有像蚂蚁探索最优路径一样,我们才能在信息爆炸的知识森林中探索出更好的方向!因此,今年集智斑图联合国内最
Datawhale
1
【深度学习】图解自注意力机制(Self-Attention)
一、注意力机制和自注意力机制的区别Attention机制与Self-Attention机制的区别传统的Attention机制发生在Target的元素和Source中的所有元素之间。简单讲就是说Attention机制中的权重的计算需要Target来参与。即在Encoder-Decoder 模型中,At
机器学习初学者
0
面试官:限流的常见算法有哪些?
限流的实现算法有很多,但常见的限流算法有三种:计数器算法、漏桶算法和令牌桶算法。1.计数器算法计数器算法是在一定的时间间隔里,记录请求次数,当请求次数超过该时间限制时,就把计数器清零,然后重新计算。当请求次数超过间隔内的最大次数时,拒绝访问。计数器算法的实现比较简单,但存在“突刺现象”。突刺现象是指
Stephen
0
985 本硕,秋招上岸阿里算法岗!
↓推荐关注↓节前,我们星球举办了技术&面试交流会,邀请了一些互联网大厂好友以及今年参加社招和校招面试的同学。会上探讨了一系列热门话题,包括大模型发展趋势、算法落地实践、面经总结,以及如何做好面试准备和应对常见考点。基于经验交流与实战经验,我们总结如下:《机器学习算法面试宝典》1.0 发布!今
Python学习与数据挖掘
0
6 个火爆 GitHub 的后台管理模板,快来收藏!
将Python客栈设为“星标⭐”第一时间收到最新资讯今天来给大家介绍6个火爆 G 站的管理后台模板,有了它们,对于前端不是很熟悉的小伙伴来说,再也不用烦恼了,而且有一说一,即使是前端大牛,要想从零开发一套完整的管理模板,也不是一件容易的事情。1. vue-element-admin该项目是基于 Vu
Python客栈
0
文末送书 | 大模型时代下如何学习云原生
《containerd 原理剖析与实战》新书内购中,点击阅读原文,限时 69.9 元购买。文末免费赠书大模型与云原生近年来,大语言模型的热度可谓是愈发高涨,尤其是今年年初 Sora 的出现,更是让全球再次看到了AIGC 的巨大威力。Sora 生成实例视频---几头巨大的长毛猛犸踏着积雪的草地而来在当
云原生实验室
10