收藏!机器学习算法优缺点综述
小白学视觉
共 9582字,需浏览 20分钟
· 2021-04-25
点击上方“小白学视觉”,选择加"星标"或“置顶”
重磅干货,第一时间送达
本文转自|视觉算法
-
正则化算法(Regularization Algorithms) -
集成算法(Ensemble Algorithms) -
决策树算法(Decision Tree Algorithm) -
回归(Regression) -
人工神经网络(Artificial Neural Network) -
深度学习(Deep Learning) -
支持向量机(Support Vector Machine) -
降维算法(Dimensionality Reduction Algorithms) -
聚类算法(Clustering Algorithms) -
基于实例的算法(Instance-based Algorithms) -
贝叶斯算法(Bayesian Algorithms) -
关联规则学习算法(Association Rule Learning Algorithms) -
图模型(Graphical Models)
正则化算法(Regularization Algorithms)
-
岭回归(Ridge Regression) -
最小绝对收缩与选择算子(LASSO) -
GLASSO -
弹性网络(Elastic Net) -
最小角回归(Least-Angle Regression)
-
其惩罚会减少过拟合 -
总会有解决方法
-
惩罚会造成欠拟合 -
很难校准
Boosting
Bootstrapped Aggregation(Bagging)
AdaBoost
层叠泛化(Stacked Generalization)(blending)
梯度推进机(Gradient Boosting Machines,GBM)
梯度提升回归树(Gradient Boosted Regression Trees,GBRT)
随机森林(Random Forest)
-
当先最先进的预测几乎都使用了算法集成。它比使用单个模型预测出来的结果要精确的多
-
需要大量的维护工作
树模型中的目标是可变的,可以采一组有限值,被称为分类树;在这些树结构中,叶子表示类标签,分支表示表征这些类标签的连接的特征。
-
分类和回归树(Classification and Regression Tree,CART) -
Iterative Dichotomiser 3(ID3) -
C4.5 和 C5.0(一种强大方法的两个不同版本)
-
容易解释 -
非参数型
-
趋向过拟合 -
可能或陷于局部最小值中 -
没有在线学习
-
普通最小二乘回归(Ordinary Least Squares Regression,OLSR) -
线性回归(Linear Regression) -
逻辑回归(Logistic Regression) -
逐步回归(Stepwise Regression) -
多元自适应回归样条(Multivariate Adaptive Regression Splines,MARS) -
本地散点平滑估计(Locally Estimated Scatterplot Smoothing,LOESS)
-
直接、快速 -
知名度高
-
要求严格的假设 -
需要处理异常值
-
感知器 -
反向传播 -
Hopfield 网络 -
径向基函数网络(Radial Basis Function Network,RBFN)
-
在语音、语义、视觉、各类游戏(如围棋)的任务中表现极好。 -
算法可以快速调整,适应新的问题。
-
需要大量数据进行训练 -
训练要求很高的硬件配置 -
模型处于黑箱状态,难以理解内部机制 -
元参数(Metaparameter)与网络拓扑选择困难。
-
深玻耳兹曼机(Deep Boltzmann Machine,DBM) -
Deep Belief Networks(DBN) -
卷积神经网络(CNN) -
Stacked Auto-Encoders
-
在非线性可分问题上表现优秀
-
非常难以训练 -
很难解释
-
主成分分析(Principal Component Analysis (PCA)) -
主成分回归(Principal Component Regression (PCR)) -
偏最小二乘回归(Partial Least Squares Regression (PLSR)) -
Sammon 映射(Sammon Mapping) -
多维尺度变换(Multidimensional Scaling (MDS)) -
投影寻踪(Projection Pursuit) -
线性判别分析(Linear Discriminant Analysis (LDA)) -
混合判别分析(Mixture Discriminant Analysis (MDA)) -
二次判别分析(Quadratic Discriminant Analysis (QDA)) -
灵活判别分析(Flexible Discriminant Analysis (FDA))
-
可处理大规模数据集 -
无需在数据上进行假设
-
难以搞定非线性数据 -
难以理解结果的意义
聚类算法是指对一组目标进行分类,属于同一组(亦即一个类,cluster)的目标被划分在一组中,与其他组目标相比,同一组目标更加彼此相似(在某种意义上)。
-
K-均值(k-Means) -
k-Medians 算法 -
Expectation Maximi 封层 ation (EM) -
最大期望算法(EM) -
分层集群(Hierarchical Clstering)
-
让数据变得有意义
-
结果难以解读,针对不寻常的数据组,结果可能无用。
-
K 最近邻(k-Nearest Neighbor (kNN)) -
学习向量量化(Learning Vector Quantization (LVQ)) -
自组织映射(Self-Organizing Map (SOM)) -
局部加权学习(Locally Weighted Learning (LWL))
-
算法简单、结果易于解读
-
内存使用非常高 -
计算成本高 -
不可能用于高维特征空间
-
朴素贝叶斯(Naive Bayes) -
高斯朴素贝叶斯(Gaussian Naive Bayes) -
多项式朴素贝叶斯(Multinomial Naive Bayes) -
平均一致依赖估计器(Averaged One-Dependence Estimators (AODE)) -
贝叶斯信念网络(Bayesian Belief Network (BBN)) -
贝叶斯网络(Bayesian Network (BN))
-
快速、易于训练、给出了它们所需的资源能带来良好的表现
-
如果输入变量是相关的,则会出现问题
-
Apriori 算法(Apriori algorithm) -
Eclat 算法(Eclat algorithm) -
FP-growth
-
贝叶斯网络(Bayesian network) -
马尔可夫随机域(Markov random field) -
链图(Chain Graphs) -
祖先图(Ancestral graph)
-
模型清晰,能被直观地理解
-
确定其依赖的拓扑很困难,有时候也很模糊
end
交流群
欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~
评论
科普:深度学习训练,不同预算GPU选购指南
以下文章来源于微信公众号:DeepHub IMBA作者:Mike Clayton本文仅用于学术分享,如有侵权,请联系后台作删文处理导读购买显卡第一个要考虑的问题是什么?当然是预算。本文提供了不同预算的显卡选购指南,希望能对各位读者有所帮助。在进行机器学习项目时,特别是在处理深度学习和神经网络时,最好
机器学习初学者
0
【深度学习】人人都能看懂的LSTM
熟悉深度学习的朋友知道,LSTM是一种RNN模型,可以方便地处理时间序列数据,在NLP等领域有广泛应用。在看了台大李宏毅教授的深度学习视频后,特别是介绍的第一部分RNN以及LSTM,整个人醍醐灌顶。本文就是对视频的记录加上了一些个人的思考。0. 从RNN说起循环神经网络(Recurrent Neur
机器学习初学者
0
学习开放日:开放复杂科学、AI+X 海量学习资源!
Datawhale干货 学习开放日:4月27-28日1. 什么是学习开放日?以AI为代表的技术突飞猛进,人类知识森林快速扩张,仅凭一人之力不仅难以覆盖,更是难以串联知识线索。唯有像蚂蚁探索最优路径一样,我们才能在信息爆炸的知识森林中探索出更好的方向!因此,今年集智斑图联合国内最
Datawhale
1
【深度学习】图解自注意力机制(Self-Attention)
一、注意力机制和自注意力机制的区别Attention机制与Self-Attention机制的区别传统的Attention机制发生在Target的元素和Source中的所有元素之间。简单讲就是说Attention机制中的权重的计算需要Target来参与。即在Encoder-Decoder 模型中,At
机器学习初学者
0
面试官:限流的常见算法有哪些?
限流的实现算法有很多,但常见的限流算法有三种:计数器算法、漏桶算法和令牌桶算法。1.计数器算法计数器算法是在一定的时间间隔里,记录请求次数,当请求次数超过该时间限制时,就把计数器清零,然后重新计算。当请求次数超过间隔内的最大次数时,拒绝访问。计数器算法的实现比较简单,但存在“突刺现象”。突刺现象是指
Stephen
0
985 本硕,秋招上岸阿里算法岗!
↓推荐关注↓节前,我们星球举办了技术&面试交流会,邀请了一些互联网大厂好友以及今年参加社招和校招面试的同学。会上探讨了一系列热门话题,包括大模型发展趋势、算法落地实践、面经总结,以及如何做好面试准备和应对常见考点。基于经验交流与实战经验,我们总结如下:《机器学习算法面试宝典》1.0 发布!今
Python学习与数据挖掘
0
6 个火爆 GitHub 的后台管理模板,快来收藏!
将Python客栈设为“星标⭐”第一时间收到最新资讯今天来给大家介绍6个火爆 G 站的管理后台模板,有了它们,对于前端不是很熟悉的小伙伴来说,再也不用烦恼了,而且有一说一,即使是前端大牛,要想从零开发一套完整的管理模板,也不是一件容易的事情。1. vue-element-admin该项目是基于 Vu
Python客栈
0
文末送书 | 大模型时代下如何学习云原生
《containerd 原理剖析与实战》新书内购中,点击阅读原文,限时 69.9 元购买。文末免费赠书大模型与云原生近年来,大语言模型的热度可谓是愈发高涨,尤其是今年年初 Sora 的出现,更是让全球再次看到了AIGC 的巨大威力。Sora 生成实例视频---几头巨大的长毛猛犸踏着积雪的草地而来在当
云原生实验室
10