机器学习算法优缺点综述
小白学视觉
共 9363字,需浏览 19分钟
· 2021-03-25
点击上方“小白学视觉”,选择加"星标"或“置顶”
重磅干货,第一时间送达
本文转自 | 新机器视觉
-
正则化算法(Regularization Algorithms) -
集成算法(Ensemble Algorithms) -
决策树算法(Decision Tree Algorithm) -
回归(Regression) -
人工神经网络(Artificial Neural Network) -
深度学习(Deep Learning) -
支持向量机(Support Vector Machine) -
降维算法(Dimensionality Reduction Algorithms) -
聚类算法(Clustering Algorithms) -
基于实例的算法(Instance-based Algorithms) -
贝叶斯算法(Bayesian Algorithms) -
关联规则学习算法(Association Rule Learning Algorithms) -
图模型(Graphical Models)
正则化算法(Regularization Algorithms)
-
岭回归(Ridge Regression) -
最小绝对收缩与选择算子(LASSO) -
GLASSO -
弹性网络(Elastic Net) -
最小角回归(Least-Angle Regression)
-
其惩罚会减少过拟合 -
总会有解决方法
-
惩罚会造成欠拟合 -
很难校准
Boosting
Bootstrapped Aggregation(Bagging)
AdaBoost
层叠泛化(Stacked Generalization)(blending)
梯度推进机(Gradient Boosting Machines,GBM)
梯度提升回归树(Gradient Boosted Regression Trees,GBRT)
随机森林(Random Forest)
-
当先最先进的预测几乎都使用了算法集成。它比使用单个模型预测出来的结果要精确的多
-
需要大量的维护工作
树模型中的目标是可变的,可以采一组有限值,被称为分类树;在这些树结构中,叶子表示类标签,分支表示表征这些类标签的连接的特征。
-
分类和回归树(Classification and Regression Tree,CART) -
Iterative Dichotomiser 3(ID3) -
C4.5 和 C5.0(一种强大方法的两个不同版本)
-
容易解释 -
非参数型
-
趋向过拟合 -
可能或陷于局部最小值中 -
没有在线学习
-
普通最小二乘回归(Ordinary Least Squares Regression,OLSR) -
线性回归(Linear Regression) -
逻辑回归(Logistic Regression) -
逐步回归(Stepwise Regression) -
多元自适应回归样条(Multivariate Adaptive Regression Splines,MARS) -
本地散点平滑估计(Locally Estimated Scatterplot Smoothing,LOESS)
-
直接、快速 -
知名度高
-
要求严格的假设 -
需要处理异常值
-
感知器 -
反向传播 -
Hopfield 网络 -
径向基函数网络(Radial Basis Function Network,RBFN)
-
在语音、语义、视觉、各类游戏(如围棋)的任务中表现极好。 -
算法可以快速调整,适应新的问题。
-
需要大量数据进行训练 -
训练要求很高的硬件配置 -
模型处于黑箱状态,难以理解内部机制 -
元参数(Metaparameter)与网络拓扑选择困难。
-
深玻耳兹曼机(Deep Boltzmann Machine,DBM) -
Deep Belief Networks(DBN) -
卷积神经网络(CNN) -
Stacked Auto-Encoders
-
在非线性可分问题上表现优秀
-
非常难以训练 -
很难解释
-
主成分分析(Principal Component Analysis (PCA)) -
主成分回归(Principal Component Regression (PCR)) -
偏最小二乘回归(Partial Least Squares Regression (PLSR)) -
Sammon 映射(Sammon Mapping) -
多维尺度变换(Multidimensional Scaling (MDS)) -
投影寻踪(Projection Pursuit) -
线性判别分析(Linear Discriminant Analysis (LDA)) -
混合判别分析(Mixture Discriminant Analysis (MDA)) -
二次判别分析(Quadratic Discriminant Analysis (QDA)) -
灵活判别分析(Flexible Discriminant Analysis (FDA))
-
可处理大规模数据集 -
无需在数据上进行假设
-
难以搞定非线性数据 -
难以理解结果的意义
聚类算法是指对一组目标进行分类,属于同一组(亦即一个类,cluster)的目标被划分在一组中,与其他组目标相比,同一组目标更加彼此相似(在某种意义上)。
-
K-均值(k-Means) -
k-Medians 算法 -
Expectation Maximi 封层 ation (EM) -
最大期望算法(EM) -
分层集群(Hierarchical Clstering)
-
让数据变得有意义
-
结果难以解读,针对不寻常的数据组,结果可能无用。
-
K 最近邻(k-Nearest Neighbor (kNN)) -
学习向量量化(Learning Vector Quantization (LVQ)) -
自组织映射(Self-Organizing Map (SOM)) -
局部加权学习(Locally Weighted Learning (LWL))
-
算法简单、结果易于解读
-
内存使用非常高 -
计算成本高 -
不可能用于高维特征空间
-
朴素贝叶斯(Naive Bayes) -
高斯朴素贝叶斯(Gaussian Naive Bayes) -
多项式朴素贝叶斯(Multinomial Naive Bayes) -
平均一致依赖估计器(Averaged One-Dependence Estimators (AODE)) -
贝叶斯信念网络(Bayesian Belief Network (BBN)) -
贝叶斯网络(Bayesian Network (BN))
-
快速、易于训练、给出了它们所需的资源能带来良好的表现
-
如果输入变量是相关的,则会出现问题
-
Apriori 算法(Apriori algorithm) -
Eclat 算法(Eclat algorithm) -
FP-growth
-
贝叶斯网络(Bayesian network) -
马尔可夫随机域(Markov random field) -
链图(Chain Graphs) -
祖先图(Ancestral graph)
-
模型清晰,能被直观地理解
-
确定其依赖的拓扑很困难,有时候也很模糊
交流群
欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~
评论
学习开放日:开放复杂科学、AI+X 海量学习资源!
Datawhale干货 学习开放日:4月27-28日1. 什么是学习开放日?以AI为代表的技术突飞猛进,人类知识森林快速扩张,仅凭一人之力不仅难以覆盖,更是难以串联知识线索。唯有像蚂蚁探索最优路径一样,我们才能在信息爆炸的知识森林中探索出更好的方向!因此,今年集智斑图联合国内最
Datawhale
1
面试官:限流的常见算法有哪些?
限流的实现算法有很多,但常见的限流算法有三种:计数器算法、漏桶算法和令牌桶算法。1.计数器算法计数器算法是在一定的时间间隔里,记录请求次数,当请求次数超过该时间限制时,就把计数器清零,然后重新计算。当请求次数超过间隔内的最大次数时,拒绝访问。计数器算法的实现比较简单,但存在“突刺现象”。突刺现象是指
Stephen
0
985 本硕,秋招上岸阿里算法岗!
↓推荐关注↓节前,我们星球举办了技术&面试交流会,邀请了一些互联网大厂好友以及今年参加社招和校招面试的同学。会上探讨了一系列热门话题,包括大模型发展趋势、算法落地实践、面经总结,以及如何做好面试准备和应对常见考点。基于经验交流与实战经验,我们总结如下:《机器学习算法面试宝典》1.0 发布!今
Python学习与数据挖掘
0
文末送书 | 大模型时代下如何学习云原生
《containerd 原理剖析与实战》新书内购中,点击阅读原文,限时 69.9 元购买。文末免费赠书大模型与云原生近年来,大语言模型的热度可谓是愈发高涨,尤其是今年年初 Sora 的出现,更是让全球再次看到了AIGC 的巨大威力。Sora 生成实例视频---几头巨大的长毛猛犸踏着积雪的草地而来在当
云原生实验室
10
轻松学习C#:百度行驶证C++离线SDK接入详解
效果 先看最终效果SDK 拿到完整包如图,687M解压后看看内容发现有个readme.txt,那就先看看内容1:用vs2015打开sln工程,最好用vs2015 comunity版本,可微软官网下载。2:sdk的doc目录有pdf接口文档。3:工程总入口main.cpp、请参考示例实现您的功能。4:
DotNet NB
9
日语五十音图学习难吗?
学习日语的初学者们都知道,我们学习日语最初就必须要接触日语五十音图,虽然相对其他语言来说,五十音图挺不是很难学,但是很多初学者可能会记不住,别担心,老师为大家带来了学习经验分享,一起来看看吧!五十音图就是日语最基础的基础,也就是地基。由于日语的元音比较单调,只有a/i/u/e/o这五种,再和各种辅音
python教程
0
Java版【数据结构与算法】的天花板,收藏好,慢慢看
Java 版数据结构与算法来了,堪称 java 版数据结构与算法的天花板,需要学数据结构与算法的,刷这套就可以了,目录如下,文末附教程地址。基础数据结构-001-二分查找-算法描述基础数据结构-002-二分查找-算法实现基础数据结构-003-二分查找-问题1-循环条件基础数据结构-004-二分查找-
路人甲Java
0
浅谈几款XML文档解析工具以及优缺点
一、简介XML,一种可扩展标记语言,通常被开发人员用来传输和存储数据,定义也比较简单,通常如下方式开头,用来表述文档的一些信息。<?xml version="1.0" encoding="UTF-8"?>例如下面这个简单的文档。<?xml versio
Stephen
1