【机器学习】吴恩达:机器学习的六个核心算法
机器学习初学者
共 8383字,需浏览 17分钟
· 2022-06-28
来源:AI科技评论,DataPi THU 本文约7100字,建议阅读13分钟 本文总结了机器学习领域多个基础算法的历史溯源。
算法:线性和逻辑回归、决策树等 概念:正则化、优化损失函数、偏差/方差等
汽车的油耗 y 与其重量 x 之间的关系取决于直线的斜率 w(油耗随重量上升的幅度)和偏置项 b(零重量时的油耗):y=w*x+b。
在训练期间,给定汽车的重量,算法会预测预期的油耗。它比较了预期和实际的油耗。然后,它将平方差最小化,通常通过普通最小二乘技术,磨练 w 和 b 的值。
考虑汽车的阻力可以生成更精确的预测。附加变量将线延伸到平面。通过这种方式,线性回归可以容纳任意数量的变量/维度。
训练水平调整曲线的中心位置,垂直调整曲线的中间位置,以最大限度地减少函数输出与数据之间的误差。
将中心调整到右侧或左侧意味着杀死普通人需要或多或少的毒药。陡峭的坡度意味着确定性:在中途点之前,大多数人幸存下来;超过一半,「就只能说再见了」(死亡的意思)。缓坡更宽容:低于曲线中部,一半以上幸存;再往上,只有不到一半的人会幸存。
在一个结果和另一个结果之间设置一个阈值,比如 0.5,曲线就变成了一个分类器。只需在模型中输入剂量,您就会知道您应该计划聚会还是葬礼。
在 1960 年代后期,英国统计学家 David Cox 和荷兰统计学家 Henri Theil 独立工作,对具有两种以上可能结果的情况进行了逻辑回归。
进一步的工作产生了有序逻辑回归,其中结果是有序值。
为了处理稀疏或高维数据,逻辑回归可以利用与线性回归相同的正则化技术。
基本方法是向地形下降最陡的方向移动。诀窍是校准你的步幅。步幅太小,就需要很长时间才能取得进展;步幅太大,你就会跳入未知的领域,可能是上坡而不是下坡。
给定当前位置,算法通过计算损失函数的梯度来估计最快下降的方向。梯度指向上坡,那么该算法就是通过减去梯度的一小部分来以相反的方向前进。称为学习率的分数 α 决定了再次测量梯度之前的步长。
反复做这几个步骤,希望你能到达一个山谷。恭喜!
一个神经元可接受各种输入(例如,代表像素或单词的数字,或前一层的输出),将它们与权重相乘,乘积相加,并得出由开发人员选择的非线性函数或激活函数的总和。期间要考虑到它是线性回归、加上一个激活函数。
训练修改权重。对于每个示例输入,网络会计算一个输出并将其与预期输出进行比较。反向传播可通过梯度下降来改变权重,以减少实际输出和预期输出间的差异。当有足够多(好的)例子重复这个过程足够多次,网络就能学会执行这个任务。
这棵树从一个可视为包含了所有案例的生物数据库的根节点出发——黑猩猩、大猩猩和红毛猩猩,以及卷尾猴、狒狒和狨猴。根会在两个子节点间提供选择,是否表现出某种特定特征,导致两个子节点包含具有和不具有该特征的示例。以此类推,这个过程中以任意数量的叶节点结束,每个叶节点都包含大部分或全部属于一个类别。
为了成长,树必须找到根决策。要做选择,则得考虑所有的特征及其价值——后附肢、桶状胸等——并选择能够最大限度提高分割纯度的那个特征。「最佳纯度」被定义为一个类别示例会 100% 进入一个特定的子节点、而不进入另一个节点。分叉很少在只做了一个决定之后就百分之百纯粹、且很可能永远也达不到。随着这个过程继续进行,产生一个又一个层次的子节点,直至纯度不会因为考虑更多的特征而增加多少。此时,这棵树树已经完全训练好了。
在推理时,一个新的示例从上到下经历过决策树,完成每个级别不同决策的评估。它会得到它所在叶节点所包含的数据标签。
在训练期间,算法最初通过随机选择 k 人来指定 k 个质心。(K 必须手动选择,找到一个最优值有时非常重要。)然后它通过将每个人与最近的质心相关联来增长 k 个集群。
对于每个集群,它计算分配到该组的所有人的平均位置,并将该平均位置指定为新的质心。每个新的质心可能都没有被一个人占据,但那又如何呢?人们倾向于聚集在巧克力和火锅周围。
计算出新的质心后,算法将个体重新分配到离他们最近的质心。然后它计算新的质心,调整集群,等等,直到质心(以及它们周围的组)不再移动。之后,将新成员分配到正确的集群就很容易。让他们在房间里就位并寻找最近的质心。
预先警告:鉴于最初的随机质心分配,你可能最终不会与你希望与之相处的以数据为中心的可爱 AI 专家在同一组中。该算法做得很好,但不能保证找到最佳解决方案。
K-medoids 使用实际数据点作为质心,而不是给定集群中的平均位置。中心点是可以将到集群中所有点的距离最小化的点。这种变化更容易解释,因为质心始终是数据点。
Fuzzy C-Means Clustering 使数据点能够不同程度地参与多个集群。它根据与质心的距离,用集群的度来代替硬簇分配。
往期精彩回顾
适合初学者入门人工智能的路线及资料下载 (图文+视频)机器学习入门系列下载 中国大学慕课《机器学习》(黄海广主讲) 机器学习及深度学习笔记等资料打印 《统计学习方法》的代码复现专辑 机器学习交流qq群955171419,加入微信群请扫码
评论
英伟达Blackwell平台网络配置分析
本文来自“英伟达Blachwell平台网络配置详解”。GTC大会英伟达展示了全新的 Blackwell 平台系列产品,包括 HGX B100 服务器、NVLINK Switch、GB200Superchip Computer Node、Quantum X800 交换机和 CX8 网卡(InfiniB
架构师技术联盟
0
金融研究 | 使用Python测量关键审计事项的「信息含量」
Tips: 公众号推送后内容只能更改一次,且只能改20字符。如果内容出问题,或者想更新内容, 只能重复推送。为了更好的阅读体验,建议阅读本文博客版, 链接地址https://textdata.cn/blog/2023-01-13-information-content-of-critical-aud
大邓和他的Python
0
我看阿里的年终奖总算发了!
到4月底了,这两天看朋友圈,发现阿里的年终奖终于发了,问了问老同学,也从网上检索了不少信息,基本搞清楚了阿里今年的年终奖情况。近来来阿里一些集团对绩效等级做了较大的调整,以前的旧绩效系统中,绩效分为3.25、3.5、3.75、4和5五个等级,其中4和5是较高绩效等级,较少见。而且之前3.5绩效内部划
公子龙
0
CVPR 2024|大视觉模型的开山之作!无需任何语言数据即可打造大视觉模型
↑ 点击蓝字 关注极市平台作者丨科技猛兽编辑丨极市平台极市导读 本文提出一种序列建模 (sequential modeling) 的方法,不使用任何语言数据,训练大视觉模型。>>加入极市CV技术交流群,走在计算机视觉的最前沿本文目录1 序列建模打造大视觉模型(来自 U
极市平台
1
金融研究(更新) | 使用Python构建关键审计事项的「信息含量」
Tips: 公众号推送后内容只能更改一次,且只能改20字符。如果内容出问题,或者想更新内容, 只能重复推送。为了更好的阅读体验,建议阅读本文博客版, 链接地址https://textdata.cn/blog/2023-01-13-information-content-of-critical-aud
大邓和他的Python
0
盘点Lombok的几个骚操作,你绝对没用过!
👉 欢迎加入小哈的星球 ,你将获得: 专属的项目实战 / Java 学习路线 / 一对一提问 / 学习打卡 / 赠书福利全栈前后端分离博客项目 2.0 版本完结啦, 演示链接:http://116.62.199.48/ ,新项目正在酝酿中
小哈学Java
0
堪称最优秀的Docker可视化管理工具——Portainer你真的会用吗?
来源:blog.csdn.net/shark_chili3007/article/details/123366179👉 欢迎加入小哈的星球 ,你将获得: 专属的项目实战 / Java 学习路线 / 一对一提问 / 学习打卡 / 赠书福利全栈前后端分离博客项目
小哈学Java
0
Apache Paimon毕业,湖仓架构的未来发展趋势!
北京时间 2024 年 4 月 16日,开源软件基金会 Apache Software Foundation(以下简称 ASF)正式宣布 Apache Paimon 毕业成为 Apache 顶级项目(TLP, Top Level Project)。经过社区的共同努力和持续创新,Apache Paim
程序源代码
0