正态分布对数据分析很重要!
数据管道
共 1444字,需浏览 3分钟
· 2021-11-05
转自:机器之心
什么是概率分布?
什么是正态分布?
为什么变量如此青睐正态分布
如何用 Python 查看查看特征的分布?
其它分布变一变也能近似正态分布
什么是概率分布?
如果我们想准确地预测变量,那么首先我们要了解目标变量的基本行为。 我们先要确定目标变量可能输出的结果,以及这个可能的输出结果是离散值(孤立值)还是连续值(无限值)。简单点解释就是,如果我们要评估骰子的行为,那么第一步是要知道它可以取 1 到 6 之间的任一整数值(离散值)。 然后下一步是开始为事件(值)分配概率。因此,如果一个值不会出现,则概率为 0%。
什么是正态概率分布?
平均值——样本中所有点的平均值。
标准差——表示数据集与样本均值的偏离程度。
为什么这么多变量近似正态分布?
平均值是曲线的中心。这是曲线的最高点,因为大多数点都在平均值附近; 曲线两侧点的数量是相等的。曲线中心的点数量最多; 曲线下的面积是变量能取的所有值的概率和; 因此曲线下面的总面积为 100%。
约有 68.2% 的点落在 ±1 个标准差的范围内 约有 95.5% 的点落在 ±2 个标准差的范围内 约有 99.7% 的点落在 ±3 个标准差的范围内。
如果你用计算好的概率密度函数绘制概率分布曲线,那么给定范围的曲线下的面积就描述了目标变量在该范围内的概率。 概率分布函数是根据多个参数(如变量的平均值或标准差)计算得到的。 我们可以用概率分布函数求出随机变量在一个范围内取值的相对概率。举个例子,我们可以记录股票的日收益,把它们分到合适的桶中,然后找出未来收益概率在 20~40% 的股票。 标准差越大,样本波动越大。
如何用 Python 找出特征分布?
AxB 服从正态分布; A+B 服从正态分布。
变量还是乖乖地变成正态分布吧
Z 分数 计算平均值 计算标准差
scipy.stats.boxcox(x, lmbda=None, alpha=None)
sklearn.preprocessing.PowerTransformer(method=’yeo-johnson’, standardize=True, copy=True)
推荐阅读
欢迎长按扫码关注「数据管道」
评论
Code Review 时,曾被我忽视的 3 件重要小事
来源:pigleiCode Review(代码评审)是一种流行的软件开发实践。通过在代码合入主分支前引入人工评审,能有效促进成员间的知识交流,提升软件质量。我以评审者的身份参与过大量代码评审。在评审一份代码时,有些事项长期处在我的关注榜头部,比如设计是否考虑到了边界情况、代码是否有合理的单测覆盖。也
Python猫
8
韩斌院士团队与合作者在水稻染色体外环状DNA研究中取得重要进展
科研进展理解基因组的动态特性是当前基因组学研究的前沿方向之一。eccDNA(染色体外环状DNA)作为真核生物基因组的重要组成部分,在人类等物种中已被证实具有丰富且重要的生物学功能,但在植物中的研究尚属空白。水稻作为单子叶模式植物和重要粮食作物,开展其eccDNA的系统研究,将有助于从新的角度认识水稻
生信宝典
0
发现一奇怪现象:失业的人要么跑滴滴,要么送外卖,其实这5件事比找工作重要得多!
上一篇:前知乎员工娶了个道教老婆,结果自己失业了,在老婆的影响下,慢慢相信命运,怀疑是老婆帮我转运了在职场生涯中,我们无可避免地会面临失业的风险。失业不仅仅是一个令人不安的话题,它还代表着我们的经济来源可能突然中断。对于那些肩负着家庭责任,比如抚养孩子和照顾老人的人来说,失业更是一件极具压力的事情。
开发者全社区
10
重要提醒!儿童不要使用!
国家药监局网站15日发布提示,提醒消费者安全使用防晒“喷雾”化妆品。提示称,不建议儿童使用防晒“喷雾”化妆品,尤其是小年龄儿童、过敏体质儿童。由于儿童各方面发育尚未完全,呼吸控制能力较弱,再加上儿童心智尚未健全,在使用防晒“喷雾”化妆品过程中更易出现不慎入鼻、入口、入眼等现象,引发健康风险;如必须使
盱眙老妹
0
实例讲解机房防雷接地,很全面-附防雷接地图集!
关于防雷接地这一部分介绍的比较少。下面我们就重点介绍一下防雷接地知识。对于机房的接地,我们平时主要是参考三个规范比较多。《电子计算机机房设计规范》(GB 50174)《建筑物防雷设计规范》(GB 50057)《建筑物电子信息系统防雷技术规范》(GB50343)本期我们来通过一个实例,详细了解机房如何
数据中心运维管理
10
重要通知:新规来了!
为加强中小学校、幼儿园消防安全管理,近日,教育部、国家消防救援局研究制定了《中小学校、幼儿园消防安全十项规定》,要求各地加强对中小学校、幼儿园消防安全指导监督,对履行职责不到位、发生火灾事故的严肃追责...
盱眙老妹
0
字节员工:很痛苦,快40了,来字节2个多月,每天都想离职,没有想好辞职做什么,所以挺着。
架构师大咖 架构师大咖,打造有价值的架构师交流平台。分享架构师干货、教程、课程、资讯。架构师大咖,每日推送。 公众号该公众号已被封禁一位字节跳动的员工描述了自己在字节跳动两个多月来的痛苦经历。这位员工表...
iOS开发
0
重要通知:我宣布永久免费!!
大家好,我是R哥。 我这几年写公众号及Java面试库积累了数十万的程序员朋友,技术群就一大堆,群都比较分散,天南地北,不方便大家的交流及沉淀。 所以前阵子我创建了一个知识星球, 承诺永久免费 , 这也是我唯一免...
火焰蓝程猿
0