24,368被浏览1,014,202分享邀请回答weixin.qq.com/r/iUgiOm3EeDAHrSlZ9x2b (二维码自动识别)2.7K250 条评论分享收藏感谢收起coursera.org/learn/machine-learning第二步，使用PYTHON结合数据挖掘知识进行实际案列操作。请使用《集体智慧编程》，这本书的评价我也给你们贴出来，豆瓣评分9分，质量自然不用我说。我唯一想强调的是：请你一定要全部代码自己写一遍，不要复制粘贴！！！！！！如果有时间，请去学习一下关于PYTHON的课程：第三步，欢迎使用《机器学习系统设计》这本书，你会接触到PYTHON里面最niubility的SCIKIT-LEARN机器学习包。虽然官网文档阅读性已经很佳，但是缺少一个系统的过程。而这本书就是教会你如何从真实的业务角度去思考运用机器学习模型。 同样的，请你自己敲代码，不懂的就去看官方文档，还是不懂的就去google。第四步，想知道为什么豆瓣和亚马逊的推荐那么准确？
那么《推荐系统实战》绝对是一本最佳的书籍，作者将全部的算法使用PYTHON实现，无论是基于业务的推送还是基于协同过滤算法的推送都讲解的非常清楚！！如果你有兴趣了解，请毫不犹豫的上马拉弓~第五步，你一定听说过R，一定也纠结过到底学习R还是PYTHON。那么我就粗暴的回答一下：都要学！，前期已PYTHON为主，后期一起学习R语言，不要问我为什么，纯属个人感觉。 《R IN ACTION》绝对绝对是入门的最好参考书，没有之一。跟着书上的代码敲一遍，模型计算都自己搞清楚（你有了前面的基础，这些学起来很轻松）。最后，COURSERA上面的R语言课程很糟，谁听谁倒霉，不信你去试试？高级部分下次再敲，累~~~5K171 条评论分享收藏感谢收起9,072被浏览686,902分享邀请回答2K48 条评论分享收藏感谢收起注册 | 登录
小角色，公众号:tracykanc
零基础学产品，BAT产品总监带，2天线下集训+1年在线课程，全面掌握优秀产品经理必备技能。
本文是《》的第十五篇教程，如果想要了解写作初衷，可以先行阅读七周指南。温馨提示：如果您已经熟悉概率分布，大可不必再看这篇文章，或只挑选部分。
我们已经了解概率的基础，概率中通常将试验的结果称为随机变量。随机变量将每一个可能出现的试验结果赋予了一个数值，包含离散型随机变量和连续型随机变量。
掷硬币就是一个典型的离散型随机变量，离散随机变量可以取无限个但可数的数值。而连续变量相反，它在某一个区间内能取任意的数值。时间就是一个典型的连续变量，1.25分钟、1.251分钟，1.2512分钟，它能无限分割。
既然随机变量可以取不同的值，统计学家就用概率分布描述随机变量取不同值的概率。相对应的，有离散型概率分布和连续型概率分布。
对于离散型随机变量x，定义一个概率函数叫f(x)，它给出了随机变量取每一个值的概率。
拿出一个骰子，掷到6的概率是f(6) = 1/6，掷到1和6的概率则是f(1)+f(6) = 1/3。
数学期望和方差
现在有一个运营活动，两套抽奖概率方案，如下：
作为运营人员，应该怎么衡量两种抽奖方法的好坏呢？
数学期望是对随机变量中心位置的一种度量。是试验中每次可能结果的乘以其结果的总和。简单说，它是概率中的平均值，可以用期望对比两套方案。
假设一等奖成本1000元，二等奖成本500元，三等奖成本100元，欢迎下次再来当然没钱，而用户参加一次抽奖需要5元。我们将概率问题转换成运营方的收益和成本计算期望（下面的盈亏是公司角度的）。
于是E(x) = (-990*5%)+(-490*10%)+(-90*20%)+(10*65%) = -110。也就是说，A方案能够期望每次抽奖运营方亏损110元。计算一下B方案，则是亏损150元。如果从用户的角度看，每一次抽奖的期望则反过来，即一等奖能受益990元，二等奖能受益490元…A方案玩一次平均收益110元。
想必大家已经知道了如何设计活动的盈亏机制，感兴趣可以自行调节中奖概率和成本。
期望值衡量概率的平均值，可是抽奖本来就是很激动人心的事情，哪怕明知道会赔钱，人们还乐此不疲，为什么？因为风险，因为以小搏大。
方差就是这种风险的度量，即随机变量的变异性。它和描述统计学的方差是一个含义。
方差越大，随机变量的结果越不稳定，计算A方案的方差如下：
方差最后为62600，说明期望的波动很大。标准差为sqrt(62600) = 250.19，代表每一次的抽奖，与期望收益-110的距离是250.19元。
到这里，概率和期望方差的基本玩法已经讲完了。
二项概率分布
二项分布是一种离散型的概率分布。故明思义，二项代表它有两种可能的结果，把一种称为成功，另外一种称为失败。
除了结果的规定，它还需要满足其他性质：每次试验成功的概率均是相同的，记录为p；失败的概率也相同，为1-p。每次试验必须相互独立，该试验也叫做伯努利试验，重复n次即二项概率。
掷硬币就是一个典型的二项分布。当我们要计算抛硬币n次，恰巧有x次正面朝上的概率，可以使用二项分布的公式：
假设抛硬币5次，恰巧有3次正面朝上，则其概率为31.25%。可以使用Excel中的BINOM.DIST函数计算。
不妨把题目变化一下，变成计算硬币至少有三次正面朝上的概率是多少？有一种简单的方法是累加，将恰巧有3次，恰巧有4次，恰巧有5次的概率相加，结果便是至少3次，为50%。
回到运营活动的例子，上面一个运营活动公司亏惨了，现在运营需要重新做一个抽奖活动，每位用户拥有10次抽奖机会，中奖概率是5%。老板准备先考虑成本问题，想知道至少有3次以上中奖机会的概率是多少？
按照上题的思路，可以拿恰巧3次，恰巧4次直到恰巧10次累加求和，但是这样太麻烦了。此时可以换一个思路，先计算最多2次的概率是多少。那么便是f(0)+f(1)+f(2)，结果是92.98%，利用概率公式1-92.98%，就是至少3次的概率了，为7.02%。看来老板还是能松口气的。
二项概率的数学期望为E(x) = np，方差Var(x) = np(1-p)。抽奖10次，那么抽奖的期望值就是1，方差为0.9。
运营学会二项分布，在涉及概率的各种活动中，将变得游刃有余。它的原理甚至能用到AB测试。大学考试中二项概率需要查专门的概率表计算，不过现在各类工具层出不穷，Python、R、Excel都能直接计算。
泊松概率分布
泊松概率是另外一个常用的离散型随机变量，它主要用于估计某事件在特定时间或空间中发生的次数。比如一天内中奖的个数，一个月内某机器损坏的次数等。
泊松概率的成立条件是在任意两个长度相等的区间中，时间发生的概率是相同的，并且事件是否发生都是相互独立的。
泊松概率既然表示事件在一个区间发生的次数，这里的次数就不会有上限，x取值可以无限大，只是可能性无限接近0，f(x)的最终值很小。
x代表发生x次，u代表发生次数的数学期望，概率函数为：
现在又举办了一个新的运营活动，这次的中奖概率未知，只知24小时内中奖的平均个数为5个，老板异想天开地想知道24小时内恰巧中奖次数为7的概率是多少？
此时x=7，u=5（区间内发生的平均次数就是期望），代入公式求出概率为10.44%。Excel中的函数为POISSON.DIST。
接下来继续加大问题难度，求中奖次数至少7次的概率。此时f(0)+f(1)+f(2)+f(3)+f(4)+f(5)+f(6)=86.66%，那么至少七次的概率为13.33%。
如果问题变成12小时内呢？老板希望知道12小时内中奖次数为3次的概率是多少？
24小时内中奖概率的期望数是5，那么12小时内的中奖概率期望数是2.5，于是令u=2.5，求出12小时内中奖次数为3的概率是79.99%。
泊松概率还有一个重要性质，它的数学期望和方差相等，所以上题的方差为2.5，标准差为根号2.5，即1.58。
上述分布都是离散概率分布，当随机变量是连续型时，情况就完全不一样了。因为离散概率的本质是求x取某个特定值的概率，而连续随机变量不行，它的取值是可以无限分割的，它取某个值时概率近似于0。连续变量是随机变量在某个区间内取值的概率，此时的概率函数叫做概率密度函数。
正态概率分布是连续型随机变量中最重要的分布。世界上绝大部分的分布都属于正态分布，人的身高体重、考试成绩、降雨量等都近似服从。
正态分布如同一条钟形曲线。中间高，两边低，左右对称。想象身高体重、考试成绩，是否都呈现这一类分布态势：大部分数据集中在某处，小部分往两端倾斜。
正态概率密度函数为：
是不是看得头晕了？u代表均值，σ代表标准差，两者不同的取值将会造成不同形状的正态分布。均值表示正态分布的左右偏移，标准差决定曲线的宽度和平坦，标准差越大曲线越平坦。
以前介绍过一个正态分布的经验法则：
正态随机变量有69.3%的值在均值加减一个标准差的范围内，95.4%的值在两个标准差内，99.7%的值在三个标准差内。这条经验法则可以帮助我们快速计算数据的大体分布。
均值u=0，标准差σ=1的正态分布叫做标准正态分布。它的随机变量用z表示，它是推断统计的基础。将均值和标准差代入正态概率密度函数，得到一个简化的公式：
现在可以用简化的公式计算概率密度了。首先学习一个新的函数叫累计分布函数，它是概率密度函数的积分。用P(X&=x)表示随机变量小于或者等于某个数值的概率，F(x) = P(X&=x)。
曲线就是概率密度函数，当x取某个值时，曲线上f(x)点的数值即表示随机变量在对应的x点值的取值概率，曲线与X轴相交的阴影面积就是累计分布函数。我们不妨把概率密度函数按其名字简单理解成「密度」，毕竟连续变量只有在区间中才有计算的意义，于是密度函数充当了辅助计算的角色。分析中我们更多实用累计分布函数。
标准正态分布中，给定一个值z，可以计算随机变量z小于等于某一个值的概率；z在两个值之间的概率；以及z大于等于一个值的概率。这三种计算都用到累计分布函数，分别记作P(z&=x)，P(x1&=z&=x2)，P(z&=x)。
首先计算z小于等于1的概率，即P(z&=1)。由excel 的函数NORM.DIST(1,0,1,TRUE)求得值为0.8413。于是P(z&=1)=0.8413。同理，P(z&1) = 1-P(z&=1) = 0.1586。
若要计算z在区间-1～1.25的概率，即P(-1&=z&=1.25)。可以将其拆解为公式：P(-1&=z&=1.25) = P(z&=1.25) – P(z&=-1) = 0.735。
如果大家在公式转换中有困惑，不妨结合上面的阴影图看。靠左的阴影即z小于等于0.8时(目测)的概率，如果我们要算0～0.8之间的概率呢？就是把z&=0的那一半给挖掉，非常粗暴的算法。
到了这里大家可能发觉，在正态分布的计算中，不论求哪一类区间，我们都是先转换成z小于等于某个值先计算。这是一个潜移默化的规则，因为早期正态概率的计算都要用到标准正态概率表，它以z小于等于作查询标准。现在虽然计算资源已经大大丰富，但是这个习惯还是保留了下来。
之所以强调标准正态分布，是因为所有的正态分布概率都可以利用标准正态分布计算。当我们具有一个任意均值的u和标准差σ，都能将其转换成标准状态分布。
现在有一个u=10和σ=2的正态随机变量，求x在10与14之间的概率是多少？
当x=10时，z=(10-10)/2=2。当x=14时，z=(14-10)/2=2。于是x在10和14之间的概率等价于标准正态分布中0和2之间的概率。计算P(0&=z&=2) =P(z&=2) – P(z&=0) =0.4772。
现在是最后一个运营活动了，不再是抽奖，而是最终赠送奖品的环节。已知奖品的保质期满足正态分布，均值90天，标准差5天。为了考虑用户体验，想知道奖品70天以内就坏的概率是多少？
当x=70时，有z=(70-90)/5 = -4。p(z&=-4)=0.003%。概率非常小，可以忽略不计，所以产品质量杠杠的。经历了那么多活动，老板终于可以松一口气了。
在概率分布中还有一个概念叫正态近似。当试验次数很大时，二项分布可以近似于正态分布，泊松分布也有相似的情况，大家有兴趣可以去了解，这是一种简便方法，不过工作中现在都是计算机了，这点反而不重要了。
了解完各类分布后，我们将进入最后的环节，假设检验，它是基于概率的理论，数据分析中的AB测试，就是其最常见的应用。
#专栏作家#
秦路，微信公众号ID：tracykanc，人人都是产品经理专栏作家。
本文由 @秦路 原创发布于人人都是产品经理。未经许可，禁止转载。
如果觉得有用，欢迎打赏！
赞赏5人打赏
收藏已收藏 | 45赞已赞 | 9
小角色，公众号:tracykanc
产品经理群运营交流群营销交流群
文案交流群
Axure交流群
PM要学点技术
关注微信公众号
11个回答21人关注
15个回答19人关注
26个回答101人关注
26个回答39人关注
39个回答32人关注
36个回答36人关注9,072被浏览686,902分享邀请回答2K48 条评论分享收藏感谢收起30420 条评论分享收藏感谢收起1,246被浏览48,070分享邀请回答i.stanford.edu/~ragho/hive-icde2010.pdfHadoop 2.0新知识; HDFS2 HA，Snapshot, ResourceManager,ApplicationsManager, NodeManager进阶:HDFS，Replica如何定位Hadoop 参数调优，性能优化，Cluster level: JVM, Map/Reduce Slots, Job level: Reducer #, Memory, use Combiner? use Compression?算法：字典同位词翻译SQL语句 select count(x)Blog关注, , MapR相关系统数据流系统: 内存计算系统: 交互式实时系统：Cloudera Impala， Apache Drill (Dremel开源实现），Tez (Hortonworks)公司列表：其他Hadoop进化目标：开发部署傻瓜化，性能更强劲，最后为程序员标配。核心都是被寡头控制的，记得一边文章说一流的公司卖标准，二流的公司卖技术，三 流的公司卖产品，H和C有最多的committer，自然就影响着整个Hadoop社区。技术就是日新月异，还是多看看那些公司的博客，关注感兴趣的新产品，在Hadoop系统中从头裸写MapReduce不现实了，ETL基本靠Hive,Pig, 还有,MapReduce并不是最优的，仅适合批处理，很多问题：JVM的启动overhead很大，小 Job更明显，数据必须先存储，不适合迭代计算，延迟高。DB学术圈讨论很久tradeoff 了,2746 条评论分享收藏感谢收起8添加评论分享收藏感谢收起