概率论

　　

　　

　　条件概率 　　

　　

　　联合概率 　　

　　

　　完全概率 　　

　　

　　逆概率 　　

　　

　　贝叶斯规则 　　

　　

　　托马斯贝叶斯 　　

　　

　　先验概率 　　

　　

　　后验概率 　　

　　

　　似然概率 　　

　　

　　最大似然估计法 　　

　　

　　最大后验概率法 　　

　　

　　离散随机变量 　　

　　

　　连续随机变量 　　

　　

　　概率质量函数 　　

　　

　　概率密度函数 　　

　　

　　两点分布 　　

　　

　　二项分布 　　

　　

　　泊松分布 　　

　　

　　均匀分布 　　

　　

　　指数分布 　　

　　

　　正态分布 　　

　　

　　数字特征 　　

　　

　　数学的期望值 　　

　　

　　变化 　　

　　

　　协方差 　　

　　

　　看上面的数字就能感受到概率论的重要性，事实也是如此。概率论已经成为人工智能研究的主流工具，也是机器学习的核心部分。在实际应用中评价一个模型的主要指标有：精度、召回率、准确率、TPR(正案例覆盖率)、FPR(负案例覆盖率)，这些都与概率论有关。评价一个模型的好坏是一个非常重要的环节。比如一个预测模型的准确率是99%，但是只有100个样本。你敢用吗？就算99%不具有代表性，比如语音识别样本足够大上亿，准确率80%，看起来很高。但是，如果一句话中有一个词错了，如果是关键词，整句话的意思就变了。所以，前一段科大讯飞的演讲中说，他们的语音识别技术的准确率在6年内从60.2%提高到95%以上，并且得到了广泛的应用。 　　

　　

　　

概率论

　　

　　

　　关注的焦点是无处不在的可能性。随机事件可能性的标准化数学描述是概率论的公理化过程。 　　

　　

　　1.条件概率 　　

　　

　　掷硬币的概率，同学们都知道，是50%，但这是单次随机事件。如果是两个随机事件的关系，比如减肥，一个170cm，200斤的人会瘦10斤，另一个170cm，130斤的人会瘦10斤。两人170cm都会瘦10斤，但显然他们的成功概率不一样。这就需要引入条件概率的概念。 　　

　　

　　概率是根据已有信息调整样本空间得到的新的概率分布。概率是指在事件B已经发生的情况下，事件A发生的概率。公式如下：(注意这不是贝叶斯公式) 　　

　　

　　$$P(A|B)=\frac{P(AB)}{P(B)}$$ 　　

　　

　　2.联合概率 　　

　　

　　P(AB)称为联合概率，表示A和B两个事件同时发生的概率。 　　

　　

　　如果联合概率等于两个事件各自概率的乘积，即P(AB)=P(A)P(B)，那么它们是相互独立的，条件概率就是它自己的概率，即P(A|B)=P(A)。 　　

　　

　　3.全概率公式 　　

　　

　　它的作用是将复杂事件的概率解转化为不同情况下发生的简单事件的概率之和。就像一个人去医院说身体不适，这个时候很难判断出什么问题。但是通过拆分这个人的症状，比如流鼻涕，咳嗽，面色苍白，抽血化验看白细胞等。从这些指标可以总结出得病的概率，可以得出一个大概率。公式如下： 　　

　　

　　$ $ p(a)=\sum_{i=1}^{n}p(a|b_i)p(b_i)$$ 　　

　　

　　4.逆概率 　　

　　

　　解决方法是在事件结果已经确定的情况下，推断各种假设的可能性$$P(B_i|A)$。 　　

　　

　　5.贝叶斯公式 　　

　　

　　接下来是大家熟悉的贝叶斯公式，什么！不熟悉！接着读前一篇文章：https://xiaozhuanlan.com/topic/2849630571's公式如下： 　　

　　

　　$ $ p(b _ I | a)=\frac{p(a|b_i)p(b_i)}{\sum_{j=1}^{n}p(a|b_j)p(b_j)}$$ 　　

　　

　　现在人们知道贝叶斯公式是逆概率， 　　

　　

　　6.贝叶斯定理 　　

　　

　　根据贝叶斯公式的进一步推导，可以得到一个更熟悉的贝叶斯公式： 　　

　　

　　$ $ P(A | B)=\ frac { P(B | A)P(A)} { P(B)} $ $ 　　

　　

　　7.先验概率 　　

　　

　　上式中的P(A)称为先验概率，即一个预设假设成立的概率； 　　

　　

　　8.似然概率 　　

　　

　　P(B|A)称为似然概率，是假设成立的前提下观察到结果的概率； 　　

　　

　　9.后验概率 　　

　　

　　P(A|B)称为后验概率，即假设在观测结果的前提下成立的概率。 　　

　　

　　10.最大似然估计法 　　

　　

　　其思想是最大化训练数据出现的概率，从而确定概率分布中的未知参数，并估计概率 　　

　　

　　11.最大后验概率法 　　

　　

　　其思想是根据训练数据和其他已知条件，最大化未知参数的可能性，选取最有可能的未知参数作为估计值。最大后验概率法在估计参数时，需要数据之外的附加信息，即贝叶斯公式中的先验概率。 　　

　　

　　小总结： 　　

　　

　　看到这里，同学们可能会问：“怎么感觉和以前不一样了？” 　　

一样？”，没关系老铁，有这样的想法很正常，因为之前我们讲到的全是和机器学习紧密相关的，这里我们讲的是概率论，它们包含关系，概率论的范围当然更大，但是我们需要真正关心的是基于贝叶斯定理的各种方法，因为它与人类的认知相似度更高，在机器学习中扮演非常重要的角色。

　　

12.离散型随机变量

　　

离散变量的每个可能的取值都具有大于 0 的概率

　　

13.连续型随机变量

　　

其可能取值的数目为不可列无限个，当归一化的概率被分配到这无限个点上时，每个点的概率都是个无穷小量，取极限的话就等于零，而概率密度函数的作用就是对这些无穷小量加以区分。

　　

14.概率质量函数

　　

离散变量的取值和概率之间一一对应的关系就是离散型随机变量的分布律

　　

15.概率密度函数

　　

概率质量函数在连续型随机变量上的对应就是概率密度函数，体现不同取值可能性之间的相对关系，对概率密度函数进行积分，得到的才是连续型随机变量的取值落在某个区间内的概率。

　　

16.两点分布

　　

适用于二分类问题，事件发生的概率 不发生的概率=1。任何只有两个结果的随机试验都可以用两点分布描述，抛掷一次硬币的结果就可以视为等概率的两点分布。

　　

17.二项分布

　　

将满足参数为 a 的两点分布的随机试验独立重复 n 次，事件发生的次数即满足参数为 (n,a) 的二项分布。二项分布的表达式:

　　

$$P(X=k)=C_k^nP^k(1-p)^{(n-k)}$$

　　

18.泊松分布

　　

放射性物质在规定时间内释放出的粒子数所满足的分布，参数为 λ 的泊松分布表达式为

　　

$$P(X=k)=\frac{λ ^ke^{-λ }}{k!}$$

　　

这个公式需要解释一下：

　　

分母中的感叹号表示 “阶乘”：一个正整数的阶乘（factorial）是所有小于及等于该数的正整数的积，用个公式表示：n!=1×2×3×...×n

　　

e表示自然对数

　　

λ是单位时间内随机事件的平均发生率.它是泊松分布的均值

　　

k是单位时间内随机事件发生的次数

　　

19.均匀分布

　　

这个概念的理解需要结合上面提到的连续型随机变量和概率密度函数，在区间 (m, n) 上满足均匀分布的连续型随机变量，其概率密度函数为 1 / (n - m)，这个变量落在区间 (m, n) 内任意等长度的子区间内的可能性是相同的。

　　

20.指数分布

　　

满足参数为 θ指数分布的随机变量只能取正值，其概率密度函数为

　　

$$\frac{e^{-\frac{x}{θ}}}{θ}$$

　　

指数分布的一个重要特征是无记忆性：即 P(X > s t | X > s) = P(X > t)

　　

21.正态分布

　　

参数为正态分布的概率密度函数为

　　

$$ f(x)=\frac{1}{\sqrt{2π}σ}e\frac{-(x-μ)^2}{2σ^2}$$

　　

上式称为标准正态分布。正态分布是最常见最重要的一种分布，自然界中的很多现象都近似地服从正态分布。

　　

公式分解：

　　

μ表示均值，就是钟形曲线的对称轴

　　

$$σ^2$$为方差

　　

σ为标准差

　　

μ决定正态曲线的中心位置

　　

标准差σ决定正态曲线的陡峭或扁平程度

　　

σ越小，曲线越陡峭；σ越大，曲线越扁平

　　

22.数字特征

　　

用于刻画随机变量某些特性的常数，包括数学期望、方差和协方差。

　　

23.数学期望

　　

数学期望即均值，体现的是随机变量可能取值的加权平均，即根据每个取值出现的概率描述作为一个整体的随机变量的规律。

　　

24.方差

　　

方差表示的则是随机变量的取值与其数学期望的偏离程度。方差较小意味着随机变量的取值集中在数学期望附近，方差较大则意味着随机变量的取值比较分散。

　　

25.协方差

　　

描述两个随机变量之间的相互关系，就需要用到协方差和相关系数。协方差度量了两个随机变量之间的线性相关性，即变量 Y 能否表示成以另一个变量 X 为自变量的 aX b的形式。根据协方差可以进一步求出相关系数，相关系数是一个绝对值不大于 1 的常数，它等于 1 意味着两个随机变量满足完全正相关，等于 -1 意味着两者满足完全负相关，等于 0 则意味着两者不相关。(注意描述的是线性相关的关系)

　　

总结：

介绍了概率论中的基本概念，再之后的学习中遇到这些关键词要有印象，知道这些词代表是什么意思，这样学习起来会很流畅，否则的话，看一篇文章要google十几次，效率会很低，当然这种方法是对的，遇到不会的是要google去学习，但是为了提高学习效率可以提前准备起来，而且学习数学的好处是可预见性很高，因为已经有的数学知识种类基本确定了，而用于机器学习的数学相关知识也基本可以列出来，我们需要做的就是把这些准备工作给做好，后面学习起来的效率会更高，持续性会更强。

以上就是帮企客小编为大家带来的全部内容，希望可以帮助到大家。