常用分布
均匀分布
均匀分布(uniform distribution), 表示在上是均匀分布的。
Bernoulli分布
由单个参数控制，给出了随机变量等于1的概率。
Multinoulli分布
Multinoulli分布是Bernoulli分布的一个推广形式，Multinoulli分布能在单次试验中产生k种结果，当实验结果为第i个时，随机向量中的对应值为1，其余值均为0，随机向量记为(相当于独热编码)。
多维正态分布
它的参数是一个正定对称矩阵:
指数分布和Laplace分布
指数分布
Laplace分布
一个联系紧密的概率分布是laplace分布，它允许我们在任意一点出设置概率质量的峰值，
Dirac分布和经验分布
在一些情况下，我们希望概率分布中的所有质量都集中在一个点上，可以通过Dirac delta函数定义概率密度函数来实现。
被定义为除了0以外的所有点的值都为0，但积分为1，通过把定义成函数左移个单位，我们得到了一个在处具有无限窄也无限高的峰值的概率质量。
Dirac分布经常作为经验分布的一个组成部分出现：
经验分布将概率密度赋给m个点中的每一个，这些点是给定的数据集或者采样的集合，只有定义连续型随机变量的经验分布时，Dirac delta函数才是必要的。
分布的混合
混合分布由一些组件分布构成，每次实验，样本是由那个组件分布产生的取决于从一个Multinnoulli分布中采样的结果：
,其中是对各组件的一个Multinoulli分布。
一个非常强大而且常见的混合模型是高斯混合模型，它的组件p(x|c=i)是高斯分布。每个组件都有各自的参数，均值和协方差矩阵，有一些混合可以有更多的限制，例如，协方差矩阵可以通过的形式在组件之间共享参数。
常用函数的有用性质
logistic sigmoid函数
logistic sigmoid函数通常用来产生Bernoulli分布中的参数，因为它的值域为处在的有效取值范围内。sigmoid函数在变量取绝对值非常大的正值或者负值时会有饱和的现象，函数会变得很平，并且对输入的微小改变不敏感。
softplus函数
另外一个常见函数是softplus函数：
softplus函数可以用来产生正态分布的和参数，因为它的值域为，当处理包含sigmoid函数的表达式时它经常出现。softplus函数是另外一个函数的平滑形式。这个函数是。