Skip to content

似然与似然函数

似然与概率的区别

概率描述了已知参数时的随机变量的输出结果；似然则用来描述已知随机变量输出结果时，未知参数的可能取值。

例如，对于“一枚正反对称的硬币上抛十次”这种事件，我们可以问硬币落地时十次都是正面向上的“概率”是多少；而对于“一枚硬币上抛十次”，我们则可以问，这枚硬币正反面对称的“似然”程度是多少。

似然与概率的联系

似然函数的定义: 关于参数 \(\theta\) 的似然函数 (在数值上) 等于给定参数 \(\theta\) 后变量 \(\text{data}\) 的概率，即 $$ L(\theta|\text{data}) = P(\text{data}|\theta) = \prod_{i=1}^{N}P(x_i|\theta) $$

\[ \text{data} = (x_1, x_2, \cdots, x_n) \]

定义的合理性:

常说的概率是指给定参数后，预测即将发生的事件的可能性。我们已知一枚均匀硬币的正反面概率分别是0.5，要预测抛两次硬币，正面都朝上的概率: \(P(HH|p = 0.5) = 0.5 \times 0.5 = 0.25\) 。这种写法其实有点误导，后面的这个 \(p\) 其实是作为参数存在的，更靠谱的写法应该是 \(P(HH; p = 0.5)\) ，; 表示把参数隔开

似然概率正好与这个过程相反，我们关注的量不再是事件的发生概率，而是已知发生了某些事件，我们希望知道参数应该是多少。

现在我们已经抛了两次硬币，并且知道了结果是两次正面朝上，这时候，我希望知道这枚硬币抛出去正面朝上的概率为0.5的概率是多少？正面朝上的概率为0.8的概率是多少？（这里的0.5和0.8就是之前提到的参数）。如果我们希望知道正面朝上概率为0.5的概率，这个东西就叫做似然函数，可以说成是对某一个参数的猜想，\(L(p = 0.5|HH) = P(HH|p = 0.5) = P(HH;p = 0.5)\)。为什么可以这样写？我们把 \(L(p = 0.5|HH)\) 写成 \(P(p=0.5|HH)\) ，则 \(P(p = 0.5|HH) = P(p=0.5, HH) / P(HH)\) 。既然 \(HH\) 已经发生，那么 \(P(HH) = 1\) ，所以，\(P(p=0.5|HH) = P(p=0.5, HH) = P(HH;p=0.5)\)

Reference