EM算法总结

Posted on 2016-12-11 Edited on 2024-11-10 In Machine Learning

在概率模型中，最常用的模型参数估计方法应该就是最大似然法。
EM算法本质上也是最大似然，它是针对模型中存在隐变量的情况的最大似然。

下面通过两个例子引入。

没有隐变量的硬币模型

假设有两个硬币， $A$ 和 $B$ ，这两个硬币具体材质未知，即抛硬币的结果是head的概率不一定是50%。

在这个实验中，我们每次拿其中一个硬币，抛10次，统计结果。

实验的目标是统计 $A$ 和 $B$ 的head朝上的概率，即估计 ${\hat{θ}}_{A}$ 和 ${\hat{θ}}_{B}$ 。

对每一枚硬币来说，使用极大似然法来估计它的参数：
假设硬币 $A$ 正面朝上的次数是 $n_{h}^{A}$ ，反面朝上的次数是： $n_{t}^{A}$ 。

似然函数： $L (θ_{A}) = (θ_{A})^{n_{h}^{A}} (1 - θ_{A})^{n_{t}^{A}}$ 。

对数似然函数： $l o g; L (θ_{A}) = n_{h}^{A} \cdot l o g (θ_{A}) + n_{t}^{A} \cdot l o g (1 - θ_{A})$ 。

${\hat{θ}}_{A} = \underset{θ_{A}}{a r g m a x}; l o g; L (θ_{A})$ 。

对参数求偏导： $\frac{\partial l o g; L (θ_{A})}{\partial θ_{A}} = \frac{n_{h}^{A}}{θ_{A}} - \frac{n_{t}^{A}}{1 - θ_{A}}$ 。

令上式为 $0$ ，解得： ${\hat{θ}}_{A} = \frac{n_{h}^{A}}{n_{h}^{A} + n_{t}^{A}}$ 。

即 ${\hat{θ}}_{A} = \frac{n u m b e r o f h e a d s u s i n g c o i n A}{t o t a l n u m b e r o f f l i p s u s i n g c o i n A}$ 。

这个问题是上一个问题的困难版，即给出一系列统计的实验，但不告诉你某组实验采用的是哪枚硬币，即某组实验采用哪枚硬币成了一个隐变量。
这里引入EM算法的思路：

一般教科书会把EM算法分成两步：E步和M步，即求期望和最大化期望。

E步对应上面2,3；M对应4。

输入：观测变量数据 $Y$ ，隐变量数据 $Z$ ，联合分布 $P (Y, Z | θ)$ ，条件分布 $P (Z | Y, θ)$ ;
输出：模型参数 $θ$ 。

1.选择参数的初始值 $θ^{(0)}$ ，开始迭代；
在第 $i + 1$ 次迭代:
- 2.E步： $Q (θ, θ^{(i)}) = \sum_{z} l o g; P (Y, Z | θ) P (Z | Y, θ^{(i)})$
3.M步： $Q^{(i + 1)} = \underset{θ}{a r g m a x}; Q (θ, θ^{(i)})$
4.重复2，3直至收敛。