EM 算法 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>CS - 计算机科学

EM 算法

EM 算法# CS - 计算机科学

e*g2007-07-09 07:07

1 楼

EM 算法可以用于解决 gaussian mixture 的分类估计。
能不能用于解决其它 mixture models 的分类估计？
例：我的问题是
Input: 数据是一个gaussian 和一个 uniform distribution 的混合
Output: 用EM算法来估计那个data sample是属于gaussian分布
那个data sample是属于uniform distribution分布。
可以或不可以，可否解释一下，或给个reference.
先谢了

l*o2007-07-09 07:07

2 楼

俺觉得EM作为一种参数估计的渐进方法需要事先假设数据分布的嘛，否则你从什么地方
可以开始猜那些参数呢？如果你已经知道了数据分布，你可以两个分布的参数都用EM算
法得到，在比较那个分布的误差小点。但似乎这两种分布可以用更直接的方法估计参数
吧？

【在 e*****g 的大作中提到】

: EM 算法可以用于解决 gaussian mixture 的分类估计。
: 能不能用于解决其它 mixture models 的分类估计？
: 例：我的问题是
: Input: 数据是一个gaussian 和一个 uniform distribution 的混合
: Output: 用EM算法来估计那个data sample是属于gaussian分布
: 那个data sample是属于uniform distribution分布。
: 可以或不可以，可否解释一下，或给个reference.
: 先谢了

e*g2007-07-09 07:07

3 楼

【在 l*******o 的大作中提到】

:
: 俺觉得EM作为一种参数估计的渐进方法需要事先假设数据分布的嘛，否则你从什么地方
: 可以开始猜那些参数呢？如果你已经知道了数据分布，你可以两个分布的参数都用EM算
: 法得到，在比较那个分布的误差小点。但似乎这两种分布可以用更直接的方法估计参数
: 吧？

R*N2007-07-09 07:07

4 楼

参数初值应该可以随便给,
就是Markov Random Field吧,

【在 e*****g 的大作中提到】

e*g2007-07-09 07:07

5 楼

能具体说说吗？

【在 R*******N 的大作中提到】

: 参数初值应该可以随便给,
: 就是Markov Random Field吧,

R*N2007-07-09 07:07

6 楼

概而言之,对后验概率P(Q,V|O),
(Q是参数，V是变量，O是观察结果)
E-step计算P(V｜O,Q),
M-step计算argmax logP(O,Q)=log{SIGMA(P(O,Q,V)},
如此迭代即得到大后验概率的Q,
Q是自由变量(free variable),
之所以引入log概率，
我认为可能是Bayes公式的缘故,
可参考:
Dempster, A., Laird, N., and Rubin, D. (1977). Maximum likelihood from incom-
plete data via the EM algorithm. Journal of the Royal Statistical Society,
Series B, 39(1):1–38.

【在 e*****g 的大作中提到】

: 能具体说说吗？