PRML读书笔记:第11章 采样方法


本章内容是基于数值采样的近似推断方法,也称为蒙特卡洛(Monte Carlo)方法。

本章解决的基本问题是在概率分布$p(\boldsymbol{z})$下计算函数$f(\boldsymbol{z})$的期望,即

$$
\mathbb{E}[f] = \int f(\boldsymbol{z})p(\boldsymbol{z}) d\boldsymbol{z}
$$

通常的思路是从概率分布$p(\boldsymbol{z})$中独立抽取一组变量$\boldsymbol{z}^{(l)}, , l=1,\cdots,L$,使得期望可以通过求和的方法计算:

$$
\hat{f} = \frac{1}{L} \sum_{l=1}^L f(\boldsymbol{z}^{(l)})
$$

由于$\boldsymbol{z}^{(l)}$是从概率分布$p(\boldsymbol{z})$中抽取的,因此$\mathbb{E}[\hat{f}] = \mathbb{E}[f]$。

在图模型中,以下几种情况下可以简单确定$p(\boldsymbol{z})$:

  • 没有观测变量的有向图:通过祖先采样,$p(\boldsymbol{z}) = \prod_{i=1}^M p(\boldsymbol{z}_i | pa_i)$
  • 某些结点被观测值初始化的有向图:使用逻辑采样,每一步中进行采样并与观测值比较,如果不相符则丢弃
  • 无向图:Gibbs采样

 评论