PRML悪戦苦闘(演習問題 2.7)

2.7

問題文(適当に要約)

$\mu$ の事前分布がベータ分布
$Beta(\mu|a,b)=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)} \mu^{a-1} (1-\mu)^{b-1}$
である二項分布
$\sum_{m=0}^N \begin{pmatrix}N\\m\end{pmatrix} \mu^m(1-\mu)^{N-m}$
にしたがう確率変数 $x$ を考える。

ここで $x=1$ の事象が $m$ 回、 $x=0$ の事象が $l$ 回生じたとする。このとき $\mu$ の事後平均が事前平均と $\mu$ の最尤推定量の間の値になることを示せ。

方針

事前分布の平均は、ベータ分布の超パラメータ $a,b$ を用いて
${ \displaystyle \frac{a}{a+b} }$
と表せます。
二項分布を尤度関数として、事前分布にベータ分布を選択すると、事後分布もまたベータ分布となることをPRMLの本編2.1.1で学びました。
これは共役性と呼ばれる重要な性質で、事後分布の超パラメータは $a$ を $a+m$ に、 $b$ を $b+l$ に置き換えたものになります。

従って事後平均は、
${ \displaystyle p(x=1|D)=\frac{a+m}{a+m+b+l} }$
と表せます。

また、データからの最尤推定量は単に観察値に基づいた確率を求めればよく、 $m+l$ 回の試行の中で $x=1$ の事象が起こる確率
${ \displaystyle \frac{m}{m+l} }$
となります。

事後平均が事前平均と最尤推定量の間の値になることは、 $0\leq \lambda\leq 1$ として
${ \displaystyle \frac{a+m}{a+m+b+l}=\lambda \frac{a}{a+b}+(1-\lambda) \frac{m}{m+l} }$
を示せば良いですね(ここまではもとの問題文に書いてあります)。

解答

${ \displaystyle \begin{eqnarray*} \lambda \frac{a}{a+b}+(1-\lambda) \frac{m}{m+l}&=& \frac{a\lambda}{a+b}+ \frac{m(1-\lambda)}{m+l}\\ &=&\frac{a\lambda(m+l)+m(1-\lambda)(a+b)}{(a+b)(m+l)}\\ &=&\frac{al\lambda + m(a+b-b\lambda)}{(a+b)(m+l)}\\ &=&\frac{(al-bm)\lambda + m(a+b)}{(a+b)(m+l)} \end{eqnarray*} }$

したがって、
${ \displaystyle \begin{eqnarray*} \frac{m+a}{a+b+m+l}&=&\frac{(al-bm)\lambda + m(a+b)}{(a+b)(m+l)}\\ \end{eqnarray*} }$

これを $\lambda$ に関して式変形して
${ \displaystyle \begin{eqnarray*} (al-bm)\lambda&=&\{\frac{m+a}{a+b+m+l}-\frac{m}{m+l}\}*(m+l)(a+b)\\ &=&\frac{al-bm}{(a+b+m+l)(m+l)}(m+l)(a+b)\\ \end{eqnarray*} }$