PRML悪戦苦闘(演習問題 2.4)

夏休みの自主課題としてPRMLの演習問題を解いています。間違いがあったらご指摘下さい。

2.4

問題文

(1)
二項分布の平均が
${ \displaystyle {\bf E}[m]=\sum_{m=0}^N m Bin(x|\mu)=N\mu }$
であることを示せ
(2)
二項分布の分散が
${ \displaystyle {\bf E}[m]=\sum_{m=0}^N (m-{\bf E}[m]) Bin(x|\mu)=N\mu(1-\mu) }$
であることを示せ

解答

(1)二項分布の平均
PRML悪戦苦闘(演習問題 2.3) - blueblogで確認した二項分布の正規化条件
$\sum_{m=0}^N \begin{pmatrix}N\\m\end{pmatrix} \mu^m(1-\mu)^{N-m}=1$
の両辺を $\mu$ で微分します。

${ \displaystyle \begin{eqnarray*} (左辺)&=&\sum_{m=0}^N \begin{pmatrix}N\\m\end{pmatrix} \{m\mu^{m-1}(1-\mu)^{N-m}-(N-m)\mu^m(1-\mu)^{n-m-1}\\ &=&\sum_{m=0}^N \begin{pmatrix}N\\m\end{pmatrix}\mu^{m-1} (1-\mu)^{N-m-1}\{m(1-\mu)-(N-m)\mu\}\\ &=&\sum_{m=0}^N \begin{pmatrix}N\\m\end{pmatrix}\mu^{m-1} (1-\mu)^{N-m-1}(m-N\mu) \end{eqnarray*} }$
$(右辺)=0$

したがって
$\sum_{m=0}^N \begin{pmatrix}N\\m\end{pmatrix}\mu^{m-1} (1-\mu)^{N-m-1}(m-N\mu)=0$

この両辺を $\mu(1-\mu)$ 倍して
${ \displaystyle \begin{eqnarray*} \sum_{m=0}^N \begin{pmatrix}N\\m\end{pmatrix}\mu^{m} (1-\mu)^{N-m}(m-N\mu)&=&\sum_{m=0}^N m \begin{pmatrix}N\\m\end{pmatrix}\mu^{m} (1-\mu)^{N-m}-N\mu \sum_{m=0}^N \begin{pmatrix}N\\m\end{pmatrix}\mu^{m}(1-\mu)^{N-m}\\ &=&\sum_{m=0}^N m Bin(x|\mu)-N\mu=0 \end{eqnarray*} }$
より示せます。上式の1行目の第二項は正規化条件の式を代入することで $N\mu*1$ のように変形しています。

(2)二項分布の分散
分散の方は同様の手順で二階微分して ${\bf E}[m^2]$ を計算すれば良いです。式変形がつらいので時間のあるときにまとめます。(放置の予感)