PRML悪戦苦闘(演習問題 2.2)

夏休みの自主課題としてPRMLの演習問題を解いています。間違いがあったらご指摘下さい。

2.2

問題文

ベルヌーイ分布を対称な $x\in \{-1,1\}$ を用いた等価な表現で表した時、分布は

${ \displaystyle p(x|\mu)=(\frac{1-\mu}{2})^{\frac{(1-x)}{2}} (\frac{1+\mu}{2})^{\frac{(1+x)}{2}} }$
と書くことができる。ただし、 $\mu \in [-1,1]$ である。
この分布が
(1)正規化されていることを示し
(2)平均
(3)分散
(4)エントロピーを計算せよ

PRML悪戦苦闘(演習問題 2.1) - blueblog
のときと同じことをすれば良いです。

(1)正規化

分布の式に $x=-1,1$ を代入するだけです。
${ \displaystyle \begin{eqnarray*} \sum p(x|\mu)&=&p(x=-1|\mu)+p(x=1|\mu)\\ &=&(\frac{1-\mu}{2})^{\frac{2}{2}} (\frac{1+\mu}{2})^{\frac{0}{2}}+(\frac{1-\mu}{2})^{\frac{2}{2}} (\frac{1+\mu}{2})^{\frac{0}{2}}\\ &=&\frac{1-\mu}{2}+\frac{1+\mu}{2}=1 \end{eqnarray*} }$
と示せます。

(2)期待値

これも代入するだけです。
${ \displaystyle \begin{eqnarray*} {\bf E}[x]&=&\sum x*p(x|\mu)\\ &=&(\frac{1-\mu}{2})^1 (\frac{1+\mu}{2})^0 (-1)+(\frac{1-\mu}{2})^0 (\frac{1+\mu}{2})^1\\ &=&-\frac{1-\mu}{2}+\frac{1+\mu}{2}=\mu \end{eqnarray*} }$
と求まります。

(3)分散

これも(ry
${\displaystyle \begin{eqnarray*} {\bf E}[x^2]&=&\sum x^2*p(x|\mu)\\ &=&(\frac{1-\mu}{2})^1 (\frac{1+\mu}{2})^0 (-1)^2+(\frac{1-\mu}{2})^0 (\frac{1+\mu}{2})^1 (1)^2\\ &=&\frac{1-\mu}{2}+\frac{1+\mu}{2}=1 \end{eqnarray*} }$
${\displaystyle {\bf E}[x]^2=\mu^2 }$
したがって、
${\displaystyle var[x]={\bf E}[x^2]-{\bf E}[x]^2=1-\mu^2=1^2-\mu^2 }$
と求まります。

(4)エントロピー

${\displaystyle \begin{eqnarray*} H[p]&=&-\sum_x p(x)\ln p(x)\\ &=&-\sum p(x|\mu)\ln p(x|\mu)\\ &=&-\{\frac{1-\mu}{2}\ln \frac{1-\mu}{2}\}-\{\frac{1+\mu}{2}\ln \frac{1+\mu}{2}\}\\ &=&-\frac{1-\mu}{2}\ln \frac{1-\mu}{2} -\frac{1+\mu}{2}\ln \frac{1+\mu}{2} \end{eqnarray*} }$
と求まります。