PRML悪戦苦闘(演習問題 2.8)

僕の怠惰(と学会準備)のために随分間が空いてしまいました。

PRML勉強会で、文中に出てくる演習問題はまじめに取り組んでいたので懐かしかった。このブログは頑張って続けてほしい。｜PRML悪戦苦闘(演習問題 2.7) - blueblog URL

2015-09-08 20:55:10 via YoruFukurou

大変ありがたいことに励まして下さった方がいらしたので、また少しずつ再開したいと思います。

2.8

問題文

同時確率が $p(x,y)$ であるような2つの変数 $x,y$ を考える。これについて、次の2つの結果を証明せよ。

(1)
${ \displaystyle \begin{eqnarray*} {\bf E}[x]={\bf E}_y [{\bf E}_x [x|y]] \end{eqnarray*} }$

(2)
${ \displaystyle \begin{eqnarray*} var[x]={\bf E}_y [var_x[x|y]]+var_y[{\bf E}_x [x|y]] \end{eqnarray*} }$

解答

(1)
${ \displaystyle \begin{eqnarray*} {\bf E}_x [x|y]&=&\int p(x|y)x dx\\ &=&\int \frac{p(x,y)}{p(y)}x dx \end{eqnarray*} }$

これは単に「yが起こる事象下で、xが起こる確率」すなわちベイズの条件付き確率の定義を2通りの形で表しただけですね。
最後の式の分母がxを含まないことを下の変形で利用します。

${ \displaystyle \begin{eqnarray*} {\bf E}_y [{\bf E}_x [x|y]] &=&\int p(y) \int p(x|y)x dx dy\\ &=&\int p(y) \int \frac{p(x,y)}{p(y)}x dx dy\\ &=&\int \int p(x,y)x dx dy\\ &=&\color{red}{\int x\int p(x,y)dy dx}\\ &=&\color{red}{\int x p(x)dx}={\bf E}[x] \end{eqnarray*} }$

ここで赤色の式変形に注意しましょう(基本なのですが一応)。これは確率の加法定理を表します。
離散値の場合これは $p(x)=\sum_y p(x,y)$ で表わせ、xとyの同時確率を全てのyについて足し合わせれば、xが起こる確率になることを意味します。
(大きなサイコロxと小さなサイコロyを同時に振るとき、xが1となる確率は
「x=1かつy=1」,「x=1かつy=2」,「x=1かつy=3」…,「x=1かつy=6」となる確率の和ですよね？)

(2)
${ \displaystyle \begin{eqnarray*} {\bf E}_y[var_x[x|y]]+var_y[{\bf E}_x[x|y]]&=&{\bf E}_y[ {\bf E}_x[(x|y)^2]-{\bf E}_x [x|y]^2]+{\bf E}_y[{\bf E}_x[x|y]^2]-{\bf E}_y [{\bf E}_x[x|y]]^2\\ &=&{\bf E}_y[{\bf E}_x[(x|y)^2]]-{\bf E}_y[{\bf E}_x [x|y]]^2\\ &=&\int p(y)\int x^2 \frac{p(x,y)}{p(y)}dx dy-{\bf E}_y[{\bf E}_x [x|y]]^2\\ &=&\color{red}{\int \int x^2 p(x,y)dx dy}-{\bf E}[x]^2 \\ &=&\color{red}{\int x^2 p(x)dx} - {\bf E}[x]^2\\ &=&{\bf E}[x^2]-{\bf E}[x]^2=var[x] \end{eqnarray*} }$

ここでの赤い式変形も加法定理です。

基本的なベイズの定理と加法定理を式変形でいかにさらっと使えるか、という問題だと思います。僕はそんなにさらっと書けませんでしたけど（泣）