blueblog

宇宙一統計ができない農学系M1の勉強用ブログ

PRML悪戦苦闘(演習問題 2.10)

(追記)ガンマ関数の性質の証明を追加しましたblue0620.hatenablog.com


2.9が飛んでる気がするって？気のせいでしょう

2.10

問題文(適当に意訳)

ガンマ分布の性質 \Gamma(x+1)=x \Gamma(x)を用いて、

Dir({\bf \mu}|{\bf \alpha})=\frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1)...\Gamma(\alpha_K)}\Pi_{k=1}^K \mu_k^{\alpha_k -1} (但し、 \alpha_o=\sum_{k=1}^K \alpha_k)

のディリクレ分布の
(1)平均
{\bf E}[\mu_j]=\frac{\alpha_j}{\alpha_0}
(2)分散
var[\mu_j]=\frac{\alpha_j(\alpha_0-\alpha_j)}{\alpha_0 ^2(\alpha_0+1) }
(3)共分散
cov[\mu_j \mu_l]=-\frac{\alpha_j \alpha_l}{\alpha_0^2(\alpha_0+1)}
の結果を導出せよ

方針

問題2.9で、K変数のディリクレ分布が正規化されていることが示されたので(示してないけど)、

1\le j\le Kなる整数 jについて
\int_0 ^1 Dir({\bf \mu}|{\bf \alpha})d\mu_j=1
が成り立ちます。
つまり
\int_0 ^1 Dir({\bf \mu}|{\bf \alpha})d\mu_j=\frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1)...\Gamma(\alpha_K)} \Pi_{k=1}^K \mu_k^{\alpha_k -1}
より、
\int_0 ^1 \Pi_{k=1}^K \mu_k^{\alpha_k -1}d\mu_j=\frac{\Gamma(\alpha_1)...\Gamma(\alpha_K)}{\Gamma(\alpha_0)}

この正規化条件をうまく使うのがポイントみたいです。

解答

(1)
{\displaystyle \begin{eqnarray*} {\bf E}[\mu_j] &=&\int_0^1 \mu_j Dir(\bf{\mu}|\bf{\alpha})d\mu_j \\ &=&\int_0^1 \mu_j \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1)...\Gamma(\alpha_K)} \Pi_{k=1}^K \mu_k^{\alpha_k -1} d\mu_j\\ &=&\frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1)...\Gamma(\alpha_K)} \color{red}{\int_0^1 \mu_j \Pi_{k=1}^K \mu_k^{\alpha_k -1} d\mu_j} \end{eqnarray*} }


赤で表した部分について、
{\displaystyle \begin{eqnarray*} \int_0^1 \mu_j \Pi_{k=1}^K \mu_k^{\alpha_k -1} d\mu_j &=&\int_0^1 \mu_j(\mu_1^{\alpha_1 -1} \mu_2^{\alpha_2 -1}...\mu_K^{\alpha_K -1})d\mu_j\\ &=&\int_0^1 \mu_1^{\alpha_1 -1} \mu_2^{\alpha_2 -1}...\mu_j^{\alpha_j}...\mu_K^{\alpha_K -1} d\mu_j \end{eqnarray*} }

したがって
\int_0^1 \Pi_{k=1}^K \mu_k^{\alpha_k -1} d\mu_jにおいて、 \mu_j^{\alpha_j -1}を \mu_j^{\alpha_j}に置き換えたものになります。

これを正規化項の関係式の右辺
{\displaystyle \begin{eqnarray*} \frac{\Gamma(\alpha_1)...\Gamma(\alpha_j)...\Gamma(\alpha_K)}{\Gamma(\alpha_0)}=\frac{\Gamma(\alpha_1)...\Gamma(\alpha_K)}{\Gamma(\alpha_1+\alpha_2+...+\alpha_K)} \end{eqnarray*} }

についても同様に \alpha_jを \alpha_j +1に置き換えると、

{\displaystyle \begin{eqnarray*} \frac{\Gamma(\alpha_1)...\Gamma(\alpha_j+1)...\Gamma(\alpha_K)}{\Gamma(\alpha_1+\alpha_2+...+(\alpha_j+1)+...+\alpha_K)} =\frac{\Gamma(\alpha_1)...\Gamma(\alpha_j+1)...\Gamma(\alpha_K)}{\Gamma(\alpha_0+1)} \end{eqnarray*} }

となります。したがってさっきの赤い部分に代入して

{\displaystyle \begin{eqnarray*} {\bf E}[\mu_j] &=&\frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1)...\Gamma(\alpha_K)} \int_0^1 \mu_j \Pi_{k=1}^K \mu_k^{\alpha_k -1} d\mu_j\\ &=&\frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1)...\Gamma(\alpha_K)} \frac{\Gamma(\alpha_1)...\Gamma(\alpha_j+1)...\Gamma(\alpha_K)}{\Gamma(\alpha_0+1)}\\ &=&\frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1)...\Gamma(\alpha_K)} \frac{\Gamma(\alpha_1)...\color{red}{\alpha_j \Gamma(\alpha_j)}...\Gamma(\alpha_K)}{\color{red}{\alpha_0 \Gamma(\alpha_0)}}\\ &=&\frac{\alpha_j}{\alpha_0} \end{eqnarray*} }
最後の赤字の変形が今回与えられたガンマ分布の性質 \Gamma(x+1)=x \Gamma(x)を用いた箇所です。最後にきれいに求まると気持ち良いですね。


(2)
var[\mu_j]={\bf E}[\mu_j^2]-{\bf E}[\mu_j]^2 なので、いつもどおり {\bf E}[\mu_j^2] を求めていきます。
式変形は(1)と同じ感じでやればよいですね。

{\displaystyle \begin{eqnarray*} {\bf E}[\mu_j^2] &=&\int_0^1 \mu_j^2 Dir(\bf{\mu}|\bf{\alpha})d\mu_j \\ &=&\int_0^1 \mu_j^2 \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1)...\Gamma(\alpha_K)} \Pi_{k=1}^K \mu_k^{\alpha_k -1} d\mu_j\\ &=&\frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1)...\Gamma(\alpha_K)} \color{red}{\int_0^1 \mu_j^2 \Pi_{k=1}^K \mu_k^{\alpha_k -1} d\mu_j} \end{eqnarray*} }

赤で表した部分について、

{\displaystyle \begin{eqnarray*} \int_0^1 \mu_j^2 \Pi_{k=1}^K \mu_k^{\alpha_k -1} d\mu_j &=&\int_0^1 \mu_j^2(\mu_1^{\alpha_1 -1} \mu_2^{\alpha_2 -1}...\mu_K^{\alpha_K -1})d\mu_j\\ &=&\int_0^1 \mu_1^{\alpha_1 -1} \mu_2^{\alpha_2 -1}...\mu_j^{\alpha_j+1}...\mu_K^{\alpha_K -1} d\mu_j \end{eqnarray*} }

したがって
\int_0^1 \Pi_{k=1}^K \mu_k^{\alpha_k -1} d\mu_jにおいて、 \mu_j^{\alpha_j -1}を \mu_j^{\alpha_j+1}に置き換えたものになります。

これを正規化項の関係式の右辺についても同様に \alpha_jを \alpha_j +2に置き換えると、

{\displaystyle \begin{eqnarray*} \frac{\Gamma(\alpha_1)...\Gamma(\alpha_j+2)...\Gamma(\alpha_K)}{\Gamma(\alpha_1+\alpha_2+...+(\alpha_j+2)+...+\alpha_K)} =\frac{\Gamma(\alpha_1)...\Gamma(\alpha_j+2)...\Gamma(\alpha_K)}{\Gamma(\alpha_0+2)} \end{eqnarray*} }

となります。したがって、さっきの赤い部分に代入して

{\displaystyle \begin{eqnarray*} {\bf E}[\mu_j^2] &=&\frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1)...\Gamma(\alpha_K)} \int_0^1 \mu_j^2 \Pi_{k=1}^K \mu_k^{\alpha_k -1} d\mu_j\\ &=&\frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1)...\Gamma(\alpha_K)} \frac{\Gamma(\alpha_1)...\Gamma(\alpha_j+2)...\Gamma(\alpha_K)}{\Gamma(\alpha_0+2)}\\ &=&\frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1)...\Gamma(\alpha_K)} \frac{\Gamma(\alpha_1)...\color{red}{(\alpha_j+1) \alpha_j \Gamma(\alpha_j)}...\Gamma(\alpha_K)}{\color{red}{(\alpha_0+1)\alpha_0 \Gamma(\alpha_0)}}\\ &=&\frac{(\alpha_j+1)\alpha_j}{(\alpha_0+1)\alpha_0} \end{eqnarray*} }
最後の式変形はガンマ関数の性質を2回繰り返して使っています。

あとは(1)で求めたものと併せて代入するだけです。
{\displaystyle \begin{eqnarray*} var[\mu_j] &=&{\bf E}[\mu_j^2]-{\bf E}[\mu_j]^2\\ &=&\frac{(\alpha_j+1)\alpha_j}{(\alpha_0+1)\alpha_0}-(\frac{\alpha_j}{\alpha_0})^2\\ &=&\frac{(\alpha_j+1)\alpha_j\alpha_0}{\alpha_0^2(\alpha_0+1)}-\left(\frac{\alpha_j^2(\alpha_0+1)}{\alpha_0^2(\alpha_0+1)}\right)^2 &=&\frac{\alpha_j(\alpha_0-\alpha_j)}{\alpha_0^2(\alpha_0+1)} \end{eqnarray*} }

やったね！

(3)
cov[\mu_j \mu_l]={\bf E}[\mu_j \mu_l]-{\bf E}[\mu_j]{\bf E}[\mu_l]
を利用すると、 {\bf E}[\mu_j \mu_l] を式変形すれば良いので、

{\displaystyle \begin{eqnarray*} {\bf E}[\mu_j \mu_l] &=&\int_0^1 \mu_j \mu_l Dir(\bf{\mu}|\bf{\alpha})d\mu_j \\ &=&\int_0^1 \mu_j \mu_l \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1)...\Gamma(\alpha_K)} \Pi_{k=1}^K \mu_k^{\alpha_k -1} d\mu_j\\ &=&\frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1)...\Gamma(\alpha_K)} \color{red}{\int_0^1 \mu_j \mu_l \Pi_{k=1}^K \mu_k^{\alpha_k -1} d\mu_j} \end{eqnarray*} }

赤で表した部分について、

{\displaystyle \begin{eqnarray*} \int_0^1 \mu_j \mu_l \Pi_{k=1}^K \mu_k^{\alpha_k -1} d\mu_j &=&\int_0^1 \mu_j \mu_l(\mu_1^{\alpha_1 -1} \mu_2^{\alpha_2 -1}...\mu_K^{\alpha_K -1})d\mu_j\\ &=&\int_0^1 \mu_1^{\alpha_1 -1} \mu_2^{\alpha_2 -1}...\mu_j^{\alpha_j+1}...\mu_l^{\alpha_l+1}...\mu_K^{\alpha_K -1} d\mu_j \end{eqnarray*} }


これを正規化項の関係式の右辺についても同様に \alpha_jを \alpha_j +1に、 \alpha_lを \alpha_l +1にそれぞれ置き換えると、

{\displaystyle \begin{eqnarray*} \frac{\Gamma(\alpha_1)...\Gamma(\alpha_j+1)...\Gamma(\alpha_l+1)...\Gamma(\alpha_K)}{\Gamma(\alpha_1+\alpha_2+...+(\alpha_j+1)+...+(\alpha_l+1)+...+\alpha_K)} =\frac{\Gamma(\alpha_1)...\Gamma(\alpha_j+1)...\Gamma(\alpha_l+1)...\Gamma(\alpha_K)}{\Gamma(\alpha_0+2)} \end{eqnarray*} }

となります。したがって、さっきの赤い部分に代入して

{\displaystyle \begin{eqnarray*} {\bf E}[\mu_j \mu_l] &=&\frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1)...\Gamma(\alpha_K)} \int_0^1 \mu_j \mu_l \Pi_{k=1}^K \mu_k^{\alpha_k -1} d\mu_j\\ &=&\frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1)...\Gamma(\alpha_K)} \frac{\Gamma(\alpha_1)...\Gamma(\alpha_j+1)...\Gamma(\alpha_l+1)...\Gamma(\alpha_K)}{\Gamma(\alpha_0+2)}\\ &=&\frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1)...\Gamma(\alpha_K)} \frac{\Gamma(\alpha_1)...\color{red}{\alpha_j\Gamma(\alpha_j)\alpha_l\Gamma(\alpha_l)}...\Gamma(\alpha_K)}{\color{red}{(\alpha_0+1)\alpha_0 \Gamma(\alpha_0)}}\\ &=&\frac{\alpha_j\alpha_l}{(\alpha_0+1)\alpha_0} \end{eqnarray*} }
やったね！

完全に式変形がワンパターン化してますね。次はせっかくなので少し戻って今回出てきたガンマ関数の性質の証明(演習1.17)を見ていこうと思います。