Machine Learning: Stanford Univ, Coursera


自習: Logistic Equation (ロジスティック方程式)

ロジスティック方程式とは、生物の個体数の変化を表す数理モデルの一種である。

ある島に数つがいのネズミが放されたとして、それ以降の個体数の変化を計算しよう。 生まれる小ネズミの数は現存するネズミの数 $y$ に比例すると考えるのが普通である。 しかし、$y$が大きくなり過ぎると餌が不足することにより、強い抑制力が働くと考えられる。 時に全滅することもあるのでこの抑制力はかなり大きいはずで、 これを $y^2$ に比例すると仮定する。

すると、ネズミの数の増加率 $\displaystyle \frac{dy}{dx}$ は$a$, $b$ を正の実数として次のように表すことができる。

$\displaystyle \begin{eqnarray} \frac{dy}{dx} & = & ay - \frac{a}{b} y^2 \\ & = & -\frac{ay(y-b)}{b} \\ \end{eqnarray} $

次のように変形すると、変数分離型の微分方程式になる。

$\displaystyle \begin{eqnarray} \frac{-b}{y(y-b)} dy & =& a dx \\ (\frac{1}{y} - \frac{1}{y-b})dy & =& a dx \\ \end{eqnarray} $

両辺を積分して

$\displaystyle \begin{eqnarray} \int (\frac{1}{y} - \frac{1}{y-b})dy & =& \int a dx \\ \log |y| - \log |y-b| & = & ax+C \quad\quad\quad (Cは積分定数)\\ \log |\frac{y}{y-b}| & = & ax + C \end{eqnarray} $
補題
$\displaystyle \begin{eqnarray} p & = & e^q \quad\quad とおくと両辺の \log を計算して\\ \log p & = & q \log e \\ & = & q \\ \end{eqnarray} $
$\displaystyle \therefore \log p = q のとき p = e^q が成り立つ。 $
$\displaystyle \therefore |\frac{y}{y-b}| = e^{ax+C} \\ \displaystyle \therefore \frac{y}{y-b} = \pm e^{ax+C} \quad\quad\quad (式1)\\ $
$\displaystyle \begin{eqnarray} y &=& \pm e^{ax+C} (y-b) \\ y &=& (\pm e^C) e^{ax} (y-b) \\ y &=& -c'e^{ax} (y-b) \quad\quad\quad c' = - \pm e^C とおいた\\ y (1+c'e^{ax}) &=& c' e^{ax} b\\ \displaystyle y &=& \frac{c' e^{ax}b}{1+c'e^{ax}}\\ \end{eqnarray} $

右辺の分子と分母を $c' e^{ax}$ で割って

$\displaystyle \begin{eqnarray} y &=& \frac{b}{1 +\frac{1}{c'} e^{-ax}} \\ \end{eqnarray} $

新しく $\displaystyle \frac{1}{c'} = c$ とおくと

$\displaystyle \begin{eqnarray} y &=& \frac{b}{1 + c e^{-ax}} \quad\quad\quad (式2) \\ \end{eqnarray} $

[注意] 最初の式は $\displaystyle \frac{dy}{dx} = ay(1-\frac{y}{b})$ と表現できるので、 $y=b$ の時 $\displaystyle \frac{dy}{dx} = 0$となり、平衡状態に達する。 すなわち、$y$の初期値が$b$より小さい場合は$y$は$b$を越えることはない。 したがって (式1)の右辺は負の場合のみを採用すればよい。 よって最後の(式2)で $c > 0$ である。


sigmoid関数: $\displaystyle a = \frac{1}{1+e^{-z}}$

$\displaystyle \frac{\partial a}{\partial z} = -\frac{-e^{-z}}{(1+e^{-z})^2} = \frac{e^{-z}}{(1+e^{-z})^2} $
また
$\displaystyle (1-a)a = (1- \frac{1}{1+e^{-z}}) \frac{1}{1+e^{-z}} = \frac{1+e^{-z} - 1}{(1+e^{-z})^2} = \frac{e^{-z}}{(1+e^{-z})^2}$
であるから
$\displaystyle \frac{\partial a}{\partial z} = (1-a)a$
がいえる。したがって、
$\displaystyle \frac{\partial L}{\partial z} = \frac{\partial L}{\partial a} \cdot \frac{\partial a}{\partial z} = \frac{\partial L}{\partial z} \cdot (1-a)a$

Yoshihisa Nitta

http://nw.tsuda.ac.jp/