Scrap Book

大まかな内容

ニューラルネットワークにてアクチベーションとして使用されるシグモイド関数やtanh関数（以降、discriminatoryな関数として定義）の高々有限個の線形結合で任意の連続関数や決定関数が近似表現できることを証明。リースの表現定理、ハーン・バナッハの定理を使用。

$\displaystyle p(X) = \sum_{Y} p(X, Y)$

乗法定理

$p(X, Y) = p(Y | X)p(X)$

$\displaystyle p(Y, X) = \frac{p(X | Y) p(Y)}{p(X)}$

正則化した誤差関数

$\displaystyle \tilde{E}(\mathrm{W}) = \frac{1}{2} \sum_{n = 1}^N \\{ y(x_n, \mathrm{W})- t_n\\}^{2} + \frac{1}{2}||\mathrm{W}||^2$

[References]

Cybenko,G. (1989). Approximation by Superpositions of a Sigmoidal Funciton

学習メモ