読者です 読者をやめる 読者になる 読者になる

Scrap Book

学習メモ

Cybenko 1989のレビュー1

大まかな内容

ニューラルネットワークにてアクチベーションとして使用されるシグモイド関数tanh関数(以降、discriminatoryな関数として定義)の高々有限個の線形結合で任意の連続関数や決定関数が近似表現できることを証明。リースの表現定理、ハーン・バナッハの定理を使用。

 \displaystyle p(X) = \sum_{Y} p(X, Y)

 

乗法定理

 

 p(X, Y) = p(Y | X)p(X)

 

ベイズの定理

 

 \displaystyle p(Y, X) = \frac{p(X | Y) p(Y)}{p(X)}

 

正則化した誤差関数

 

 \displaystyle \tilde{E}(\mathrm{W}) = \frac{1}{2} \sum_{n = 1}^N \\{ y(x_n, \mathrm{W})- t_n\\}^{2} + \frac{1}{2}||\mathrm{W}||^2

[References]

Cybenko,G. (1989). Approximation by Superpositions of a Sigmoidal Funciton