20/09/22 18:11:36.15 qkl/9znF.net
>>553
つづき
第 5 章では浅いニューラルネットの積分表現理論を展開する。まず，深
層学習において，ReLU と呼ばれる非有界な活性化関数が用いられる背景
を簡単に説明する。これにより，深層ニューラルネットの積分表現理論
を展開するためには ReLU を含む超関数によるリッジレット解析が必要
であることが分かる。本論章の前半では，超関数によるリッジレット変換
が存在すること，および適当な条件の下で再構成公式（逆変換）が成り
立つことを理論的に示す。後半では，リッジレット変換の具体例を解析
的に計算し，さらに再構成公式の数値例を計算することで，理論の実効
性を確率認する。
第6章では深層ニューラルネットの積分表現理論を展開する。まず，DAE
が?場した背景と，DAE の学習アルゴリズムを簡単に説明し，Alain and
Bengio の変分計算によって学習アルゴリズムの?留?が?に求まること
を示す。続いて，得られた DAE が?送写像とみなせることを説明する。
本論章の前半では，浅い DAE による?送の性質を調べる。後半では，三つ
の深層 DAE（積層 DAE，合成 DAE，連続 DAE）を導入し，深層 DAE に
よる?送現象を軸として深層DAEの積分表現理論を展開する。積層DAE
は深層学習の一種であるプレトレーニングで現れる形式だが，解析が難
しい。合成 DAE は浅い DAE の合成写像であり，これ自体も?送写像な
ので解析は比較的容易である。連続 DAE は合成 DAE の連続極限であり，
無限層のニューラルネットに相当する。本論章の主結果は二つある。まず，
連続 DAE による?送に伴って変形されたデータ分布（押出測度）が，逆
向きの拡散方程式に従うことを示す。つまり，連続 DAE はデータ分布の
エントロピーを減らすようにデータ?を再配置する連続力学系である。次
に，積層 DAE と合成 DAE の等価性を示す。つまり，積層 DAE から得ら
れる特徴量は，ある線形写像によって適当な合成 DAE �