20/09/22 18:09:22.39 qkl/9znF.net
>>550
つづき
「深層」という修飾語は，中間層の数が従来のニューラルネットよりも
多いことを強調している。ニューラルネットを深層化することで，内部
の情報表現が階層化され，情報処理論が効?化されることは，以前から予
想されていた。しかし，古典的な学習法であるバックプロパゲーション
（backpropagation）では，深層ニューラルネットを学習させることができ
なかった。原因は?々だが，例えば，層が深くなるに連れて，学習に必
要な誤差信号が減衰し，学習が極端に遅くなるためである。深層ニュー
ラルネットを学習させる技術を総称して，深層学習という。深層学習が
立て続けに成功し始めたのは，2006 年の Hinton や Bengio のプレトレー
ニングからである。
本論研究では，深層ニューラルネットの中で何が起きているのか，なぜ
深層にした方が良いのかという問題に対して，深層ニューラルネットの
積分表現理論の開発を通じて問題解決を図る。深層ニューラルネットの
内部では，タスクに有利な情報表現（特徴量写像）が獲得されていると考
えられている。情報表現を自動的に獲得するという意味で，深層学習は
表現学習とも呼ばれる。しかし，深層学習はヒューリスティクスを多く
含むので，実際に獲得される特徴量の素性は分からないことも多い。そ
もそも，浅いニューラルネットは任意の関数を近似できるほど表現力が
高い（万能関数近似器）のに，なぜ深層にする必要があるのだろうか。
本論研究が拠り所とする積分表現は，ニューラルネットの中間層素子に
関する総?を積分に置き換えて得られる。これは中間層素子を積分核と
する積分変換であり，双対リッジレット変換と呼ばれる。リッジレット
変換は Radon 変換やウェーブレット変換との関係が深く，幾何学的性質
や解析的性質がよく調べられている。
つづく