16/06/12 20:55:47.50 vVZR4K/C.net
つながり見っけ
裏道どころかタイムズスクエアの真ん前にいたんですね
前のスレッドで「現在のDNNにおける未解決問題」というスライドを挙げたんですが
スピングラスの下りでの元ネタの一つです
Open Problem: The landscape of the loss surfaces of multilayer networks
URLﾘﾝｸ(www.jmlr.org)
> Earlier theoretical analysis, conveniently reviewed in Dauphin et al. (2014), suggest the
> existence of a certain structure of critical points of random Gaussian error
> functions on high dimensional continuous spaces.
> ...
> Nevertheless they provide no theoretical justification for the existence of this connection.
読んでないので憶測ですが、Dauphinさん達の観察したモース指数と標高の関係を
スピングラスを使って導けるよという趣旨のようです
そのDauphinさん達の仕事です
Identifying and attacking the saddle point problem in high-dimensional non-convex optimization
URLﾘﾝｸ(arxiv.org)
これも読んでないのですが、これを紹介しているブログを読むと
>>65 の路線をそのまま発展させたか整理したもののようです
No more local minima?
URLﾘﾝｸ(blog.terminal.com)
>>65 は悪乗りで書いたんですが、色々とつながり勉強になりました
灯台下暗し
一旦突破口を見つけるとイナゴのようによってたかって片付けるNN48恐るべし