17/02/23 20:04:19.85 55F/Cuiy.net
>>142
attentionを使ったニューラル機械翻訳ならそれで合ってる。
最近のDeep Learning (NLP) 界隈におけるAttention事情
URLﾘﾝｸ(www.slideshare.net)
>Encoder-Decoder approach (8～12ページ)
>Attention mechanism (global attention) (14～23ページ)
> Attentionは入力と出力のアライメントを学習するもの
> シンプルなEnc-decと比較してAttention導入の利点は
> - 扱う入力側の情報を動的に変化させることができる
Deep Learning で使われてる attention ってやつを調べてみた
URLﾘﾝｸ(ksksksks2.hatenadiary.jp)
>エンコーダー・デコーダーモデルにおけるattentionについて簡単に説明すると、
>入力情報全体ではなく、その一部のみを特にフォーカスしたベクトルを
>デコーダーで使用する仕組みのことです。
>そのことにより、デコードの特定のタイミングにだけ必要になる入力情報を
>精度よく出力に反映させることができるようになります。