08/06/19 02:05:32
(2.33)はKLダイバージェンスは常に正ですよ、というだけだけど、
>>921に書かれている通り、別にJensenの不等式を
使わなくても証明できるね。
無理に？使うなら、Jensenの不等式はf(x)が凸なとき
E[f(x)]≦f(E[x])ということなので、f(x)=log(x)として
-Σplog(p/q)=Σplog(q/p)=E_p[log(q/p)]
≦log(E_p[q/p])=log(Σq/p・p)=log(1)=0
よってΣplog(p/q)≧0、
でいいんじゃないかな。