18/11/17 20:12:01.95 ZSsSLaRh.net
# URLﾘﾝｸ(logics-of-blue.com)
"予想がつかない→不確実性（情報エントロピー）が大きい→平均情報量も大きい"
entropy <- function(x){ # 情報エントロピー（平均情報量）
x=x/sum(x)
sum(x*(-log2(x)))
}
"各々の確率分布の情報量の差分の期待値をとります
確率分布が異なっていれば、情報量があるとみなすのが
カルバック・ライブラーの情報量です。"
KLd <- function(P,Q){ # Kullback?Leibler divergence, relative entropy,Information gain
n=length(P)
if(n!=length(Q)) return(NULL)
P=P/sum(P)
Q=Q/sum(Q)
sum(Q*(log2(Q)-log2(P)))
}
# 相互情報量は不確実性（情報エントロピー）の減少量とみなすことができます