10/06/19 03:44:59 0
読みづらいだろうからいちおう簡単にテキスト化しておく
l^: lの筆記体にハット^
P: ボールド体(ベクトル記号みたいな)
≒: ～と―を上下に重ねたnearly equal
N文字の情報源→N<l^> ≒NH(P)
bitの0,1の列
1文字あたりの「情報量」がH(P)
・H(P)>>1でないときは？
n「もじ」ごとにまとめてひとつの「文字」とみなす
文字の種類Ω^n
確率分布P_(i_1,1_2,……,i_n)=P_[i_1]P_[i_2]……P_[i_n]
(この確率Pだけはどれもボールド体ではない。iと1～nは同じ大きさかも？)
H(Pnew)=nH(Pold)
PnewについてShannonの定理
N文字の情報源→N/n文字→(coding)→
<l^nnew>N/n≒H(Pnew)N/n=H(Pold)N
§証明
補題:Ω種類の文字についての
￣￣
任意の窃盗符号について
Σ[i=1,n]2^(-l_i)<1が成立
￣
Kraft不等式
友だちから見せてもらったのはこれだった
足りてる？まだ必要なとこあるなら上げるよ