互信息关于先验概率的上凸性证明与 MATLAB 仿真（P124302087韩子豪）

一、实验目的互信息是信息论中的重要概念用于度量随机变量之间的信息相关程度。在离散信道中互信息不仅与信道本身有关也与输入信源的先验概率分布有关。本实验主要研究在信道转移概率固定时互信息 I(X;Y)I(X;Y)I(X;Y) 关于输入先验概率 p(x)p(x)p(x) 的上凸性并通过 MATLAB 仿真进行验证。二、理论基础设离散信道输入随机变量为 X输出随机变量为 Y。输入符号集合为X {x1, x2, ..., xm}输出符号集合为Y {y1, y2, ..., yn}输入先验概率为p(xi) pi信道转移概率为p(yj|xi)输出概率为p(yj) sum over i [ p(xi) * p(yj|xi) ]互信息定义为I(X;Y) sum over i sum over j [ p(xi) * p(yj|xi) * log2( p(yj|xi) / p(yj) ) ]互信息也可以写成熵的形式I(X;Y) H(Y) - H(Y|X)其中输出熵为H(Y) - sum over j [ p(yj) * log2 p(yj) ]条件熵为H(Y|X) sum over i [ p(xi) * H(Y|Xxi) ]而H(Y|Xxi) - sum over j [ p(yj|xi) * log2 p(yj|xi) ]三、互信息关于先验概率的上凸性证明四、二元对称信道分析为了便于仿真选择二元对称信道 BSC。五、MATLAB 仿真程序六、仿真结果分析实验中取二元对称信道交叉概率p0.1七、实验结论本文研究了互信息关于输入先验概率的上凸性。在信道转移概率固定时输出概率 p(y) 是输入先验概率 p(x) 的线性函数。由于熵函数 H(Y) 关于概率分布是上凸函数所以 H(Y) 关于 p(x) 也是上凸函数。同时条件熵 H(Y|X) 可以写成各个 H(Y|Xx) 的加权和。当信道固定时H(Y|Xx) 为常数因此 H(Y|X) 关于 p(x) 是线性函数。由互信息关系式I(X;Y) H(Y) - H(Y|X)可知互信息是一个上凸函数减去线性函数因此互信息关于输入先验概率 p(x) 是上凸函数。MATLAB 仿真结果表明在二元对称信道中固定信道交叉概率 epsilon 后互信息 I(X;Y) 随输入概率 p 的变化曲线呈现向下弯曲的形状并满足上凸性不等式。仿真结果与理论分析一致。八、参考文献[1] Cover T. M., Thomas J. A. Elements of Information Theory. Wiley, 2006.[2] 曹雪虹张宗橙. 信息论与编码. 清华大学出版社.[3] 傅祖芸. 信息论——基础理论与应用. 电子工业出版社.