信息论——连续随机变量的熵和互信息

如何将离散随机变量的这些概念推广到连续随机变量？

使用黎曼积分，我们可以得到：

\[ \begin{align} H(X) &= -\sum_{x} p(x)\Delta x \log p(x) \Delta x\\ &= -\sum_{x}p(x)\log p(x)\Delta x - -\sum_{x}p(x)\log \Delta x\Delta x \end{align} \]

上式中，最后一项是趋于负无穷的。

这意味着连续随机变量包含的信息是无穷的。但是无穷的是无法研究的，因此香农重新给了一个微分熵的定义，它在数学上不够严格，但是在实际上却非常有用。

\[ h(X) = \int _{-\infty }^{+\infty} p(x)\log p(x) dx \]

可以看到它在形式上与离散形式的熵是非常相似的。

同时也有联合熵： \[ h(X,Y) = -\int p(x,y)\log p(x,y) dxdy \]

条件熵： \[ h(X|Y) = -\iint p(x,y) \log p(x|y) dxdy = -\int p(y) \int p(x|y) \log p(x|y) dx dy \]

不等式关系： $ h(X,Y) = h(X) + h(Y|X) = h(Y) + h(X|Y) $

$ h(X|Y) h(X), h(Y|X) h(Y) $

$ h(X,Y)h(X) + h(Y) $

这些不等式都是存在的，与离散形式一致，但是要注意的是h(X)不一定是非负的了。

例如： \[ X:p(x) = \left \{ \begin{array}{c} \frac 1 {b-a} , a \leq x \leq b;\\ 0, otherwise; \end{array} \right. \]

那么它的微分熵实际上等于\(\log(b-a)\).当\(b-a<1\)的时候，这个熵是小于0的。

高斯分布的微分熵

高斯分布概率密度如下：

\(X:p(x) = \frac{1}{\sqrt {2 \pi \sigma} } exp [-\frac{(x-m)^2}{2\sigma ^2}]\)

而它的微分熵为\(h(x) = \frac 1 2 \log 2 \pi e \sigma^2\).

这个需要记住。当然只要带进定义就可以推算出来的。值得注意的是，它的微分熵和m（期望）是无关的

给定m和\(\sigma\)的情况下，当连续变量服从高斯分布的时候，微分熵最大。

互信息

\(I(X;Y) = \iint p(x,y) \log \frac{p(x,y)}{p(x)p(y)}dxdy\)

可以直接使用黎曼积分得到，与离散的情况也非常一致。