信息理论
信息是通信系统的来源，无论是模拟还是数字。信息理论是一种研究信息编码以及信息量化、存储和通信的数学方法。
事件发生的条件
如果我们考虑一个事件，则有三种发生条件。
如果事件尚未发生，则存在不确定性的情况。
如果事件刚刚发生，则存在意外的情况。
如果事件已经发生，则回到过去的某个时间，存在一些信息的情况。
这三个事件发生在不同的时间。这些条件的差异有助于我们了解事件发生的概率。
熵
当我们观察事件发生的可能性时，无论它有多令人惊讶或不确定，都意味着我们试图了解事件源信息的平均内容。
熵可以定义为每个源符号的平均信息内容的度量。"信息论之父"克劳德·香农为其提供了一个公式，即 −
$$H = - sum_{i} p_i log_{b}p_i$$
其中 pi 是从给定的字符流中出现字符数 i 的概率，b 是所用算法的基础。因此，这也被称为香农熵。
观察通道输出后，对通道输入剩余的不确定性量称为条件熵。它表示为 $H(x mid y)$
互信息
让我们考虑一个通道，其输出为 Y，输入为 X
让先前不确定性的熵为 X = H(x)
（这是在应用输入之前假设的）
要了解输出的不确定性，在应用输入之后，让我们考虑条件熵，假设 Y = yk
$$Hleft ( xmid y_k ight ) = sum_{j = 0}^{j - 1}pleft ( x_j mid y_k ight )log_{2}left [ ffrac{1}{p(x_j mid y_k)} ight ]$$
这是 $H(X mid y = y_0) : ... : ... : ... : ... : ... : ... : H(X mid y = y_k)$ 的随机变量，概率分别为 $p(y_0) : ... : ... : ... : ... : ... : p(y_{k-1)}$。
输出字母表 y 的 $H(X mid y = y_k)$ 的平均值是 −
$Hleft ( Xmid Y ight ) = displaystylesumlimits_{k = 0}^{k - 1}Hleft ( X mid y=y_k ight )pleft ( y_k ight )$
$= displaystylesumlimits_{k = 0}^{k - 1} displaystylesumlimits_{j = 0}^{j - 1}pleft (x_j mid y_k ight )pleft ( y_k ight )log_{2}left [ ffrac{1}{pleft ( x_j mid y_k ight )} ight ]$
$= displaystylesumlimits_{k = 0}^{k - 1} displaystylesumlimits_{j = 0}^{j - 1}pleft (x_j ,y_k ight )log_{2}left [ ffrac{1}{pleft ( x_j mid y_k ight )} ight ]$
现在，考虑到不确定性条件（应用输入之前和之后），我们知道差异，即 $H(x) - H(x mid y)$ 必须表示通过观察通道输出来解决的通道输入的不确定性。
这被称为通道的互信息。
将互信息表示为 $I(x;y)$，我们可以将整个信息写成一个方程，如下所示
$$I(x;y) = H(x) - H(x mid y)$$
因此，这是互信息的方程表示。
互信息的属性
这些是互信息的属性。
通道的互信息是对称的。
$$I(x;y) = I(y;x)$$
互信息是非负的。
$$I(x;y) geq 0$$
互信息可以用通道的熵来表示输出。
$$I(x;y) = H(y) - H(y mid x)$$
其中 $H(y mid x)$ 是条件熵
通道的互信息与通道输入和通道输出的联合熵有关。
$$I(x;y) = H(x)+H(y) - H(x,y)$$
其中联合熵 $H(x,y)$ 定义为
$$H(x,y) = displaystylesumlimits_{j=0}^{j-1} displaystylesumlimits_{k=0}^{k-1}p(x_j,y_k)log_{2} left ( ffrac{1}{pleft ( x_i,y_k ight )} ight )$$
信道容量
到目前为止，我们已经讨论了互信息。在信号间隔的瞬间，当通过离散无记忆信道传输时，最大平均互信息，即最大可靠数据传输速率的概率，可以理解为信道容量。
它用C表示，以每信道比特数使用量来衡量。
离散无记忆源
以连续间隔发射数据（与先前值无关）的源可以称为离散无记忆源。
此源是离散的，因为它不是针对连续时间间隔考虑的，而是针对离散时间间隔考虑的。此源是无记忆的，因为它在每个时间点都是新鲜的，而不考虑先前的值。
